МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ
РОССИЙСКОЙ ФЕДЕРАЦИИ
ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
Технологический институт
Федерального государственного образовательного
учреждения высшего профессионального образования
«Южный федеральный университет»
В.В. КОТЕНКО
К.Е. РУМЯНЦЕВ
ТЕОРИЯ ИНФОРМАЦИИ
И
ЗАЩИТА ТЕЛЕКОММУНИКАЦИЙ
Ростов-на-Дону
Издательство Южного федерального университета
2009
УДК 621.391
ББК 32.811
К 73
Рецензенты:
профессор Военно-воздушной инженерной академии им. Н.Е. Жуковского,
доктор технических наук, профессор Величкин А. И,, г. Москва;
начальник кафедры Ростовского военного института ракетных войск, доктор
технических наук, профессор Габризльян Д, Д., г. Ростов-на-Дону;
председатель правления ЗАО "Институт информационных технологий", заведующий
кафедрой "Безопасность информационных технологий" Харьковского национального
университета радиоэлектроники, доктор технических наук, профессор Горбенко И, Д.,
г. Харьков.
Монография подготовлена и издана в рамках
национального проекта «Образование»
по «Программе развития федерального государственного образовательного учреждения
«Южный федеральный университет» на 2007-2010 гг.»
Котенко В.В., Румянцев К.Е.
К 73 Теория информации и защита телекоммуникаций: монография / В. В. Котенко,
К. Е. Румянцев. - Ростов н/Д: Изд-во ЮФУ, 2009. — 369 с.: ил. 49.
ISBN 978-5-9275-0670-5
Содержание монографии составляют результаты исследований в направлении
развития фундаментальных основ теории информации с позиций обеспечения
информационной безопасности. Основу изложения материала составляет
конкретизация модифицированной концепции теории информации, которая развивается
на стратегии кодирования источников и кодирования для каналов, принципы
информационного анализа источников и каналов, методы эффективного и
помехоустойчивого кодирования, теоретические основы защиты информации при
кодировании источников, принципы информационного анализа методов защиты
информации источников, информационный подход к оценке качества связи и защиты
информации. Приводятся оригинальные подходы к решению
III
ярокого круга задач
обработки передачи и защиты информации, теоретически подкрепленные теоремами,
следствиями и их доказательствами. Рассмотрение ведется с согласованных единых
позиций, в едином стиле, что не вызовет разночтения в понимании отдельных сложных
вопросов. Особое внимание уделено тенденциям развития комплексных подходов к
обработке, передаче и защите информации, что особенно актуально в условиях
интенсивного развития информационно-телекоммуникационных технологий.
Книга предназначена для научных работников и инженеров, занимающихся
разработкой и исследованием защищенных телекоммуникационных систем. Может
быть полезна студентам, магистрантам и аспирантам при освоении вопросов
информационной защиты телекоммуникаций.
ISBN 978-5-9275-0670-5
УДК 621.391
ББК 32.811
© ТТИ ЮФУ, 2009
© В.В. Котенко, К.Е. Румянцев, 2009
© Южный федеральный
университет, 2009
ПРЕДИСЛОВИЕ
В монографии нашли отражение результаты научных исследований, прово-
димых авторами в рамках инновационных научно-образовательных проектов
Южного Федерального университета, в ходе выполнения заданных научно-
исследовательских работ и научных исследований при поддержке гранта Т02-ОЗ.
1-816 Министерства науки и образования РФ. Среди них особо следует отметить
принципы теоретического построения теории информации, конкретизацию ее
фундаментального базиса в виде аксиом, концепцию теории информации с пози-
ций защиты телекоммуникаций и стратегии кодирования дискретных и непре-
рывных источников, открывающие возможности новых подходов к анализу их
свойств. В частности, это представление шифрования и скремблирования как
разновидности кодирования источника при изменении кодового словаря по за-
кону ключа. На основании данного представления были выведены и доказаны
основные теоремы шифрования и скремблирования, а также их следствия. Эти
теоремы приводятся впервые. На их основе получены аналитические выражения,
конкретизирующие понятия эффективности и стойкости шифрования с позиций
концепции теории информации, что позволило определить области обеспече-
ния условий практической, теоретической и абсолютной недешифруемости. К
фундаментальным результатам, приведенным в монографии, следует отнести
введение понятия “относительная избыточность” и доказательство с этих пози-
ций теоремы кодирования для непрерывных источников, а также теорем коди-
рования для канала при передаче информации непрерывных источников. Все
это открыло возможность фундаментального изложения информационного под-
хода к комплексной оценке эффективности систем связи и защиты информации.
Все главы монографии представляют интерес в качестве материалов по
теории информации с позиций информационной защиты телекоммуникаций. В
них приводятся оригинальные подходы к решению широкого круга задач обра-
ботки передачи и защиты информации, теоретически подкрепленные теорема-
ми, следствиями и их доказательствами. Рассмотрение ведется с согласованных
3
единых позиций, в едином стиле и не вызовет разночтения в понимании от-
дельных сложных вопросов.
Уровень изложения материала монографии полностью доступен понима-
нию, как специалистами, так и студентами старших курсов технических вузов.
Монография, несомненно, будет интересна и полезна научным работникам в
области информационной безопасности не только в качестве описания новых
подходов и принципов обработки, передачи и защиты информации, но и как
основа для потенциальных исследований в сфере разработки перспективных
способов обеспечения информационной безопасности телекоммуникационных
систем и объектов информатизации.
Отличительной особенностью монографии по сравнению с существую-
щей литературой по теории информации является фундаментальное рассмотре-
ние основных аспектов информационного анализа телекоммуникационных сис-
тем с позиций информационной безопасности. Это особенно важно в современ-
ных условиях, когда исследования в данном направлении приобретают приори-
тетное значение. При этом впервые защита информации описывается как одна
из основных задач кодирования информации, что позволяет решать различные
проблемы обработки, передачи и защиты информации с единых позиций. Мо-
нография опирается на труды отечественных и зарубежных ученых, внесших
значительный и общепризнанный вклад в развитие теории информации, что
обеспечивает ее преемственность с другими, изданными ранее трудами по тео-
рии информации, и доступность понимания базовых вопросов ее содержания.
Главы 1, 3, 5, 7, 8 и 11 написаны В.В. Котенко, главы 2, 4, 6, 9 и 10 —
К.Е. Румянцевым.
Авторы благодарят А.И. Величкина, И.Д. Горбенко, Д.Д. Габриэльяна и
П.Г. Горева за ценные замечания и советы, оказавшие значительную помощь в
написании монографии и подготовке ее к изданию.
4
ВВЕДЕНИЕ
Понятие «информация» является базовым объектом изучения и исследо-
вания в области информационной безопасности. Это объясняется тем, что без
четкого и глубокого представления объекта защиты невозможно эффективно
обеспечить его безопасность. Таким образом, классическая теория информации
потенциально способна обеспечить фундаментальную основу решения задач
информационной защиты телекоммуникационных систем. Однако ее примене-
ние для оптимального решения этих задач сталкивается с проблемой необходи-
мости комплексного подхода к теоретическому анализу не только процессов об-
работки и передачи информации, но и процессов защиты информации. Пробле-
ма состоит в том, теория информации в качестве фундаментальной основы ре-
шения задач информационной защиты телекоммуникаций должна учитывать
специфику обеспечения информационной безопасности. Решение этой пробле-
мы в настоящее время приобретает исключительно важное значение ввиду ин-
тенсивного развития информационно-телекоммуникационных технологий и, как
следствие, необходимости поиска новых подходов к их защите. К сожалению,
до настоящего времени решение данной проблемы не находило конструктивно-
го отражения в научной и учебной литературе в области теории информации.
Это во многом объясняет сложившуюся достаточно парадоксальную ситуацию,
когда теория информации, обладая потенциально эффективным математиче-
ским аппаратом, как правило, не используется при решении практических задач
информационной безопасности.
Основная причина отмеченной ситуации во многом состоит в том, что
попытки эффективного применения классической теория информации для ре-
шения задач защиты телекоммуникаций сталкиваются в настоящее время с ря-
дом проблем, игнорирование которых часто приводит к искаженным результа-
там. Во-первых, необходимо отметить, что традиционная теория информации,
основанная К.Шенноном, изначально предназначалась только для решения за-
дач телекоммуникации в части обработки и передачи информации. Однако её
5
многообещающее название может создать иллюзию о полной универсальности
аппарата теории информации и возможности его неограниченного применения
в различных областях. От этого заблуждения предостерегал ещё К.Шеннон, ви-
дя в нем не только опасность легковесных и ошибочных решений, но и угрозу
компрометации самой теории информации. Во-вторых, нельзя упускать из ви-
да, что развитие теории информации уже достаточно длительное время носит
двойственный характер. С одной стороны, это решение абстрактных математи-
ческих задач с формальной постановкой, весьма далекой от реальной практики.
С другой стороны, это решение прикладных задач с явно формальным матема-
тическим обоснованием. Таким образом, теория информации развивается па-
раллельно по двум слабо взаимосвязанным направлениям, что порождает риск
появления взаимоисключающих решений и выводов. Данная ситуация ещё бо-
лее усложняется обоюдной иронией в оценке имеющихся достижений со сто-
роны представителей каждого из направлений. Попытки ряда ведущих ученых,
и в первую очередь Р. Галлагера [1], найти выход из этой ситуации («переки-
нуть мостик между математиками и инженерами»), к сожалению, пока карди-
нальных результатов так и не принесли. В-третьих, до сих пор не дано сколько-
нибудь убедительного философского обоснования самого понятия «информа-
ция». Отсутствию единой философской системы взглядов на основополагаю-
щее понятие теории информации сопутствует неопределенность концепции са-
мой теории и, как следствие, неопределенность ее аксиоматического базиса.
Это порождает не только многоальтернативность взглядов на дальнейшее раз-
витие классической теории информации, но и способствует появлению значи-
тельного числа так называемых «новых теорий информации» и тому подобных
теорий, что в целом существенно затрудняет дальнейший научный поиск и дес-
табилизирует теоретические основы данной научной области, заложенные
К.Шенноном [3]. В-четвертых, пока только теория информации обладает апро-
бированным специальным математическим аппаратом, позволяющим описать
информационные процессы. Вызванная этим фактом вполне понятная потреб-
ность применения данного аппарата в других областях, в свою очередь, вызы-
6
вает негативную и научно некорректную тенденцию представления теории ин-
формации как части других наук (например, кибернетики, информатики, мате-
матики). Опасность этого предвидели и от этого предостерегали К. Шеннон,
А. Колмогоров, Р. Галлагер [1,3,4] и другие выдающиеся ученные. К сожале-
нию, эта тенденция проявляется и в настоящее время.
Основу классической теории информации как фундаментальной науки
составляет идея определяющего значения понятий кодирования и декодирова-
ния с точки зрения их функциональной роли в процессе обмена информацией, а
также их поэтапного представления с позиций источника и канала передачи
информации. Эта гениальная идея К.Шеннона определила разделение понятия
«кодирование» в задачах телекоммуникации на понятия «кодирование источ-
ника» и «кодирование для канала». Обоснованность такого разделения под-
тверждается наличием в то время двух явно выраженных составляющих про-
цесса телекоммуникации, представляющих собой обработку информации и её
передачу. С этих позиций основной целью кодирования источника является
уменьшение объёма (сжатие) информации для её эффективной обработки. Дан-
ная цель достигается путём применения кодов, осуществляющих уменьшение
избыточности информации. Такие коды принято называть эффективными.
Основной целью кодирования для канала является увеличение объёма переда-
ваемой информации для компенсации искажающего влияния помех при пере-
даче. Эта цель достигается путём применения кодов, осуществляющих искусст-
венное увеличение избыточности информации в пределах требуемой помехо-
устойчивости её передачи.
Без преувеличения можно отметить, что именно эта фундаментальная
идея К.Шеннона обеспечивает тот довольно устойчивый иммунитет, которым
обладает теория информации по отношению к деструктивному влиянию отме-
ченных выше и сопутствующих им проблем. Однако она не учитывает в полной
мере возрастающую роль третьей составляющей процесса телекоммуникации,
состоящей в защите информации. Следствием этого и ряда субъективных фак-
торов явились вполне понятные попытки решения задач данного класса вне
7
классической теории информации, что привело к формированию серьезного
научного направления, нацеленного исключительно на решение задач защиты
информации и включающего различного рода теории защиты информации. Не
умаляя значительности научных достижений в этом направлении, необходимо
отметить, что оно потенциально не способно обеспечить оптимальное решение
задач защиты телекоммуникаций. Для этого, как показывает научный опыт,
процесс коммуникации должен рассматриваться в целом, т.е. в виде комплекса
составляющих, включающего обработку, защиту и передачу информации.
Возможность выхода из отмеченных проблемных ситуаций открывает
рассмотренный в монографии подход, состоящий в модификации математиче-
ского аппарата классической теории информации с учетом третьей составляю-
щей процесса телекоммуникации - защиты информации. При этом модифика-
ция осуществляется в рамках классической теории информации без наруше-
ния ее структуры, т.е. исключает какую-либо ревизию фундаментальной идеи
К.Шеннона. Это достигается путем определения общих целей процессов обра-
ботки и защиты информации в рамках кодирования источника, состоящих в
сжатии информации, а также общих целей процессов передачи и имитозащиты,
состоящих в введении искусственной избыточности.
Основу рассматриваемого подхода составляет конкретизация фундамен-
тального базиса теории информации в виде аксиом и формирование модифици-
рованной концепции теории информации, учитывающей процесс защиты теле-
коммуникаций (глава 1). Предложенная концепция в последующем развивается
на стратегии кодирования источников (главы 2, 3, 5) и кодирования для каналов
(главы 7, 8, 10), принципы информационного анализа источников (главы 2, 5) и
каналов, методы эффективного (глава 4, 6) и помехоустойчивого кодирования
(глава 9), теоретические основы защиты информации при кодировании источ-
ников (главы 3, 5), принципы информационного анализа методов защиты ин-
формации источников, информационный подход к оценке качества связи и за-
щиты информации (глава 11). В главах монографии приводятся оригинальные
решения широкого круга проблем обработки, передачи и защиты информации,
8
теоретически подкрепленные теоремами, следствиями и их доказательствами,
что расширяя познавательный потенциал классической теории информации, от-
крывает новые перспективы для исследований в области защиты телекоммуни-
каций.
Глава 1
ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ
1.1. Состояние и проблемы современной теории информации
Успешное освоение любой научной теории в значительной мере зависит от
того, насколько четко понимаются ее проблемы и принципы теоретического
построения. Это представляет собой своеобразный фундамент для дальнейшего
формирования научного знания. Насколько прочен и конкретен будет этот
фундамент, настолько прочны будут и полученные в последующем теоретиче-
ские знания.
Исторический опыт развития человеческого знания показывает, что основу
любой теории обязательно составляет система научных и философских взгля-
дов (концепция) на предмет данной теории. От того, насколько конкретна, по-
нятна и научно обоснована эта концепция, во многом зависит как научно-
практическая значимость самой теории, так и перспективы ее дальнейшего раз-
вития. Взгляд на современное состояние теории информации с этих позиций
выявляет ряд проблем, которые обязательно следует учитывать при ее изуче-
нии. Прежде всего, это проблема существующей неопределённости базового
понятия теории — понятия “информация”. На первый взгляд конкретное и ло-
гически понятное представление информации как совокупности сведений об
окружающей действительности оказывается, ни в коей мере не раскрывает при-
роду самого понятия. Свидетельством этого служит довольно широкий спектр
взглядов на природу информации в современной научной литературе. О диапа-
зоне этого спектра можно судить по двум полярным точкам зрения: с одной
стороны — это утверждение о материальном характере понятия информации; с
другой — о его чисто нематериальной природе. По-видимому, попыткой сгла-
дить эти противоречия можно объяснить появившуюся в последнее время гипо-
тезу о том, что информация наряду с материей и энергией является первичным
понятием нашего мира. К сожалению, это еще больше усиливает существую-
щую неопределенность, учитывая проблематичность самого понятия “энергия”
10
в рамках общей теории относительности. Наверное, понимание этой неопреде-
ленности заставляет сторонников такой гипотезы делать довольно неординар-
ный вывод о том, что информация, являясь первичным параметром нашего ми-
ра, не может быть в строгом смысле определена. Нетрудно предугадать послед-
ствия такого вывода, если принять во внимание, что уже сейчас неопределён-
ность базового понятия приводит к значительной неоднозначности системы
взглядов (концепции) на саму теорию информации. Многообразие концепции
теории влечет за собой ряд негативных последствий. Прежде всего, это произ-
вольная трактовка места и роли теории информации в общей системе научных
знаний. Не может не настораживать то, с какой необоснованной легкостью эту
теорию рассматривают как часть других наук, относя ее то к математике, то к
кибернетике, а то и к информатике. Тем более, если учесть, что работа К. Шен-
нона [4], с которой, как принято считать, берет начало теория информации, на-
зывалась “Математическая теория связи” (1948). Это подчеркивает замысел К.
Шеннона создать самостоятельную науку о передаче информации в системах
связи. Отсюда представление ее в виде части кибернетики, информатики, мате-
матики или другой науки выглядит, по меньшей мере, некорректно. Причины
такого весьма вольного обращения с замыслом автора весьма очевидны. Опыт
развития научных знаний показывает, что любая теория должна опираться на
вполне определенную философскую базу. Без нее она подобна дому, построен-
ному без фундамента. В данном случае возможны два выхода: или создать и
подвести фундамент, или поставить этот дом в качестве пристройки на уже ис-
пытанный фундамент другого строения. Если перенести этот пример в плос-
кость научных теорий, то второй путь оказывается значительно проще. Вполне
понятно, что именно по нему и пошли авторы изданий, определяющих теорию
информации, как часть других наук. Цена этому — потеря самобытности и дез-
ориентация относительно общих задач, поставленных еще К. Шенноном. Это
нетрудно заметить по изданиям, в которых теория информации рассматривает-
ся как часть математики. Их содержание, как правило, изобилует решениями
абстрактных математических задач, труднопснимаемых и весьма далеких от
11
практических приложений, связанных с передачей информации. Именно с этой
негативной тенденцией в теории информации боролись в свое время К. Шен-
нон, А.Н. Колмогоров, Р. Галлагер [1,3,6] и другие ученые.
Неопределенность концепции теории информации приводит к еще одной
проблеме — догматизации процесса развития теории. Неуверенность в пра-
вильности выбора целей развития приводит к вполне понятной реакции возве-
дения в догмы уже имеющихся и апробированных достижений с целью их за-
щиты от возможного негативного влияния неизбежных проблем развития.
Следствием этого, как правило, является стремление обойти вниманием оче-
видные проблемы, если они угрожают догме. Так, до сих пор остается без вни-
мания проблема идентичности понятий энтропии и среднего количества ин-
формации для источника. В аналогичной ситуации находится проблема приме-
нимости аппарата теории для оценки смысла передаваемой информации. Со-
мнительные перспективы модернизации этого аппарата в условиях неопреде-
ленности философской базы закономерно вызывают неприятие попыток реше-
ния данной проблемы в рамках традиционной теории информации. Это приво-
дит к появлению “новых” и тому подобных альтернативных ’’теорий информа-
ции”, претендующих на решение данной проблемы. Образно говоря, возникает
довольно парадоксальная ситуация, когда в результате догматизации аппарата
развитие теории выходит за ее рамки.
Неопределенность основного понятия теории влечет за собой проблему не-
однозначности целого ряда базовых понятий и определений процессов обра-
ботки и передачи информации. В первую очередь это относится к таким поня-
тиям, как «сообщение» и «кодирование». Так, сообщение нередко определяется
как «известие», чаще как «совокупность данных» или как «последовательность
символов», а иногда и как «сигнал на предыдущей стадии обработки». Анало-
гичен диапазон представления кодирования, который простирается от довольно
абстрактного определения в виде «отображения информации в удобное множе-
ство кодовых символов» до «преобразования сообщений в последовательность
электрических сигналов, имеющих кодовые признаки». Эту неоднозначность
12
усиливает отсутствие более-менее убедительного обоснования взаимосвязи по-
нятий «кодирование» и «шифрование». Существующая неопределенность в по-
нимании этой взаимосвязи приводит к неоправданному исключению задач за-
щиты информации из общего комплекса задач кодирования источника и коди-
рования для канала, что негативно сказывается на целостности представления
как процессов передачи информации, так и процессов ее защиты.
Важно отметить, что подавляющее большинство неоднозначных определе-
ний, встречающихся в современной теории информации, в принципе, являются
верными. Проблема состоит в том, что они отражают только “грани” опреде-
ляемых понятий, не давая полного представления о них.
В целом совокупность отмеченных и сопутствующих им проблем оказыва-
ет негативное влияние на состояние традиционной теории информации. Прежде
всего это проявляется в неопределенности целей, задач и направлений ее раз-
вития. Так, представление теории в виде части определенной научной области
приводит к вполне понятной трансформации ее целей в соответствии с целями
этой области. Отмеченное выше многообразие попыток такого представления
вполне закономерно вызывает многообразие этих трансформаций. Порождае-
мая, таким образом, неопределенность еще более усиливается неоднозначно-
стью основных базовых понятий самой теории, что в конечном итоге значи-
тельно усложняет процесс ее освоения и последующего применения.
1.2. Принципы теоретического построения. Система аксиом и
исходных определений
Основу принципов построения теории информации составляет де-
дуктивный метод. Когда Евклид в своей книге «Начала» [7] впервые объединил
все известные к тому времени (IV в. до н.э.) геометрические законы в единую
дидактическую систему, он вряд ли ставил перед собой задачу определения но-
вого подхода к построению научных теорий. Великий ученый просто создал и
применил удобный «инструмент» достижения конкретной поставленной цели.
Однако по мере развития науки в течение более чем двух тысячелетий стало
13
ясно, что именно дедуктивное построение теорий является наиболее оптималь-
ным и совершенным. Сегодня ученые практически во всех научных областях
стараются изложить, если это возможно, результаты своих исследований в де-
дуктивной форме, что является одной из важнейших черт современной науки.
Содержание дедуктивного метода построения научных теорий в общем ви-
де может быть сформировано следующим образом. Научная теория в данном
случае представляется как некая дедуктивная система, которая основывается на
определенном множестве некоторых недоказуемых исходных предложений и
неопределяемых исходных понятий. Из множества исходных предложений, ко-
торые включают аксиомы (постулаты) и исходные определения, шаг за ша-
гом доказываются или выводятся производные предложения, называемые тео-
ремами. Сами аксиомы не могут быть доказаны и представляют собой предло-
жения, которые принимаются без доказательств в качестве первоначальных по-
сылок. Принятие таких посылок совершенно необходимо, так как доказательст-
во всякой теоремы выводится из чего-то установленного ранее, и какие-то пер-
воначальные посылки должны быть приняты в качестве исходных. По этой же
причине не могут быть определены все встречающиеся в данной системе поня-
тия: некоторые из них не определяются, а считаются исходными, и на их основе
определяются все остальные.
Образно говоря, построение научной теории дедуктивным методом можно
сравнить со строительством некоего здания, фундамент которого закладывается
путем задания аксиом (постулатов), исходных определений и понятий, а этажи
возводятся путем последовательного вывода доказательств теорем на основе
этого фундамента. По-видимому, именно это во многом повлияло на точку зре-
ния Евклида, который считал, что все постулаты и исходные определения
должны являться абсолютно достоверными. Из данного положения вытекала и
абсолютная истинность всей системы, так как все её предложения являются не-
обходимыми следствиями из постулатов и определений.
Это ошибочное мнение считалось непререкаемым вплоть до начала 19 ве-
ка, пока новый качественный уровень развития науки и техники не поставил её
14
под сомнение. Оказалось, что аксиомы и определения можно и должно рас-
сматривать как условно выбранные предложения. Благодаря этому перед уче-
ными открылась свобода в выборе желаемых аксиом (постулатов) и определе-
ний, способствующих, по их мнению, достижению поставленной цели. Опреде-
лим с позиций дедуктивного метода систему аксиом и исходных определений,
составляющих основу теории информации. Для этого сформулируем исходное
представление понятия «информация».
Аксиома 1. Понятие «информация» формируется только в процессе ком-
муникации.
Согласно аксиоме понятие «информация» свойственно только процессу комму-
никации между объектом информации и человеком, которые в данном случае
могут рассматриваться как элементы некоторой схемы коммуникации
(рис. 1.1).
Источник
информации
коммуникации
*
Полу 'чатель
информации
Рис .1.1. Схема коммуникации
Объект информации здесь выступает в роли источника информации, а че-
ловек — в роли ее получателя. При этом в качестве канала коммуникации мо-
жет выступать или окружающая среда, что соответствует непосредственной
коммуникации, или технические средства, что определяет техническую комму-
никацию (телекоммуникацию).
Аксиома 2. Получение информации является важнейшей потребностью
жизнедеятельности человека.
Получение информации человеком осуществляется через его органы
чувств. С этой точки зрения информация может быть классифицирована как:
-	информация, поступающая через органы слуха;
-	информация, поступающая через органы зрения;
-	информация, поступающая через органы осязания;
15
-	информация, поступающая через органы обоняния.
Информация воспринимается органами чувств человека как путем прямого
взаимодействия с окружающей средой, так и в процессе обмена информацией
через технические средства. При этом в качестве объекта информации может
выступать человек, техническое средство или сама окружающая среда во всем
ее многообразии проявлений. Все это во многом объясняет двоякий смысл су-
ществующих в настоящее время определений понятия «коммуникация». С од-
ной стороны, под коммуникацией принято понимать акт общения, сообщение
информации одним лицом другому или ряду лиц; с другой стороны — форму
связи с применением технических средств (как, например, телефон, телеграф,
радио, телевидение). Это дает основание классифицировать информацию на
информацию непосредственной коммуникации и информацию технической
коммуникации.
Информация непосредственной коммуникации (ИНК) — это информа-
ция, воспринимаемая органами чувств человека (Ч) при непосредственном об-
щении с другими людьми, техническими средствами (ТС) или при прямом
взаимодействии с окружающей средой. Информация технической коммуни-
кации (ИТК), или информация телекоммуникации — это информация, вос-
принимаемая органами чувств человека при общении через технические сред-
ства коммуникации (ТСК).
б
а
Рис. 1.2. Схемы непосредственной (а) и технической (б) коммуникаций
16
Сравнение схем коммуникации, построенных на основании введенной
классификации (рис. 1.2), показывает, что основное отличие схемы ИТК состо-
ит в применении технического канала коммуникации или канала телекоммуни-
кации, построенного на базе ТСК.
Научно-технический прогресс двадцатого века породил тенденцию неук-
лонного роста ИТК в общем объеме информации. Это привело к тому, что уже
на рубеже 40-х и 50-х годов информация технической коммуникации начала
приобретать доминирующее значение среди других видов информации. Имен-
но на данный период, как уже отмечалось, приходится начало развития тради-
ционной теории информации. Соотношение этих двух исторических фактов по-
зволяет прийти к следующим выводам:
во-первых, создание теории информации вызвано объективной закономер-
ностью, возникшей в ходе научно-технического прогресса;
во-вторых, теория изначально предназначалась для фундаментального тео-
ретического обеспечения возрастания роли ИТК, закономерного в условиях на-
учно-технического прогресса.
Полученный вывод подчеркивает самостоятельную роль теории информа-
ции в общей системе научных знаний. Кроме того, что особенно важно, он по-
зволяет обозначить область целесообразного применения теории, выход за гра-
ницы которой может привести к ошибочным результатам. Это означает, что
традиционная теория информации предназначена исключительно для решения
задач обработки и передачи информации телекоммуникации (технической
коммуникации), и применение ее по иному назначению требует определенной
осторожности.
Основываясь на введенной классификации, можно конкретизировать осо-
бенности, свойственные обмену информацией в процессе коммуникации.
Аксиома 3. Информация при коммуникации обязательно имеет определен-
ную форму.
Аксиома 4. В процессе телекоммуникации форма информации всегда под-
вергается изменению.
17
Изменение формы информации в процессе телекоммуникации определяет-
ся понятием «кодирование».
Для определения природы и содержания понятия «форма информации» об-
ратимся к установленной ранее аксиоме 2 и проведем аналогию с другой важ-
нейшей потребностью жизнедеятельности человека, связанной с потреблением
воды. В данном случае, если мы говорим о передаче воды одним лицом друго-
му, то всегда имеем в виду определенную форму', стакан воды, кружка и тому
подобное. В случае, когда для производства и доставки воды используются
специальные технические системы (заводы, транспорт), она поступает потреби-
телям в виде единой формы (например, в форме бутылки), после чего каждый
из них изменяет эту форму на форму, удобную для потребления (например,
стакан или бокал). Проекция этих рассуждений на процесс получения инфор-
мации путем телекоммуникации во многом объясняет введенное понятие
«форма информации», однако не позволяет в полной мере раскрыть его харак-
тер. Причиной этого является парадокс, свойственный обмену информацией. В
свое время его гениально отразил великий писатель и драматург Б. Шоу в од-
ном из своих высказываний. Дословно оно звучало так: если у вас есть яблоко и
у меня есть яблоко, то при обмене у нас окажется по яблоку; если у меня есть
идея и у вас есть идея, то при обмене у нас окажется по две идеи. Развивая
мысль писателя, сформулируем этот парадокс в виде аксиомы.
Аксиома 5. Парадокс Шоу, Информация при коммуникации имеет двой-
ственный характер, у которого логическая и материальная составляющие
проявляются одновременно.
Значение парадокса Шоу заключается в том, что он устанавливает 2 уровня
представления информации: логический и материальный. На каждом уровне
представления, согласно аксиоме 4, информация может принимать различные
формы: на логическом уровне — различные логические формы; на материаль-
ном уровне — различные материальные формы. При этом, исходя из двойст-
венного характера информации, установленного аксиомой 5, каждой логиче-
ской форме соответствует строго определенная материальная форма.
18
Основной логической формой информации является сообщение, основной
материальной формой — сигнал.
Это подтверждается общепринятым определением [44] для сигнала:
Сигнал представляет собой материальное воплощение (материальную
форму) сообщения.
Отсюда следует целесообразность двух уровней представления процессов
телекоммуникации: логического и материального. На логическом уровне обоб-
щенная схема телекоммуникации отображается в виде, приведенном на
рис. 1.3. В качестве основной логической формы информации, формируемой
источником информации (ИИ), здесь выступают сообщения, которые подвер-
гаются кодированию (К).
Рис. 1.3. Обобщенная схема телекоммуникации
В ходе кодирования происходит преобразование логической формы ин-
формации источника (сообщения) к виду логической формы, установленной в
канале передачи информации или канале связи (КС). Каналом связи называет-
ся совокупность технических средств, служащая для передачи сообщений (сиг-
налов) от одного отправителя к одному получателю [43]. Логическую форму,
полученную в результате кодирования, принято обозначать как кодовую ком-
бинацию или кодовую последовательность. В канале связи возможно искаже-
ние информации, поэтому основной целью декодирования (ДК) является мак-
симально точное восстановление исходной формы информации (сообщения),
для того чтобы ее воспринял получатель информации (ПИ).
Нетрудно заметить, что кодирование (декодирование) составляет основу
телекоммуникации.
Это во многом объясняет то главенствующее значение, которое придается
кодированию в теории информации. Задачи кодирования определяются требо-
ваниями к телекоммуникации, основными из которых выступают: оператив-
19
ность, помехозащищенность, конфиденциальность (секретность). Отсюда ос-
новными задачами кодирования являются:
1.	Задача сокращения объема информации с целью обеспечения оператив-
ности коммуникации, которая определяется как задача сжатия информации;
2.	Задача увеличения объема информации с целью достижения требуемой
помехозащищенности, которая определяется как задача избыточного или поме-
хоустойчивого кодирования;
3.	Задача ограничения несанкционированного доступа к информации для
обеспечения требуемой конфиденциальности, которая определяется как задача
защиты информации.
Отметим явный антагонизм первой и второй задач. Можно предположить,
что именно он в свое время являлся основным препятствием к созданию теории
информации. К. Шеннон смог первым понять эту проблему и предложить гени-
альную по простоте идею ее решения, которая заключалась в разделении поня-
тия «кодирование» на «кодирование источника» и «кодирование для канала».
Её реализация привела к вполне естественной трансформации схемы коммуни-
кации рис. 1.3 к виду, представленному на рис. 1.4. Данная схема предусматри-
вает 2 независимых этапа кодирования: кодирование источника (КИ); кодиро-
вание для канала (КК).
Рис. 1.4. Схема телекоммуникации. Логический уровень представления
На первом этапе производится преобразование логической формы ИТК ви-
да сообщения к виду кодовой комбинации (кодовой последовательности) ис-
точника, которая на втором этапе преобразуется к виду кодовой комбинации
(кодовой последовательности) канала. Таким образом, реализация идеи К.
Шеннона приводит к увеличению числа видов логических форм ИТК до трех.
Введение дополнительного вида логической формы ИТК позволяет разделить
20
антагонистические задачи кодирования и сделать их независимыми. При этом
сжатие и шифрование становятся основными задачами кодирования источника,
а помехоустойчивое кодирование — основной задачей кодирования для канала.
Переход на материальный уровень представления телекоммуникации мож-
но рассматривать как результат трансформации схемы рис. 1.5 при замене со-
общений их материальной формой в виде сигнала, с учетом физических про-
цессов преобразования этой формы в ходе телекоммуникации. Общий вид ре-
зультата такой трансформации представлен на рис. 1.5. В приведенной схеме
источник информации формирует сигналы, соответствующие определенному
виду информации телекоммуникации.
Рис. 1.5. Схема телекоммуникации. Материальный уровень представления
Считается, что основными видами ИТК являются:
аудиоинформация, представляющая собой ИТК, воспринимаемую органа-
ми слуха получателя информации;
видеоинформация — ИТК, воспринимаемая органами зрения ПИ.
Сигналы источника, соответствующие аудиоинформации, в общем случае
представляют собой упругие колебания среды (акустические колебания). Такие
сигналы принято называть акустическими сигналами. Сигналы источника, со-
ответствующие видеоинформации, представляют собой световой поток, несу-
щий информацию об изображении.
Устройства прямого преобразования сигналов источника (УППСи) форми-
руют низкочастотные (НЧ) электрические сигналы, которые в зависимости от
вида ИТК определяются как аудиосигналы или видеосигналы. При формирова-
21
нии этих сигналов в УППСи, как правило, используются следующие цепи пре-
образований:
акустический сигнал — электроакустическое преобразование — цифровое
преобразование — аудиосигналу
световой поток — формирование поля электрических потенциалов — раз-
вертка — цифровое преобразование — видеосигнал.
В ряде случаев такое преобразование, как цифровое, может отсутствовать.
Исходя из этого, аудио- и видеосигналы принято разделять на аналоговые (не-
прерывные) и цифровые (ГОСТ 22670-77). Цифровые сигналы на выходе
УППСи часто называют данными.
Взаимосвязь логической и соответствующей ей материальной форм НТК
проявляется в виде изменения параметров сигнала в соответствии с сообщени-
ем. Параметр сигнала, отражающий сообщение, называется представляющим,
а другие параметры, не связанные с сообщением, считаются сопутствующи-
ми. Аналоговым (непрерывным) называется сигнал, у которого каждый из
представляющих параметров является непрерывнозначным. Цифровым назы-
вается сигнал с дискретно-значимыми представляющими параметрами [44].
В устройствах обработки и защиты (УОЗ) осуществляются преобразова-
ния, обеспечивающие защиту сигналов от несанкционированного доступа. В
частности, к этим преобразованиям могут относиться скремблирование и крип-
тографическая обработка (шифрование) параметров сигналов.
Устройства прямого преобразования сигналов для канала (УППСк) изме-
няют форму сигнала в соответствии с требованиями канала связи. При этом они
реализуют целый ряд преобразований, обеспечивающих помехоустойчивость и
защиту сигналов от несанкционированного доступа. По своей природе сигналы
на выходе УППСк представляют собой высокочастотные (ВЧ) электромагнит-
ные (электрические) колебания, соответствующие виду каналов связи (напри-
мер, радиосигналы или телевизионные сигналы).
В устройствах обратного преобразования (УОПСк и УОПСи) осуществля-
ется комплекс преобразований, целью которых в конечном итоге является пре-
22
доставление получателю информации сигнала, максимально точно соответст-
вующего сигналу источника.
Приведенное представление телекоммуникации на материальном уровне
является достаточно общим и обычно требует дополнительной детализации.
Однако даже в этом виде оно показывает:
1.	При телекоммуникации происходит изменение материальной формы
ИТК, аналогичное изменению ее логической формы, например:
-	для аудиоинформации это цепь: акустический сигнал — аудиосигнал —
радиосигнал;
-	для видеоинформации это цепь: световой поток — видеосигнал — теле-
визионный сигнал.
2.	Представление телекоммуникации на логическом уровне является осно-
вой ее представления на материальном уровне.
3.	Представление на материальном уровне играет исключительно важную
роль для объяснения физической природы понятий и преобразований логиче-
ского уровня.
Детальному изучению и исследованию процессов телекоммуникации на
материальном уровне посвящен целый ряд научно апробированных и практиче-
ски значимых теорий, таких, как теория электросвязи, теория радиосвязи, ста-
тистическая теория радиосвязи и другие. Теория информации, как видно из
вышеизложенного, предназначена в первую очередь для решения задач теле-
коммуникации на логическом уровне в части оптимизации процессов обмена
информационными потоками. Она позволяет получать общие решения для раз-
личных материальных форм информации. Отсюда следует основополагающее
значение теории информации для теорий, предназначенных для решения задач
телекоммуникации на материальном уровне.
Базовым понятием теоретического описания форм информации на логиче-
ском уровне представления является понятие «ансамбль». Ансамбль — это не-
23
которое множество случайных значений определенной логической формы ин-
формации.
В терминах традиционной теории информации ансамбль задается выбо-
рочным пространством и вероятностной мерой. В общем случае выборочное
пространство представляет собой множество значений логической формы,
соответствующей ансамблю, а вероятностная мера — множество соответст-
вующих этим значениям вероятностей. Если выборочное пространство ансамб-
ля дискретно, то ансамбль принято считать дискретным, если оно непрерывно,
то ансамбль принято считать непрерывным и представлять в виде случайного
процесса. Таким образом, дискретный ансамбль определяется выборочным
пространством, представляющим собой множество дискретных значений логи-
ческой формы определенного вида (сообщений или кодовых комбинаций), и
вероятностной мерой на множестве этих значений, представляющей совокуп-
ность их вероятностей. Выборочное пространство такого ансамбля называется
дискретным и обладает следующими свойствами:
-	любое конечное или счетное объединение или пересечение множеств
значений логической формы является другим значением логической формы;
-	дополнение любого значения логической формы является другим значе-
нием логической формы.
На первый взгляд, второе свойство противоречит смысловому характеру
ИТК. Однако это противоречие может быть довольно просто устранено путем
присвоения значению логической формы, не имеющему смысла в рамках ис-
пользуемого языка, нулевой вероятности.
Вероятностная мера дискретного ансамбля обладает следующими свойст-
вами:
-	каждое значение логической формы имеет неотрицательную вероят-
ность;
-	всё выборочное пространство имеет вероятность, равную единице;
24
- вероятность любого конечного или счетного объединения непересекаю-
щихся значений логической формы равна сумме вероятностей отдельных
значений логической формы.
Основу определения дискретного ансамбля составляет задание алфавита.
Алфавит — это конечное множество букв (символов), из которых формируют-
ся значения логической формы, с заданными вероятностями этих букв (симво-
лов).
Непрерывный ансамбль в общем случае определяется выборочным про-
странством, представляющим собой непрерывный случайный процесс, и веро-
ятностной мерой, объединяющей плотности вероятностей реализаций этого
процесса.
Ансамбль, применяемый для представления источника информации, обыч-
но называют ансамблем сообщений, а значения его выборочного пространства
— сообщениями. При этом изначально считается, что различные сообщения
содержат различный объем информации.
Аксиома 6, Менее вероятное сообщение содержит больший объем ин-
формации.
Аксиома 7. Информация, содержащаяся в некоторой совокупности неза-
висимых сообщений, соответствует сумме информаций этих сообщений.
Приведенную систему аксиом и исходных определений можно рассматри-
вать как основу для дальнейшего освоения теории информации. Однако ее ус-
пешное применение требует конкретизации стратегии дальнейшего теоретиче-
ского построения. Это достигается путем конкретизации системы научных
взглядов на теорию информации или концепции теории информации.
1.3. Концепция теории информации
Обобщение проведенных рассуждений позволяет определить основные со-
ставляющие концепции теории информации:
25
1.	Информация, как понятие, свойственна только процессу коммуника-
ции.
2.	Получение информации об окружающей действительности является
важнейшей потребностью жизнедеятельности человека.
3.	Информация воспринимается человеком через органы чувств как путем
прямого взаимодействия с окружающей средой, так и в процессе обмена ин-
формацией.
4.	Информация, получаемая человеком путем коммуникации, подразделя-
ется на информацию непосредственной коммуникации и информацию теле-
коммуникации.
5.	Под информацией телекоммуникации понимается информация, полу-
чаемая человеком посредством технических средств коммуникации.
6.	Появление теории информации вызвано объективной закономерно-
стью, состоящей в возрастании роли ИТК в условиях научно-технического про-
гресса.
7.	Теория информации занимает самостоятельное место в общей системе
научных знаний и предназначена для решения задач передачи и обработки ин-
формации телекоммуникации. Применение теории не по назначению требует
определенной осторожности, так как может привести к ошибочным результа-
там.
8.	Информация коммуникации имеет двойственный характер, у которого
логическая и материальная составляющие проявляются одновременно. Отсюда
следует существование логических и соответствующих им материальных форм
представления данной информации. Исходной логической формой является со-
общение, материальной — сигнал на выходе источника.
9.	Основными видами ИТК являются аудиоинформация и видеоинформа-
ция. Исходной логической формой аудиоинформации является аудиосообще-
ние; видеоинформации — видеосообщение. Основной исходной материальной
формой аудиоинформации является акустический сигнал; видеоинформации —
световой поток.
26
10.	Существуют и целесообразны два уровня представления телекомму-
никации: логический и материальный. Теория информации предназначена для
решения задач коммуникации преимущественно на логическом уровне.
11.	Процесс коммуникации как на логическом, так и на материальном
уровне представления характеризуется изменением формы ИТК.
Преобразование формы ИТК называется кодированием.
12.	Кодирование составляет основу телекоммуникации. На логическом
уровне представления кодирование разделяется на кодирование источника и
кодирование для канала.
13.	Основными задачами кодирования источника являются: сжатие и за-
щита информации. Кодирование источника будет оптимальным только при
комплексном решении отмеченных задач.
14.	Основной задачей кодирования для канала является помехоустойчи-
вое кодирование.
15.	Исходным понятием теории информации является понятие «сообще-
ние». Сообщения и формирующие их источники информации разделяются на
непрерывные и дискретные. Материальной формой сообщения является сигнал.
16.	Взаимосвязь логической и соответствующей ей материальной форм
ИТК проявляется в виде изменения параметров сигнала в соответствии с сооб-
щением.
Представленная система взглядов (концепция) на теорию информации
открывает возможность решения целого ряда проблем, свойственных совре-
менному состоянию теории. Во-первых, она снимает неопределенность относи-
тельно места и роли теории информации в общей системе научных знаний. Во-
вторых, данная концепция позволяет конкретизировать предмет теории и опре-
делить область её применения, выход за границы которой может привести к
ошибочным результатам, дискредитирующим саму теорию. В-третьих, введе-
ние ею двух уровней представления процесса телекоммуникации открывает
перспективу устранения неоднозначности определения основных понятий тео-
рии информации и их взаимоотношения. В-четвёртых, с позиций данной кон-
27
цепции становятся понятными и приобретают реальные черты стратегия коди-
рования источника и стратегия кодирования для канала. В-пятых, что особенно
важно для специалистов по информационной безопасности телекоммуникаци-
онных систем, она впервые устанавливает целесообразность комплексного ре-
шения задач сжатия и защиты информации при кодировании источника.
Необходимо подчеркнуть, что данная система взглядов ни в коей мере не
выходит за рамки классической теории информации и, что особенно важно, она
является открытой для дальнейшего развития. Так, установление логического
уровня представления телекоммуникации оставляет место для результатов
дальнейших исследований в направлении оценки смысла передаваемой инфор-
мации. Наряду с этим, открытие целесообразности комплексного решения за-
дач сжатия и защиты информации при кодировании источника открывает ши-
рокое поле деятельности в направлении поиска новых подходов к сжатию ин-
формации на основе её защиты. Кстати, возможность таких подходов гениально
предсказал К.Шеннон в своей работе «Теория связи в секретных системах» [5].
Для описания реальных процессов с позиций любой концепции этим про-
цессам обязательно необходимо придать определенный математический образ,
позволяющий осуществлять количественную оценку.
1.4.	Количественная оценка информации
1.4.1.	Количество информации
Важнейшим вопросом конкретизации концепций теории информации все-
гда являлось установление меры количества информации. Первый продуктив-
ный шаг в этом направлении был сделан в 1928 году американским ученым Р.
Хартли, который, используя математический аппарат теории вероятностей,
впервые обозначил общий подход к определению меры количества информа-
ции. Раскроем содержание этого подхода.
Теорема 1.1. Пусть и является некоторым сообщением. Тогда, если извест-
на вероятность р(и) этого сообщения, то количество информации в сообщении
определяется в виде
28
J[u] = log —= -log p(u).
r p(u) r
(1.1)
Доказательство. Для доказательства теоремы проведем ряд мысленных
экспериментов.
Справка. Идея мысленного эксперимента как мощного орудия познания
впервые была предложена великим ученым Галилео Галилеем (1564 — 1642).
Она состоит в мысленном проведении такого эксперимента, который нельзя по-
ставить на практике, однако, предугадав его исход на основании глубокого по-
нимания законов окружающего мира, можно еще глубже познать законы при-
роды.
Первый эксперимент. Мысленно исследуем 2 сообщения щ и и2 о некото-
рых событиях:
-	сообщение щ: «В Ростовской области в этом году собран рекордный
урожай»;
-	сообщение и2: «Под Москвой приземлился космический аппарат с ино-
планетянами на борту».
Определим, какое из этих сообщений несет для нас больше информации.
Рассуждая логически, можно прийти к выводу, что это сообщение и2. Сообще-
ние ui конечно несет для нас информацию, но оно более предсказуемо (более
вероятно). Стояла хорошая погода, и большого урожая зерновых следовало
ожидать. Таким образом, сообщение щ только проинформировало нас о том,
что наши ожидания подтвердились. В отличие от него, сообщение и2 несет для
нас гораздо больше информации, так как является абсолютно неожиданным
(менее вероятным). Анализируя результаты этого эксперимента и принимая во
внимание аксиому 6, можно прийти к выводу, что количество информации в
сообщении и является функцией от величины, обратно пропорциональной ве-
роятности этого сообщения, т. е.
J(u) = f
VP(u)
29
Второй эксперимент. Мысленно предположим, что информацию сообще-
ний ui и U-2 мы получили одновременно в одном сообщении. Как в данном слу-
чае будет определяться количество информации? Ответ очевиден. Так как эти
события независимы, то совместная информация согласно аксиоме 7 будет оп-
ределяться как простая сумма информации одного и информации другого со-
общения:
Анализируя результаты эксперимента, ответим на вопрос: какая математи-
ческая функция обеспечивает выполнение равенства (1.2)? Ответ будет одно-
значным — логарифмы. Таким образом, можно прийти к выводу, что количест-
во информации в сообщении и определяется выражением вида
J[u] = logr—-— = - logr р (u). Что и требовалось доказать.
р(К)
Нетрудно заметить, что в определении количества информации (1.1) все
еще сохраняется неопределенность, так как остается без ответа вопрос: в каких
единицах может быть измерена информация? Анализ выражения (1.1) позволя-
ет сделать вывод, что ответ на этот вопрос даст конкретизация основания лога-
рифма. Принято считать, что, если г = 2, то информация измеряется в битах
(бит); г = е = 2,718 — в натах (нат); г = 10 — в дитах (дит). Обычно в форму-
ле (1.1) проводят двоичное логарифмирование, и информация измеряется в би-
тах.
В реальных ситуациях источник часто формирует сообщения и из букв ал-
фавита источника: А = ^а1...авд ) с вероятностями />(#1).../?Тогда в про-
стейшем случае, когда буквы алфавита равновероятны и взаимонезависимы
(^(ч) = а сообщения имеют постоянную длину L (постоянное число
букв), количество информации в каждом сообщении и определяется как
30
где J[a, ] = log.
j[u] = ZJ[aJ = Zlogr
= Z,logr(w1),
количество информации в букве.
Именно эту формулу получил в 1928 году Р. Хартли. Правомочен вопрос:
почему начало развития теории информации принято считать с 1948 года, хотя
единица ее измерения была определена еще в 1928 году?
Как уже отмечалось, Р. Хартли предложил только подход к количествен-
ной оценке информации. Однако он не смог вскрыть содержания процесса об-
мена информацией и прежде всего, связать этот процесс с коммуникацией (ак-
сиома 1), что не позволило ему пойти дальше в своих научных исследованиях.
Полученная им формула позволяла решать только абстрактные задачи и была
неприемлема для реальных задач обмена информацией.
Кроме того, в реальных дискретных источниках информации буквы алфа-
вита не равновероятны, а отсюда количество информации в формируемых со-
общениях неодинаково. Оно постоянно изменяется по мере формирования со-
общения источником, причем процесс этого изменения носит случайный харак-
тер. Отсюда следует, что количество информации не может использоваться в
качестве характеристики процесса обмена информацией. Однако, несмотря на
это, оно остается основным понятием теории информации. Приведенные рас-
суждения позволяют сформулировать основные свойства количества информа-
ции:
-	в менее вероятных сообщениях заключено большее количество инфор-
мации;
-	количество информации в нескольких независимых сообщениях равно
сумме количеств информации, заключенных в отдельных сообщениях (свойство
аддитивности);
-	количество информации в сообщениях реальных источников носит слу-
чайный характер.
31
1.4.2. Среднее количество информации и энтропия
Итак, начиная с 1928 года, сложилась довольно парадоксальная ситуация,
когда подход к определению количества информации и единиц ее измерения
был обозначен, а что и как измерять, применительно к каким реальным практи-
ческим задачам, — оставалось неясным. Нельзя сказать, что не было попыток
решить эту проблему после открытия Р. Хартли, однако, как свидетельствует
история, они неизменно заканчивались безрезультатно. Потребовался теорети-
ческий и практический гений К. Шеннона, его глубокое понимание реальных
задач обмена информацией, чтобы дать мощный импульс формированию и раз-
витию теории информации как науки. Ключом к успеху явилось то, что К.
Шеннон решал отмеченную проблему применительно к реальным задачам об-
мена информации — задачам телекоммуникации (связи). Прежде всего, это по-
зволило конкретизировать ряд понятий, например понятие собственной инфор-
мации.
Собственной информацией принято считать информацию сообщения, за-
ключенную в нем самом. В системах телекоммуникации источник информации
может выдавать различные сообщения щ, каждое из которых характеризуется
своей собственной информацией
J[u,.] = -logr(p(uj)).	(Ь4)
Характерным примером являются буквенные сообщения, передаваемые в
системах телекоммуникации. В данном случае количество собственной инфор-
мации сообщения, согласно (1.3), будет определяться вероятностями букв, из
которых оно состоит. Известно, что каждая буква в любом языке обладает соб-
ственной, отличной от других букв, вероятностью. Таким образом, каждое со-
общение будет обладать собственным (отличным от других сообщений) коли-
чеством информации. Отсюда следует, что при телекоммуникации количество
собственной информации изменяется во времени. А так как формирование букв
любого языка носит случайный характер, это изменение также будет случай-
ным.
32
Возникает проблема: количество собственной информации не может быть
использовано в качестве информационной характеристики телекоммуникации,
ввиду своего случайного характера. К. Шеннон предложил достаточно простой
с позиции современных представлений (но в свое время гениальный) путь ре-
шения данной проблемы: использовать в качестве такой информационной ха-
рактеристики не само количество собственной информации, а его математиче-
ское ожидание. Эта характеристика получила название среднего количества
собственной информации или просто среднего количества информации. Для
случая, когда источник информации задается дискретным ансамблем U, выбо-
рочное пространство которого составляют независимые сообщения щ, эта ха-
рактеристика определяется как
I[U] = М{J[и,. ]} = р (и,)logr р (и,).
Щ
(1-5)
Выражение (1.5) является фундаментальным для теории информации и оп-
ределяет среднее количество собственной информации, приходящейся на со-
общение источника информации.
К заслуге К. Шеннона следует отнести то, что он не ограничился приве-
денным определением. Сумев понять философскую глубину полученных ре-
зультатов, он пошел дальше. Как уже отмечалось, первоначально количество
информации в сообщении рассматривалось как мера непредсказуемости (неоп-
ределенности) этого сообщения. Чем более непредсказуемо сообщение, тем
большую информацию оно несет. С этих позиций выражение (1.5) характеризу-
ет среднюю неопределенность очередного состояния источника, т. е. неопреде-
ленность того, какое сообщение он будет в следующий момент генерировать.
Если в качестве сообщения щ рассматривается буква а. ? то это будет средняя
неопределенность очередного состояния источника на букву.
В физике меру неопределенности состояния системы называют энтропией.
Таким образом, вполне логично, что именно это название получило понятие,
характеризующее среднюю неопределенность в информационных системах.
33
Справка. Впервые понятие «энтропия» ввел немецкий физик Р. Клаузиус в
1865 году при формулировке второго закона термодинамики.
В общем случае энтропию можно рассматривать как меру неопределенно-
сти на различных этапах преобразования информации при телекоммуникации.
Как уже отмечалось, базовым понятием теоретического описания этих этапов
является понятие “ансамбль”, исходя из этого, можно сформулировать общее
определение энтропии с позиций теории информации. Энтропией называется
средняя неопределенность, характеризующая выборочное пространство ан-
самбля, задающего логическую форму информации телекоммуникации.
Если такой логической формой являются сообщения, формируемые дис-
кретным источником, общее определение принимает вид: энтропией дискрет-
ного источника называется средняя неопределенность сообщений, состав-
ляющих выборочное пространство ансамбля U источника. Если сообщения uz
взаимонезависимы, данная энтропия определяется выражением
H[U] = -^p(uI)1°gr(p(uI))-	(1.6)
«i
В случае, когда в качестве элементов дискретного ансамбля источника вы-
ступают буквы а- алфавита	), энтропия (1.6) называется энтропи-
ей дискретного источника на букву и определяется выражением
H[U] = -XX«;)log^(a,)-	(1-7)
j=l
Нетрудно заметить идентичность выражений (1.5) и (1.6), определяющих
среднее количество собственной информации и энтропию источника.
Правомочен вопрос: почему для источника информации характерно совпа-
дение этих двух по логике обратно противоположных понятий? К сожалению,
ответ на этот вопрос долгое время отсутствовал. Во многом это объясняется
тем, что проблема философского осмысления этого вопроса длительное время
находилась вне зоны научного внимания. Хотя, по-видимому, именно эта про-
блема во многом явилась причиной того, что после открытия Р.Хартли прошло
34
почти двадцать лет прежде, чем теория информации начала формироваться как
наука. Только подход к анализу информации с позиции телекоммуникации,
предложенный в 1948 году К. Шенноном, и, прежде всего, введение понятия
совместных ансамблей, поставили все на свои места. Для совместных ансамб-
лей, как будет показано далее, понятия средней взаимной информации и энтро-
пии становятся уже обратно пропорциональными. Однако найденный путь ре-
шения проблемы пока не объяснял саму проблему. Это объяснение дает приня-
тая концепция теории информации. Так как согласно аксиоме 1 понятие ин-
формации возникает только в процессе коммуникации, то перед ее установле-
нием потенциальный объект информации может восприниматься ее потенци-
альным получателем двояко: как нечто неизвестное и неопределенное, характе-
ризуемое энтропией, и как потенциальный источник информации, которая мо-
жет быть получена при установлении коммуникации и характеризуется сред-
ним количеством информации. При этом получение полной информации об
объекте будет приводить к полному снятию неопределенности о нем у получа-
теля. Отсюда объективно следует идентичность выражений для энтропии и
среднего количества информации ансамбля сообщений.
Приведенное К. Шенноном определение энтропии дискретных источников
является универсальным и применимо для всех видов логических форм, кото-
рые может принимать сообщение при телекоммуникации, если эти формы за-
даются дискретными ансамблями. Это дает основание называть данную энтро-
пию в общем случае энтропией дискретных ансамблей.
Определим основные свойства энтропии дискретных ансамблей [1].
Свойство 1. Энтропия не может быть отрицательной.
Доказательство. Это свойство вытекает из формулы (1.6), если учесть, что
вероятность p(uz) < 1.
Свойство 2. Энтропия детерминированных (неслучайных) сообщений
равна нулю.
35
Доказательство, Предположим, что среди множества сообщений одно
возникает с вероятностью единица, а вероятность появления других сообще-
ний, соответственно, равна нулю. Учитывая, что логарифм единицы равен ну-
лю, из формулы (1.6) легко определить, что в этом случае энтропия равна нулю,
т. e. неопределенность отсутствует.
Свойство 3, Энтропия увеличивается при уменьшении диапазона воз-
можных значений вероятностей элементов ансамбля.
Доказательство, Покажем, что любое преобразование вероятностей двух
элементов ансамбля, которое делает эти вероятности более близкими друг к
другу, увеличивает энтропию ансамбля.
Пусть X и Y являются ансамблями с вероятностными мерами:


Определим разность энтропий ансамблей X и Y:

Применив известное неравенство log z < (z -1) log e, получим:
H[X]-H[Y]<(loge)
р(аД-Е
= —е log 1-< 0.
Р^Д + Е
Откуда следует H[Y] > Н[Х], что и требовалось доказать.
Свойство 4. Энтропия максимальна тогда, когда все сообщения, состав-
ляющие выборочное пространство дискретного ансамбля, равновероятны.
36
Доказательство. Учитывая, что энтропия ансамбля, у которого все его т
элементов равновероятны, определяется как
Н_[Х] = -т—log— = logm,
т т
доказательство свойства сводится к доказательству неравенства Н[Х] < log/и.
Определим разность
Н[Х] - log т = 2 р(х) log—— - X Ах) log т = £ р(х) log
к	Р\х) к	х
Применив неравенство log z < (z -1) log e, получим:
т р(х)
Н[Х] - log т < log	р(х)
тр(х) тр(х)
~ ГП X
wV
Откуда следует, чтоН[Х] < log т, что и требовалось доказать.
При применении общего определения энтропии к непрерывным ансамб-
лям возникает серьезная проблема, связанная в первую очередь с тем, что вы-
борочное пространство этих ансамблей представляется непрерывным случай-
ным процессом (случайной величиной). Покажем эту проблему.
Обозначим непрерывнозначную случайную величину, определяющую вы-
борочное пространство непрерывного ансамбля S, буквой s. Предположим, что
нам известна плотность вероятностей Р(^), определяющая вероятностную меру
ансамбля. Попытаемся решить задачу определения энтропии путем предельно-
го перехода от дискретного представления (1.7) к непрерывному, увеличивая
значение т/. Для этого разобьем область значений случайной величины 5 на mi
частей, равных zV . Значение mi установим достаточно большим, а zV достаточ-
но малым, чтобы считать
Si +As
Pi = J P{s)ds P{Si)ds .
S/
Подставив в (1.7) и перейдя к пределу при As—>0, получим:
37
00
H[S] = - Jp(s)logr P(s)ds -lim logr As = h[S] + a.
(1-8)
Из (1.8) видно, что энтропия непрерывного ансамбля содержит две состав-
ляющие, из которых вторая (а) порождает проблему стремления энтропии к
бесконечности при переходе к непрерывному выборочному пространству
(Ду —> 0). Физически этот результат вполне объясним. Ведь с позиции дискрет-
ных ансамблей энтропия — это средняя неопределенность элементов выбороч-
ного пространства. Таким образом, можно считать, что непрерывное выбороч-
ное пространство обладает бесконечно большим числом состояний. Отсюда,
его неопределенность будет бесконечно большой.
К. Шеннон предложил довольно оригинальное и простое решение этой
проблемы [4], состоящее в следующем: при определении энтропии непрерыв-
ных ансамблей (1.8) ограничиться только ее первой составляющей h[S] и не
учитывать вторую а. Он называл эту составляющую дифференциальной эн-
тропией и определил как
00
h[S] = - JP(s)logrP(s)6Zs.	(1.9)
Применение дифференциальной энтропии открывает возможность относи-
тельной количественной оценки средней неопределенности выборочных про-
странств для непрерывных ансамблей, однако не снимает проблему в целом.
Это отмечал и К. Шеннон. Решение этой проблемы, по-видимому, потребует
новых подходов, одну из основ которых обязательно будет составлять понятие
«средняя взаимная информация».
1.5.	Средняя взаимная информация для дискретных ансамблей
1.5.1. Взаимная информация и условная собственная информация
Собственная информация, содержащаяся в сообщении, является, очевидно,
функцией только ансамбля источника. Она может быть интерпретирована либо
как априорная неопределенность сообщения, либо как информация, требуемая
38
для разрешения этой неопределенности. Кажущаяся простота определения соб-
ственной информации (1.4), для чего требуется лишь один отдельный ансамбль,
в свое время ввела в заблуждение многих ученых. В результате этого, неодно-
кратные попытки, предпринятые в литературе для эвристической интерпрета-
ции собственной информации с помощью индивидуального ансамбля, привели
к большой путанице. В частности, исходя из отдельного ансамбля, трудно по-
нять, почему информация и неопределенность не должны быть связаны обрат-
ной зависимостью, а должны быть двумя различными взглядами на одно и то
же явление. Оказалось, что интуитивное понимание собственной информации
практически невозможно в терминах отдельного ансамбля.
Это наглядно проявляется в свете задач телекоммуникации. Пусть собст-
венная информация сообщений, формируемых источником, определяется ан-
самблем U источника с алфавитом А={а1...а£}. Собственная информация сооб-
щений, поступающих получателю, — ансамблем V получателя информации с
алфавитом B={Z>1...Zj^}. Пусть в качестве сообщений рассматриваются буквы,
т. е. Ui=<7fc и Vi=bj . Известно, что при телекоммуникации происходит трансфор-
мация а% в bj. Возникает вопрос: как описать процесс этой трансформации?
Вполне понятно, что в рамках отдельных ансамблей решить эту проблему не-
возможно. Ответ очевиден — необходимо использование понятия совместного
ансамбля UV. Однако, несмотря на эту очевидность, все же остается непонят-
ным: как это возможно осуществить.
По-видимому, для этого необходимо описать процесс телекоммуникации,
используя технологию, вводимую теорией информации. Учитывая, что количе-
ственная мера информации является функцией вероятности, это описание, не-
сомненно, должно основываться на известных вероятностных подходах к ре-
шению задач телекоммуникаций. Анализ этих подходов показывает, что основ-
ной вероятностной характеристикой, описывающей процесс передачи сообще-
ний при телекоммуникации, является так называемая апостериорная вероят-
ность. Апостериорная вероятность pia^/bj) — это вероятность того, что при-
39
нятое сообщение bj явилось следствием передачи сообщения а^. На вероятност-
ном языке (рис. 1.6), процесс передачи сообщения а% понимается как изменение
его вероятности от априорной p(ctk) до апостериорной при появлении на
приеме bj.
передача
РОЦЕСС ПЕРЕДАЧИ
да)ода/Д;
ЕРОЯТЮСТНЫЙ ЯЗЫК
Рис 1.6. Представление телекоммуникации с позиции теории вероятностей
Таким образом, апостериорную вероятность можно трактовать как неопре-
деленность, остающуюся о сообщении а% после приема bj. Переходя на инфор-
мационный язык (рис 1.7), можно считать, что эта неопределенность характери-
зует часть информации передаваемого сообщения ak, которая остается неиз-
вестной после приема сообщения bj. Ее называют условной собственной ин-
формацией и определяют как
J ak/b = log—-—— =-log/?(at/Z> ).
р(ак/Ьк)
(1.10)
Рис 1.7. Представление телекоммуникации с позиции теории информации
Таким образом, условная собственная информация — это информация,
которой не хватает получателю для однозначного определения переданного со-
общения а% по принятому bj. Исходя из этого, количество информации о со-
общении ak, содержащееся в сообщении bj, можно определить как
40
Выражение (1.11) описывает процесс передачи на информационном языке.
Данное описание позволяет придать физический смысл понятию условной соб-
ственной информации как количественной мере потерь информации при теле-
коммуникации (искажения в канале связи). Подстановка (1.4) и (1.10) в (1.11)
позволяет окончательно определить выражение, определяющее фундаменталь-
ное понятие теории информации — понятие взаимной информации.
Взаимная информация — это информация о сообщении содержащаяся
в сообщении Ь/.
v I a,/b )
] = log^ *	(1.12)
Вопрос: почему данное понятие формулируется именно как взаимная ин-
формация? Такое название данное понятие получило из-за его симметрии отно-
сительно ак и Ьь следующей из (1.12):
р\ак/ЬЛ P\akbil	P\bJak)
;м=log \ /=и =log f
P\ak)	PWPybj) Р\ъ^
Определение взаимной информации, как и других понятий, используемых
для описания процесса передачи на информационном языке, невозможно без
использования совместного ансамбля UV.
Совместным ансамблем UV принято называть ансамбль, определяемый:
-	совместным выборочным пространством, объединяющим выборочные
пространства отдельных ансамблей (U и V), составляющих совместный ан-
самбль;
-	вероятностной мерой, характеризуемой распределением вероятностей
p(dkfy) над совместным выборочным пространством.
1.5.2. Средняя взаимная информация и условная энтропия
Как можно заметить из (1.12), взаимная информация является случайной
величиной, т. е. случайной числовой функцией элементов выборочного про-
странства совместного ансамбля UV. Это довольно необычная случайная вели-
41
чина, так как ее значение зависит от вероятностной меры, однако с ней можно
обращаться так же, как с любой другой случайной величиной. В частности, вза-
имная информация имеет математическое ожидание, дисперсию и моменты
всех порядков.
Средней взаимной информацией называется математическое ожидание
взаимной информации:
L N	L N	р(а Л) )
t[U;V]==ZZXaA)log V А •	<113)
4=1 7=1	4=1 У=1	Р\ак)
Необходимо отметить, что средняя взаимная информация является функ-
цией только ансамбля UV, в то время как взаимная информация, которая явля-
ется случайной величиной, — функцией частных исходов а% и bj.
Условная собственная информация также является функцией на совмест-
ном ансамбле UV и имеет математическое ожидание, которое называется ус-
ловной энтропией и обозначается как
H[U/V] = £	) J[at /*,] = - £ J p(akbj,)logp(at /*,).	(1.14)
4=1 j=l	4=1 j=l
С учетом (1.14) выражение (1.13) для средней взаимной информации при-
нимает следующий вид:
I[U;V]=H[U] - H[U/V].	(1.15)
Это равенство показывает, что среднее количество взаимной информации
I[U;V] можно интерпретировать как среднюю неопределенность исхода ан-
самбля U, которая снимается после наблюдения исхода ансамбля V. В данном
случае H[U/V] представляет собой оставшуюся среднюю неопределенность U
после наблюдения V. С другой стороны, учитывая двоякий смысл, который
приобретает энтропия в процессе коммуникации, выражение для средней вза-
имной информации может представляться в виде
I[U; V] = I[U] - I[U/V].
Это позволяет интерпретировать ее, как среднюю информацию об элемен-
тах ансамбля U в элементах ансамбля V. В данном случае средняя условная
42
информация I[U/V] интерпретируется как среднее количество информации,
которого недостает в элементах ансамбля V для полного представления эле-
ментов ансамбля U:
X Z р (аА) 1о§ р	!ь,) •
I[u/V] = yy
L N	L N
£=1 7=1	£=1	7=1
Идентичность выражений для I[U;V] и H[U/V] показывает правомочность
как первого, так и второго варианта интерпретации средней взаимной инфор-
мации.
Можно получить еще ряд соотношений, если рассматривать выборочное
пространство совместного ансамбля UV как пространство, элементами которо-
го являются пары а% и bj. Собственная информация пары и bj равна
Так как p[akbj} = p[ak^p{bj /= p[bр{ак /b, то получим
J[^] = J^J+J^4] = J^] + J[^^7]-	(1Л6)
Взаимная информация может быть выражена через следующим об-
разом. Определим из (1.16) выражение для условной собственной информации
J[aA/^]и подставим его в (1.11), в результате чего получим
J[a^] = J[aJ + J[Z>J-J[akbj].	(1.17)
Усредняя выражения (1.16) и (1.17), по совместному ансамблю UV нахо-
дим
H[UV] = H[U] + H[V/U] = H[V] + H[U/V],	(1.18)
I[U; V] = H[U] + H[V] - H[UV].	(1.19)
Из выражений (1.18) и (1.19) следует такое важное понятие теории инфор-
мации, как «совместная энтропия». Совместная энтропия H[UV] характери-
зует среднюю неопределенность выборочного пространства совместного ан-
самбля U V.
Анализ выражения (1.19) показывает, что для совместных ансамблей, в от-
личие от отдельных ансамблей, характерна уже обратная зависимость понятий
43
«среднее количество информации» и «энтропия»: увеличение совместной эн-
тропии приводит к уменьшению средней взаимной информации и наоборот.
1.5.3. Средняя условная взаимная информация
Пусть символы (буквы) U1...UN будут исходами совместного ансамбля
Ui...Un. Определим из (1.12) условную взаимную информацию между ui и и2
при условии, что задано
= log	_ j[Wi/Wj] - J[wj/w2,w3].
р\их/и3\
(1.20)
Тогда средняя условная взаимная информация определяется из (1.13), как
(L21)
2-'	PWU3)
W1 w2 w3
= HfU^ ] - H[U1/U2U3 ].
Условная взаимная информация является частью взаимной информации о
некотором частном исходе и2, содержащейся в некоторой паре исходов и2 и3.
Теорема 1.2. Пусть ui,u2,u3 являются исходами совместного ансамбля
U1U2U3, тогда среднее количество информации исходов ансамбля Ui, в исходах
ансамбля U2U3
I[U1 ;U2U3 ] = I[U, ;U2 ] + I[U, ;U3/U2 ].
Доказательство. Рассуждая логически, можно предположить, что взаим-
ная информация J[w1;w2w3] будет равна информации о щ, содержащейся в и2,
сложенной с информацией о ui, содержащейся в и3, при условии, что задан и2,
е.
W«2] +	= log^l + log^l^ =
= log	_ ДИ1;М2И3] ,
Р(«1)
Усредняя (1.22) по совместному ансамблю,
I[Ui ;U2U3 ] = I[Uj ;U2 ] + I[Uj ;U3/U2 ]. Что и требовалось доказать.
(1.22)
получаем
44
Из теоремы с учетом (1.15) и (1.21) применительно к телекоммуникации
следует
I[U1;U2U3] = H[U1]-H[U1/U2] + H[U1/U2]-H[U1/U2U3] =	(1.23)
= H[U1 ] - H[Uj/U2U3 ] = I[U1 ] - I[U/U2U3 ].
В (1.23) средняя условная информация I[Ui/U2U3] характеризует среднее
количество информации, которого недостает в элементах ансамбля U2U3 для
полного представления элементов ансамбля Ui.
1.5.4. Свойства средней взаимной информации
Определение основных свойств взаимной информации начнем с теоремы
[1] •
Теорема 1.3. Пусть X — ансамбль с выборочным пространством из К
элементов, тогда
H[X]<log/T	(1.24)
с равенством тогда и только тогда, когда все элементы равновероятны.
Доказательство. Для доказательства теоремы воспользуемся известными
соотношениями:
In- <z — 1; z >0,z ^1,
In z = z — 1; z>0, z = 1,
log z = (log e) In z.
Покажем справедливость производного от (1.24) неравенства
Н[Х] - log/: < О,
Н[Х] - log К = Ep(x)log J- -Zp(x)log^ = EXx)log—L- =
X	p(x) X	X	A/?(x)
= (loge)Zp(x)ln 1 < logeEp(x)[—1— -1] = logeE-^ - Ep(x)] < 0.
x K/?(x) x Kp(x)	x К x
Последнее неравенство следует из того, что сумма по х имеет не более К
слагаемых. Так как энтропия ансамбля максимальна, когда элементы равнове-
роятны, можно предположить, что энтропия ансамбля увеличится, если вероят-
ность некоторого элемента увеличится за счет другого, более вероятного.
45
Свойство L Средняя взаимная информация всегда неотрицательна, не-
смотря на то, что взаимная информация как случайная величина может прини-
мать отрицательные значения. Таким образом, для дискретного совместного
ансамбля XY всегда справедливо неравенство
I[X;Y] > 0.
Знак равенства имеет место тогда и только тогда, когда X и Y статистиче-
ски независимы.
Доказательство. Покажем, что -I[X;Y] < 0.
Поскольку -I[X;Y] = (log2 e)^^/>(x,y)ln
X у
Р(х)
р(х/у)
и р(х,у) > О, то
-I[X;Y] < (log2 е)^ Z	~1
х У |_Ах/У) J
=iog2e SL^(x)Xy)-SL^(xy) -°-
ху	xv
Неравенство переходит в равенство в случае, когда р(ху)йР(х)р(у) ? т- е- к0-
гда X и Y статистически независимы.
Непосредственным следствием этого свойства и равенства (1.15) является
неравенство
Н[Х] > H[X/Y]H[X] >H[X/Y].
Свойство 2. Средняя взаимная условная информация всегда неотрица-
тельна. Таким образом, для дискретного совместного ансамбля XYZ всегда
справедливо неравенство
I [X; Y/Z] > 0.
Знак равенства имеет место тогда и только тогда, когда при каждом задан-
ном z ансамбли X и Y статистически независимы, т. е. когда выполняется ра-
венство
/>(xy/z) =/?(x/z)/>(y/z) .	(1.25)
Доказательство» Свойство может быть доказано аналогично свойству 1,
если все вероятности заменить на условные при заданном z.
46
Из свойства 2 следует неравенство
H[X/Z] > H[X/ZY].	(1.26)
Знак равенства будет тогда и только тогда, когда справедливо (1.25).
Свойство 3, Средняя взаимная информация всегда больше средней взаим-
ной условной информации. Для дискретного совместного ансамбля XYZ всегда
справедливы неравенства
I[X;YZ] > I[X;Y/Z],	(1.27)
I[X;YZ] > I[X;Z/Y].	(1.28)
Доказательство, Применив равенство (1.22) к совместному ансамблю
XYZ, получим
I[X; YZ] = I[X; Y] + I[X;Z/Y],
I[X;YZ] = I[X;Z] + I[X;Y/Z].
Из полученных равенств на основании свойства 1 следует справедливость
неравенств (1.27) и (1.28).
1.6. Средняя взаимная информация для непрерывных ансамблей
В отличие от дискретных ансамблей, основу определения вероятной меры
для непрерывных ансамблей составляет функция распределения. Так, для не-
прерывного ансамбля X с выборочным пространством, представленным слу-
чайной величиной х, это F(xJ = /?(x<xt).
Тогда вероятность того, что случайная величина х будет в пределах от Х] до
х2 определяется как
Xх! < х < х2) = F(x2) - F(Xj).
Обычно вместо функций распределения для задания выборочного про-
странства используются плотности вероятности:
/ \ V Fx(X)“Fx(X-A) ^х(Х)
Р(х) = lim v 7---—------ =—
Таким образом, вероятностная мера для совместного ансамбля XY, образо-
ванного непрерывными ансамблями X и Y, может быть определена как
47
При этом отдельные плотности вероятности определяются равенством
00	00
р(х)= |р(ху)б/у; Р(у) = Jp(xy)tfe.
—00	—00
Тогда выражение для взаимной информации определяется как
Откуда выражение для средней взаимной информации совместного ан-
самбля XY принимает вид

dxdy.
Для непрерывного совместного непрерывного ансамбля XYZ средняя вза-
имная информации определяется из выражения (1.22) как
I [X; YZ] = I [X; Y] +1 [X; Z/Y] ,
где
irX;Y/zl= f[[p(xyz)log .
L J JJJ V > ) 6P(x)P(y)P(z
dxdydz.
При вычислении средних взаимных информаций необходимо определить
дифференциальную энтропию. Так, для ансамбля X дифференциальная энтро-
пия определяется равенством
Аналогично, условная энтропия определяется как
На основании этих определений вычисляется средняя взаимная информа-
ция
I[X;Y] = h[X] - h[X/Y] = h[Y] - h [Y/X] = h [X] + h [Y] - h[XY].
48
Рассмотрим характерный для телекоммуникации пример [1] вычисления
средней взаимной информации для непрерывного совместного ансамбля XY,
когда выборочное пространство ансамблем X определяет вход канала связи, а
выборочное пространство ансамбля Y — его выход.
Пусть вход канала х будет гауссовской случайной величиной с нулевым
математическим ожиданием и плотностью вероятности
Р(х) = . 1 ехр
Параметр ст* = Е является дисперсией или «энергией входа». Будем счи-
тать, что выходом канала у является сумма входа х и независящей от него гаус-
совской случайной величины с нулевым средним и дисперсией о2. Тогда услов-
ная плотность вероятности выхода при условии, что задан вход, имеет вид
Р(у/х) =
Это значит, что при заданном х выход у имеет гауссовское распределение с
дисперсией которое сконцентрировано около точки х.
Определим h [Y/Х], учитывая, что Р(ху)=Р(х)Р(у/х):
(1.29)
h [Y/X] = - J Р(х) fP (у/х) log Р(у / х) dydx =
+O,51oge б/х = 0,5 • log(2^ecr ) .
2	2
При выводе (1.29) учитывалось, что а = JP (у/х) (у - х) tfy согласно
формуле для дисперсии условного распределения.
Заметим, что выход является суммой двух независимых гауссовских слу-
чайных величин с дисперсией Р+о2, тогда
49
Откуда h [Y] =0,5 log[2тге(2? +сг)^ ].
Таким образом, среднее количество взаимной информации определяется
как
I [X;Y]= h[Y] - h[Y/X]= 4 log 1 + 4
(1-30)
2
Обратим внимание, что когда о в (1.30) стремится к нулю, I[X; Y] стре-
мится к оо. Это еще раз свидетельствует о том, что введение понятия “диффе-
ренциальная энтропия” в полной мере не решает проблемы вычисления сред-
ней неопределенности для непрерывных ансамблей.
50
Глава 2
ИСТОЧНИКИ ИНФОРМАЦИИ
2.1.	Представление источников информации
С позиций теории информации источник считается заданным, если опреде-
лены ансамбль источника и его энтропия, позволяющие дать описание процесса
формирования сообщений на выходе источника. Для этого необходимо в пер-
вую очередь установить выборочное пространство ансамбля и его вероятност-
ную меру. В зависимости от вида выборочного пространства, источники приня-
то разделять на непрерывные и дискретные.
2.1.1.	Непрерывные источники
Непрерывным источником информации считается источник, представ-
ленный ансамблем, выборочное пространство которого является непрерывным.
Такими источниками являются источники аудио- и видеоинформации. Выбо-
рочные пространства этих источников достаточно точно описываются вектор-
ными марковскими непрерывными случайными процессами [2], априорное
дифференциальное уравнение которых имеет вид
= A[Z, S(Z)] + W(t) Ns (0,	(2Л)
dt
где S(Z), А[/, S(Zj] и Ns(0 — матрицы размерностью rxr; W(Z) — матрица раз-
мерностью rxr.
Вектор Ns(0 представляет собой формирующий гауссовский белый шум с
независимыми компонентами. Его числовые характеристики часто определяют
как
M[Ns(t)]=0, M[Ns(?)Ns(?)]=0,5Gs8 (Z),
где 5(/) — дельта-функция, Gs — диагональная матрица спектральных плот-
ностей формирующего шума, M[Ns(t)] —математическое ожидание.
В общем случае выражение (2.1) характеризует процесс изменения состоя-
ний источника. Статистические характеристики этого процесса задаются веро-
51
ятностной мерой ансамбля источника. Состояние источника определяет его вы-
ход, т. е. формируемое им сообщение. Таким образом, сообщения могут быть
представлены через реализацию случайного процесса вида (2.1). Необходимо
отметить, что в прямой постановке такое представление связано с рядом до-
вольно серьёзных проблем, вызванных нелинейным характером дифференци-
ального уравнения (2.1). Решение этих проблем во многом может быть достиг-
нуто путём гауссовской аппроксимации случайного процесса (2.1) и допущения
его стационарности. При этом для гауссовского процесса функция
A[Z,S(Z)]=A(Z)S(Z) принимает линейный характер относительно S(Z), а предполо-
жение стационарности позволяет считать матрицы W и А не зависящими от
времени. В результате выражение (2.1) может быть приведено к виду
= AS(,)-WN,W.	(22)
где А — матрица размерностью ух у.
В некоторых случаях выборочное пространство непрерывных источников
может представляться в виде скалярного случайного процесса. При этом прак-
тика показала, что многие реальные источники можно достаточно точно моде-
лировать одномерным гауссовским процессом. Такой процесс на основании
(2.1) и (2.2) определяется априорным стохастическим дифференциальным
уравнением вида
t7s(Z) z. z ч
---- = -as(Z) + «(Z),
dt
где a — известная постоянная; n(t) — гауссовский белый шум с нулевым ма-
тематическим ожиданием M[wfZ)]=0 и функцией корреляции
М[и(?1)«(/2)]=у No 8(?! -f2).
Источник в данном случае можно представить как интегрирующую цепь
(рис. 2.1) с RC=l/a, через которую пропускается белый гауссовский шум n(t).
Выход такого источника будет гауссовским марковским скалярным процессом
со следующими статистическими характеристиками: математическим ожида-
52
нием ms=0; нормированной функцией корреляции Rs(t) = ехр(-ат|). Несмотря
на простоту проведённого представления, его применение в ряде случаев ока-
зывается полезным и даёт сравнительно хорошее приближение к реальным ис-
точникам. Точность приближения здесь обеспечивается выбором коэффициента
а.
Рис. 2.1. Представление непрерывного источника
Необходимо помнить, что абсолютно точно описать реальный непрерыв-
ный источник невозможно. В любом случае это описание будет приближённым,
т. е. сопровождаться потерями сведений об источнике. Поэтому при описании
непрерывных источников должна решаться задача определения допустимой ве-
личины этих потерь для представления источника с заданной точностью.
2.1.2.	Дискретные источники
Дискретным источником информации считается источник, представлен-
ный ансамблем U, выборочное пространство которого является дискретным.
При описании таких источников обязательно определяется алфавит источни-
ка А = (а1...ат ) и его статистические характеристики. Из букв этого алфавита
формируются элементы выборочного пространства источника. Этими элемен-
тами могут быть буквы алфавита А, соответствующие определённому состоя-
нию источника, или комбинации этих букв (слова).
Вероятностная мера источника определяется путём его вероятностного
описания. Для этого анализируется последовательность букв и = (ихи2...иг..),
производимая источником. При этом считается, что каждая буква щ может при-
нимать значение любой из букв алфавита А. Полное вероятностное описание
источника задаётся вероятностями /7(w7+iw7+2—w;+z) , определёнными для всех L
53
последовательностей, составляющих анализируемую последовательность, и
всех начальных моментов j.
Стационарным считается дискретный источник, у которого вероятност-
ное описание не зависит от начала отсчёта, т. е. если для всех длин Z, целых чи-
сел j и последовательностей ul=(w7+i, ц+ъ •••> w/+l), выполняется условие
ptW2- uL) = р(им и.+2 им).	(2.3)
Выражение (2.3) обозначает, что вероятность того, что источник произво-
дит последовательность ul=(wi ... ul) на интервале от 1 до £ равна вероятности
того, что производится точно такая же последовательность на интервале от у+1
до j+L. Таким образом, сдвиг последовательности на j не изменяет её вероятно-
сти.
Периодическим считается дискретный стационарный источник, у которого
(2.3) справедливо только для у, кратных некоторому целому числу т>1. Наи-
меньшее значение тт удовлетворяющее этому условию, называется периодом.
Если рассматривать блоки букв периодического источника с периодом тт как
некоторые «супербуквы» большего алфавита, то последовательность этих «су-
пербукв» также будет стационарной.
Эргодическим называется дискретный стационарный источник, обладаю-
щий свойством эргодичности. Эргодичность означает, что статистические за-
кономерности, полученные при исследовании одного достаточно длинного со-
общения (ul=(mi.„. ul) при Z^oo), с вероятностью, близкой к единице, справед-
ливы для всех сообщений, формируемых источником. Упрощенно это свойство
определяют так: среднее во времени равно среднему по ансамблю.
Принято считать, что все реальные дискретные источники обладают так
называемой памятью. Дискретный источник с памятью предполагает зави-
симость вероятности появления очередной буквы от всех ранее сформирован-
ных букв. Если эта зависимость распространяется только на некоторое ограни-
ченное число предыдущих букв, то источник считается марковским. Источни-
ки, у которых эта зависимость отсутствует, определяют как дискретные ис-
54
точники без памяти. Такие источники часто называют источниками Бернул-
ли.
Допущения стационарности, эргодичности и марковости значительно уп-
рощают описание реальных дискретных источников. Однако ценой этого уп-
рощения является обязательное увеличение потерь в точности представления
данных источников. Наиболее простым является представление источников в
виде дискретных источников без памяти. Оно привлекательно тем, что позволя-
ет получать наглядные и понимаемые решения большинства задач теории ин-
формации. Однако возможные ощутимые потери в точности такого представ-
ления реальных источников часто порождают риск того, что эти решения могут
остаться предметом теории, весьма далёким от практических приложений.
Основной информационной характеристикой представления как дискрет-
ных, так и непрерывных источников является энтропия. Для дискретных источ-
ников — это энтропия на букву (сообщение) источника, для непрерывных —
дифференциальная (относительная) энтропия.
2.2.	Энтропия дискретных источников
2.2.1.	Дискретные источники без памяти
Для источника U без памяти вероятность последовательности ul=(z/i ... ul)
из L букв источника равна произведению вероятности отдельных букв:
L
Хил)=П/’(и;).
1=\
В этом равенстве каждая буква uL выбирается из алфавита А = (ах...ат^).
Пример. Если источник имеет алфавит из двух букв ai и а2 с вероятностями
р(Я1)=0,7 и р(а2)=0,3, то вероятность последовательности из=(щ , w2 , из) при
и\=аъ иг=а\, щ=а\ равна 0,3-0,7-0,7=0,147.
Собственная информация последовательности щ имеет вид
i	L	L	(2.4)
J[u£] = -logp(uz)	=-log]^[jo(w;) = ^-log/’(w,) = ^J[w/]-
Z=1	Z=1	Z=1
55
Каждая буква щ в данном случае представляет собой статистически неза-
висимую выборку для одного и того же источника U. Следовательно, (2.4) ут-
верждает, что J[ul] является суммой L независимых одинаково распределенных
случайных величин. Так как среднее каждой из случайных величин J[ul] явля-
ется энтропией источника H[U], то из закона больших чисел следует, что если L
велико, то J[uJ/£ = HL(U) будет с большой вероятностью близка к H[U], т. е.
Hz(U) = J[u£]/Z«H(U),	(2.5)
где HL(U) — эмпирическая энтропия последовательности букв источника
длины L на букву.
Из выражения (2.5) имеем -log2/?(u£) ~ ZH [U] или
р(и£)«2-£Н[и1.	(2.6)
Из равенства (2.6) вероятность любой типичной достаточно длинной по-
следовательности источника длиной L в некотором смысле приближенно равна
2'ZH|TI] и, следовательно, число таких типичных последовательностей Л/т должно
быть приблизительно равно
Мт«2£Н[и].	(2.7)
Если требуется сопоставить двоичные кодовые слова всем этим типичным
-л
последовательностям и имеется 2 различных двоичных последовательностей,
тогда N должно быть приближенно равно ZH[U].
Приведенные эвристические соображения дают три различных толкования
энтропии источника:
1)	с помощью вероятности типичных последовательностей источника;
2)	с помощью числа типичных последовательностей источника;
3)	с помощью числа двоичных символов, требуемых для представления
типичных последовательностей источника.
Эти эвристические идеи очень полезны для получения простой картины
поведения источников, и они легко обобщаются для источников, в которых
имеется статистическая зависимость между последовательностями букв, т. е.
56
для источников с памятью. Однако для развития этих идей требуется провести
уточнение приближений, имеющихся в (2.5) — (2.7).
Как было показано, J[ul] является суммой L независимых одинаково рас-
пределенных случайных величин J[wJ, каждая из которых имеет конечное ма-
тематическое ожидание H[U]. Тогда из закона больших чисел следует, что для
любого § > 0 существует такое^(£,8) >0, что
lim^(Z,8) = 0.
(2.8)
(2.9)

Это означает, что вероятность того, что выборочное среднее J [щ]/£ отли-
чается от H[U] более чем на произвольную фиксированную величину § и стре-
мится к нулю при увеличении L. Отсюда следует, что для последовательностей,
относящихся к множеству St типичных последовательностей щ при фиксиро-
ванных 8 и£, будет справедливо неравенство
< 8, g Sy.
(2.10)
Тогда из (2.8) для ще St получаем
^(ST)>l-e(Z,8).	(2.11)
Преобразовав (2.11), можно получить неравенства, уточняющие прибли-
жение в (2.5) и (2.6):
l(h [и] - 5) < J[uL] < l(h [и] + 5),
2-z(H[u]-a) > (u j >	.	(2.12)
Для числа последовательностей Мт в множестве St справедливы ограниче-
ния 1> /?(ST)>AfTniin/?(u£) и 1 - s(Z,8) < /7(ST)<AfTmax/?(u£).
Отсюда, используя (2.12), получаем
l-e(A<5)]2i(№) <Mt<2l^+5\	(2.13)
что является конкретизацией приближения в (2.7).
57
Обобщим полученные результаты, учитывая эффекты статистической за-
висимости между буквами источника.
2.2.2.	Дискретные стационарные источники
Пусть иь=(ид ... ul) — последовательность L букв дискретного стационар-
ного источника и пусть Ui, U2, ..., Ul — совокупный ансамбль для щ. Опреде-
лим энтропию на букву для стационарного дискретного источника. В данном
случае известны 2 подхода [4] к решению поставленной задачи, которые при-
водят к одному и тому же результату.
Первый подход предполагает определение энтропии на букву источника
как
H[U] = Н„ [и] = lim—H[UjU2...U£] = limhog^—
£	J Z->CO L и (ц )
(2.14)
Второй основан на определении условной энтропии Л-й буквы в последо-
вательности при условии, что заданы (Z -1) букв, т. е. H[U£/U1...U£_1].
С учетом этого энтропия на букву источника определяется как
Н[и] = Н [и] = lim—H[U£/U1...U£_1].	(2Л5)
L—>00 £
Правомерность отмеченных подходов определяется следующими свойст-
вами дискретных стационарных источников с энтропией H[U] < 00:
Свойство!. Условная энтропия H[U£ /Ui...U£_i] не возрастает с увеличе-
нием L,
Свойство 2. Энтропия на букву HL[U] в последовательности L не возраста-
ет с увеличением L.
Свойство 3. H£[U] > Щи/Ц.. .UZ4 ].
Свойство 4. limH£[U] = limH[Ui/U1...Ui_1].
Данные свойства подтверждаются следующими соотношениями. Исполь-
зуя неравенство H[X/Y]>H[X/YZ] и учитывая стационарность источника, полу-
чим:
H[U£/U1...U£_1] < H[U£/U2...U£_j] = н[и£_1/и1...и£_2],
58
что подтверждает свойство 1.
Используя цепное равенство для разложения Hl[U], получаем
HZ[U]=—(Н [UJ+H [U/UJ + ... + H [и£/Ц	).
L
(2.16)
Согласно свойству 1 последнее слагаемое в (2.16) является границей снизу
каждого из L слагаемых. Применяя эту границу, получаем свойство 3. Согласно
определению HL[U] имеем
HZ[U] = -H[U1...U£.1] + -H[U£/U1...UZ.1]< — н^и^-нД и ].	(2-17)
L	L	L	L
После простых преобразований получаем Н£[и]< н£_, [и] , что подтвер-
ждает свойство 2. Так как Щ[и] и H[Ul/Ui...Ul-i] являются неотрицательными
и не возрастающими с Z, то оба предела в свойстве 4 существуют. Обозначим
limH/JTJ] через H JU]. Используя опять цепное равенство, получаем:
L—>оо
н£+Д и]=н [U,.. .им ]+-А_ (н [u£/u1...ui_1 ]+н [и£+1/и1.. .и, ]+...
.L J	if /
...+Htu^/u^.u^j) <—н^.-и^]+2±1Н[и£/и1...и£_1].
”1”	L ”1” J
(2.18)
При выводе (2.18) было использовано то, что первое слагаемое в круглых
скобках является верхней границей для каждого из остальных слагаемых. Пе-
реходя в (2.18) к пределу при j^oo, получим:
нДи]<н [ U£ / Ц ... U£J.
Так как (2.17) справедливо при всех L, будем иметь
H„[U] < limH [U£/U1...U£_1].
(2.19)
Откуда на основании свойства 3 следует справедливость равенства, опре-
деляющего свойство 4:
H„[U] = limH£[U] = limH[U£/U1 ... Uw].
" J Z—>оо	" J £—>oo
Из полученного равенства следует однозначность (в плане получения ко-
нечного результата) первого и второго подходов к определению энтропии ста-
ционарного дискретного источника.
59
2.2.3.	Эргодические стационарные источники
Некоторые стационарные источники могут обладать свойством эргодично-
сти. Для того чтобы определить это свойство более точно, предположим, что
u=...w_; uq и+1... — бесконечная последовательность букв источника.
Пусть Т1 • и = и* обозначает последовательность w, сдвинутую во времени
на I позиций, т. е. un*=un+i при -оо<и<+оо. Тогда, если и принадлежит некоторо-
му множеству S бесконечных последовательностей букв источника, то и* при-
надлежит множеству Т1  S. При этом множество последовательностей называ-
ют инвариантным, если
Г-s=s.
(2.20)
Отметим, что множество всех последовательностей стационарного дис-
кретного источника инвариантно, а также то, что для любого и множество
. и , 74 и, Г\1,... инвариантно.
Дискретный стационарный источник является эргодическим, если любое
измеримое инвариантное множество последовательностей имеет либо вероят-
ность 1, либо вероятность 0. Это означает , что эргодическим является такой
стационарный источник, который имеет только один устойчивый тип поведе-
ния и не может иметь различные устойчивые типы поведения.
Приведенное определение является довольно изящным, но оно не дает фи-
зического понимания эргодичности. Поэтому часто пользуются следующим эк-
вивалентным определением. Пусть fn(u) является функцией бесконечной после-
довательности и источника, которая зависит от конечной последовательности
букв источника. Дискретный стационарный источник является эргодиче-
ским тогда и только тогда, когда для всех я>1 и всех /«(и), для которых
|л( и)|<00’
имеет место соотношение
(2.21)
60
Из (2.21) следует, что к эргодическим источникам применим закон боль-
ших чисел. Иначе это можно выразить следующим образом: среднее по времени
равно среднему по ансамблю.
В 1956 г. А.Я. Хинчин [37], обосновав эквивалентность этих определений
эргодичности, показал, что класс функций в определении (2.21) может быть
расширен до всех измеряемых функций ./„(и), для которых | /Д и)| < оо, или
может быть сужен до частичного класса функцийf, (и), где — фиксиро-
un х /
ванная последовательность и1и2...ип букв и
( 1, если	= и[,и2 = и'29...,ип = ип,
[О, в остальных случаях.
(2.22)
Так как /.(и) просто равна вероятности последовательностиин, то из
и
(2.22) следует, что относительная частота появления и„ в очень длинной после-
довательности источника будет приблизительно равна вероятности ин.
Принимая во внимание, что при определении энтропии дискретных источ-
ников центральное место занимает применение закона больших чисел, значи-
тельный математический и теоретико-информационный интерес приобретает
проблема установления справедливости этого закона для собственной инфор-
мации эргодических источников. Эту проблему в 1953 г. решил Г. Макмиллан
[38], доказав для эргодических источников, что значение эмпирической энтро-
пии H/-[U]=J[u/-]/£ при больших £ с большой вероятностью близко к Ноо [U].
Теорема 2.1. Теорема Макмиллана. Пусть для дискретного стационарного
источника H[U]<oo. Тогда для произвольных е>0 и 6>0 существует целое число
л0 (s,б), которое зависит от источника , такое, что при всех L > (s,S) выпол-
няется неравенство
(2.23)
61
При выводе этой теоремы был введен ряд обозначений и установлены за-
висимости, сыгравшие значительную роль в дальнейшем развитии теории ин-
формации. Прежде всего замечено, что
(2.24)
Правая часть в (2.24) очень похожа на среднее во времени, задаваемое
(2.19). Отличие в данном случае состоит в том, что каждое слагаемое в (2.24),
являющееся собственной информацией, зависит от разного числа предыдущих
букв источника.
Особо следует отметить введение вероятностной меры о (и ) источника,
учитывающей статистические зависимости лишь от т (1 <m<L) прошлых букв:
L
Q„ (u£) = Р (um ) П р (и11 Ul-i • • •«/-».) ’
Z-m+1
(2.25)
где p(um) — вероятность последовательности из т букв, являющейся частью
последовательности L букв источника.
Выражение (2.25) является приближением вероятностной меры источника,
для которого характерно условие нормировки	(u£) = 1.
Введение понятия Qm(uL) позволило определить 2 важных свойства, харак-
теризующих энтропию дискретного стационарного эргодического источника и
определяющих правомочность (2.23).
Свойство 1. Для дискретного стационарного эргодического источника с
H[U]<qo] и для произвольного т > 1
limllogQ„ (u£) = -H[Um+1/Um...Uj].
с вероятностью, равной 1.
Свойство 2. Для дискретного стационарного эргодического источника с
H[U]<qo и произвольных £>0 и 5>0, для достаточно больших т и любого L>m
62
или
(2.26)
-f —+-н, [и]+[1	щ [uf
el z-e l	v L J	)
Приведённые свойства позволяют получить достаточно простое доказа-
тельство теоремы Макмиллана.
Доказательство. Если задать е>0 и 5>0 и выбрать m достаточно большим
так, чтобы правая часть (2.26) была меньше 5 для всех L>m и
H[Um+1/Um...U1]-Hoo[U] <Е,
(2.27)
то можно выбрать достаточно большое Lo>m так, что для всех L>Lo будет
справедливо неравенство
-log Q^u£) + H[Um+1/Um...Uj]
L
(2.28)
Это возможно на основании свойства 1. Тогда из неравенств (2.26)
(2.28) для L>L0 имеем:
р 21ogp(uz) + H0O[U]
(2.29)
Полученному неравенству можно дать довольно простое толкование. Если
не имеют места ни событие в левой части (2.26) , ни событие в левой части
(2.28), то тогда не может произойти событие в (2.29). Следовательно, вероят-
ность события в (2.29) будет не больше чем сумма вероятностей событий в
(2.26) и (2.28). Кроме этого, в силу произвольности е>0 и 6>0 неравенство (2.29)
эквивалентно (2.23), что доказывает справедливость теоремы Макмиллана для
дискретных стационарных эргодических источников.
На основании вышеизложенного, энтропией стационарного источника U в
дальнейшем будем считать величину
H[U] = limH[UI/U1...Uz_1].
63
Стационарный источник U называется источником без памяти (источни-
ком Бернулли), если /?(U£/U1 ... Uz_j) = /?(U£) для всех начальных моментов j.
Другими словами, U — источник Бернулли, если вероятность появления буквы
не зависит ни от ее места в последовательности, ни от предыдущих букв.
2.2.4.	Марковские источники
Стационарный источник информации принято считать марковским г-го
порядка, если при r<L для всех начальных моментов j
p(Uz/U1...Uz_1) = p(Uz/Uz_r...Uz_1).
Другими словами, вероятность появления следующей буквы зависит толь-
ко от г предыдущих.
Если U — марковский источник r-го порядка, то
h[u]=h[uz/u^...uz_1]=- X p(Uz....Uz_Jlogp(Uz/Uz_r...Uz_1).
L-r...L
Пронумеруем все возможные слова из г букв алфавита А источника, обо-
значив их как s, = (аа.. .air). Слова s. обозначаются как состояния марковского
источника r-го порядка. При этом считается, что появление каждой новой бук-
вы переводит источник из состояния i в новое состояние у, т. е.
s(=(a(1...afr)->sy=(ayl...ayJ.
Марковский источник называется эргодическим, если вероятность перехо-
да через произвольное (большее некоторого фиксированного числа т) число
шагов из каждого состояния sz- в произвольное состояние s7 больше нуля. Если
для некоторого эргодического марковского источника с К состояниями извест-
ны только вероятности перехода из одного состояния в другое, то вероятности
для состояний можно получить из системы уравнений:
(2.30)
J-l
64
Пример. Пусть U — марковский источник первого порядка с алфавитом
А =	и вероятности p(ai/aj) появления буквы сц вслед за буквой запи-
саны в матрице Q={^}, где для данного случая q^picij/aj). Тогда вероятности
р(аг) можно вычислить из уравнения Qp=p, где р = (p(ai)...p(ami))^ учитывая
ту
что^/?(а() = 1.
j=l
Таким образом, для представления марковского источника требуется опре-
делить:
а)	алфавит источника
б)	набор его состояний S=(si,...,Sj0;
в)	матрицу Q={qij} условных вероятностей букв алфавита;
г)	матрицу вероятностей перехода из одного состояния в другое /?(s7/s7);
д)	набор вероятностей букв в каждом из состояний p^ajs,) ...p(amJs.),
\<j<K-
e)	начальное состояние, если считать, что последовательности, порождае-
мые источником, бесконечны только в одну сторону, т.е. имеют начало.
В данном случае пункты а, б и е будут определять выборочное пространст-
во ансамбля марковского источника, а пункты в, г, д — его вероятностную ме-
ру. Разделим бесконечную последовательность букв, порождаемую марковским
источником U с состояниями S=(s 1 ... Sat) на К подпоследовательностей иг, каж-
дая из которых состоит из букв, порожденных в определенном состоянии s7.
Поскольку вероятность появления очередной буквы зависит только от состоя-
ния источника, то буквы j-й последовательности появляются независимо друг
от друга с вероятностями /?(tz7/sy). Имея в виду этот факт, принято считать, что
марковский источник разделяется на К источников Бернулли, каждый из кото-
рых определяется набором условных вероятностей
р(ах /sy)... р(ат^ /sy), 1 < j < К и обладает энтропией
ту
Н; (U) = “Z 7’(ai/s7)1°g/’(«i/si)-
j=l
65
С учетом этого, из (2.30) получим формулу для энтропии марковского ис-
точника U с состояниями Si, ... Sat и алфавитом А = (ах...ат^) :
Аналогично можно определить марковский источник общего вида, состоя-
ние которого не связано с наборами из фиксированного числа букв.
В ряде случаев марковский источник задается множеством состояний, обо-
значенных целыми числами. При этом считается, что в каждую единицу време-
ни источник производит букву и переходит в следующее состояние. Последова-
тельность букв обозначается через u= {щ, а последовательность состоя-
ний через s=(s/, sj,...). Тогда Qy обозначает условную вероятность перехода в
состояние i при условии, что задано предыдущее состояние j:
Qtj=p(s = i/s = j).	(2-32)
Если вероятность перехода в состояние зависит только от предыдущего со-
стояния р($/ / sJ_19sl_29 ...) = pisi/s^), то случайная последовательность состоя-
ний называется конечной однородной цепью Маркова. Пусть вероятность Pj(a^
обозначает вероятность того, что источник производит букву когда находит-
ся в состоянии у, и предположим, что вероятность зависит только от текущего
состояния:
Pj(ak) = p(ui = aklsl=J)’
p(ui/sl) = p(ui/si,ui_1,si_1...').
(2.33)
(2.34)
Предположим, наконец, что состояние источника однозначно определяется
предыдущим состоянием и предыдущей буквой. Тогда можно проиллюстриро-
вать работу марковского источника в виде схемы рис. 2.2.
66
а. ;1/2
Рис. 2.2. Марковский источник информации
Здесь узлы соответствуют состояниям, а направленные ребра соответству-
ют буквам источника и переходам между состояниями pfak). Состояние назы-
вается невозвратным, если в него невозможно возвратиться путем одного или
более переходов из других состояний (состояние 1, рис. 2.2). Множество со-
стояний называется неразложимым, если никакое состояние вне множества не
может быть достигнуто ни из какого состояния множества, а каждое состояние
может быть достигнуто за один и более переходов (состояние 4 и 5, рис. 2.2).
Состояния любой конечной однородной цепи Маркова могут быть одно-
значно разбиты на одно или большее число неразложимых множеств состояний
и множество невозвратных состояний. С вероятностью, равной 1, цепь в конце
концов оказывается в одном из неразложимых множеств.
Число переходов, начиная из некоторого состояния sj неразложимого мно-
жества, требующееся для первого возвращения в sj, является случайной вели-
чиной, которая называется временем возвращения в gj. Периодом неразложи-
мого множества состояний называется наибольшее целое число т, такое, что
67
все возможные времена возвращений для состояний этого множества являются
кратными т. Так, период множества состояний 1 и 3 на рис. 2.2 равен единице,
так как время возвращения для любого состояния может быть любым положи-
тельным целым числом. Период состояний 4 и 5 равен двум, так как время воз-
вращения равно 2 для каждого состояния. Если неразложимое множество имеет
период т>2, то оно называется периодическим. Если т=1, то множество назы-
вается эргодическим.
Эргодическое множество состояний Se имеет ассоциированное с ним мно-
жество стационарных вероятностей q(f), задаваемых как решение уравнений:
Z?C/)Q.jz'eSE>	(2-35)
j^E
X?(j) = l-	(2.36)
J^E
Более того, для любых i и j из SE:
lim p(s; =i/s{ = j) =q(i),	(2.37)
Z—>oo	4	/	\ /
где сходимость предела экспоненциальна по I.
Можно заметить, что вероятности в (2.31) — (2.34) не описывают полно-
стью марковский источник. Необходимо еще узнать, когда источник начинает
работу и каково начальное распределение вероятностей для состояний. Если
источник принадлежит некоторому эргодическому множеству состояний, начи-
ная со сколь угодно далекого прошлого, то p(sf=i)=q(i) для всех I и источник яв-
ляется стационарным и эргодическим (согласно вышеприведенным определе-
ниям).
Исследуем с этих позиций энтропию эргодического марковского источни-
ка. Энтропия выходной буквы марковского источника в заданный момент вре-
мени при условии, что задано текущее состояние источника, равна
к
H[U/s = j } = ~YlPj{ak)\o?,P]{ak).
k=\
(2.38)
68
С учетом этого энтропия выхода источника при условии, что задано неко-
торое частное состояние и некоторый момент в прошлом и заданы промежу-
точные выходы источника, определяется как
Н [ЦД.Д.,.. Д, S1 = j ] = J р {s, = i I s, = j) H [UI s = f].
1=1
Любое заданное распределение вероятностей для состояния si определяет
распределение вероятности состояний во все будущие моменты времени, по-
этому можно усреднить (2.35) по si и получить
Н[ДД_Д_2... ДД] =	= 0H[U/s, = i] ,
/=1
где Si — множество начальных состояний.
Для стационарного эргодического марковского источника p(si=i) не зависит
от Z и равно q(f), тогда для всех l> 1 имеем
н[и,/и,_1и,_2...ид]=X q(i) H[U/.=i].
I
Энтропия на букву последовательности букв источника при условии, что
задано начальное состояние, равна
1h[U1...U£/S1] = Htu/Ц-р..ид].
ь 1=1
Отсюда согласно (2.37) имеем
yH[U1...U£/S1] =i>w(0H [U/5 = j],
J=1
где
,А 1Л , А	(2.39)
L 1=1
Очевидно, что qijfj) в точности равна средней по времени вероятности
пребывания в состоянии i. Для стационарного эргодического марковского ис-
точника qi,i(i) = q(i) и поэтому
2н[Д...Д/SJ = £<? (i)H[U/j = f],
Ь	,=1
69
В пределе при L—>оо имеем
1 L
=11т7лН5/=0 •
ь /=1
(2.40)
Этот предел всегда существует, хотя, вообще, он зависит от распределения
вероятностей для si. Это отличие становится ясным из рис. 2.2, когда s/ задает-
ся как состояние 2 с вероятностью 1 или как состояние 4 с вероятностью 1.
Вместе с тем, для цепи Маркова, имеющей только одно неразложимое множе-
ство состояний, <7i)Qo(0 не зависит от начального распределения вероятностей.
При таком определении <?i)Q0(z) получаем:
lim-^-H[U1...UI/S1] = i )H[U/s = i].
Безусловная энтропия марковского источника на букву может быть опре-
делена из выражения
н [ц. ..Uz ]=I [Sj ;Ц. ..и£ ]+н [ц. „ад ].
Средняя взаимная информация в правой части приведенного выше выра-
жения ограничена 0 и log К и, следовательно:
lim—нГи,...и, "I = lim—H[U,...U7/S
l-^L l j	L 1 L
(2.41)
Обозначая левую часть (2.41) через H JU], в силу (2.39), окончательно по-
лучаем:
нди] = (oh[u/s = д
!=1
(2.42)
Таким образом, энтропия на букву марковского источника задается равен-
ством (2.42), где #1,оо(0 задается (2.40), a H[U/s=z] задается (2.38). Если цепь
Маркова имеет не больше одного неразложимого множества состояний, то
t7i)00(z) не зависит от распределения вероятностей для si, и если это неразложи-
мое множество является эргодическим, то ^i,oo(z)=^(z), где q(i) задается выраже-
ниями (2.35) и (2.36).
70
2.3. Энтропия непрерывных источников
Непрерывные источники информации представляются непрерывными ан-
самблями, которые не допускают введения конечной абсолютной меры неопре-
деленности. Основным путем решения данной проблемы в настоящее время яв-
ляется введение относительной меры неопределенности в виде относительной
энтропии:
h[S] = M -logP(s) =-jP(s)logP(s)(is.
Ввиду связи с дифференциальным законом распределения вероятностей ее
часто называют дифференциальной энтропией. Однако обычно при информа-
ционном анализе непрерывных ансамблей слово «дифференциальная» опуска-
ют, подразумевая, что энтропия может быть определена только как величина
относительная. Определение информационных характеристик непрерывных ис-
точников может производиться двумя способами.
Первый способ предусматривает квантование во времени непрерывной
случайной функции s(/), характеризующей выборочное пространство непре-
рывного ансамбля S, и переход к последовательности случайных величин —
отсчетов s= (..., s.p s0, 5Р..), взятых через интервалы А/. Выбор интервала
дискретизации А/ функции s(Z) осуществляется на основании условия, опреде-
ляемого теоремой дискретизации Котельникова:
где F— ширина полосы частот на положительной полуоси, занимаемая энерге-
тическим спектром функции.
Таким образом, определение энтропии h[S] непрерывного источника сво-
дится к определению энтропии дискретного источника, формирующего после-
довательность s. В данном случае энтропия последовательности s будет харак-
теризоваться выражениями, аналогичными полученным ранее для дискретных
источников. Определенная таким образом энтропия непрерывной случайной
71
функции s(Z) будет представлять собой относительную энтропию, приходящую-
ся на один отсчет. Максимальной относительной энтропией на один отсчет hmax
обладает гауссовская случайная величина с нулевым математическим ожидани-
ем, дисперсией (мощностью) <т2 и равномерным в полосе A F энергетическим
спектром (белый шум). Отсюда для энтропии непрерывного источника будет
справедливо равенство
h[S]<hmax=|log(2^ea2).
Часто для характеристики непрерывных источников используется такое
понятие, как «энтропийная мощность». Энтропийной мощностью источни-
ка, выборочное пространство которого определяется случайной функцией s(Z),
имеющей ширину спектра AF, называется средняя мощность белого шума с
такой же шириной спектра и тем же значением энтропии на отсчет h:
N =—exp(2h -1),
2тг
где h — энтропия, измеряемая в нат/отсчет.
Если выборочное пространство непрерывного источника представлено га-
уссовской случайной функцией, имеющей энергетический спектр G(f) , то его
относительная энтропия на один отсчет определяется как
h[S] =
fln(2^AFG(/))#
а энтропийная мощность равна
N = AF ехр

Второй способ определения информационных характеристик непрерывно-
го источника основывается на понятии точности воспроизведения реализации
случайной функции s(Z), характеризующей его выборочное пространство. Пусть
Si(Z) является реализацией случайной функции s(Z), используемой для определе-
ния энтропии источника, a zi(Z) — реализация случайной функции z(Z), которая
72
действительно формируется источником. Вопрос: как определить, насколько
энтропия h[S] будет соответствовать действительной энтропии источника?
В качестве количественной меры отличия случайных функций принято ис-
пользовать некоторую функцию потерь p(S,Z), минимизированную по опреде-
ленному критерию. Обычно в этих целях применяется квадратичная функция
потерь p(S,Z) и критерий минимума среднего риска. Это приводит к критерию
минимума среднего квадрата ошибки (СКО):
е2 =M[(s-z)2].
Эпсилон-энтропией Се случайной функции s(Z) называется минимальное
среднее количество взаимной информации в единицу времени между s(Z) и z(z),
необходимое для того чтобы p(S,Z) было меньше некоторого числа «эпсилон»
(p(S,Z)<s). Для случая стационарной случайной функции s(t) и стационарной
связанной с ней функции z(t) эпсилон-энтропия численно равна минимизиро-
ванному среднему количеству информации в единицу времени, необходимому
для реализации s(t) на z(t) со среднеквадратической ошибкой, не превышающей
с. Если стационарная случайная функция s(t) является гауссовской и имеет
энергетический спектр G(f)^ то эпсилон-энтропия вычисляется на формуле
Cs [S] = f log df
где А/ — полоса частот, в которой G(f) > Л.
Коэффициент X выбирается таким образом, чтобы площадь фигуры, огра-
ниченной снизу осью/ а сверху — прямой G=k (в области А/*), была равной s
(рис. 2.3).
Рис. 2.3. Зависимость энергетического спектра от частоты
73
При вычислении эпсилон-энтропии ансамбля S, выборочное пространство
которого составляют случайные величины, когда отклонение S от Z задано в
виде математического ожидания функции их разности V=S-Z, т. е.
p(S,Z) = M|j?(V)], справедливо соотношение:
h[S/Z] = h [ V/Z] < h[V].	(2.43)
Оно означает, что условная энтропия ошибки при заданном ограничении р<е
достигает максимального значения, когда V и Z независимы.
Впервые понятие «эпсилон-энтропии» было введено в 1956 году
А.Н. Колмогоровым [6] при решении проблемы определения случайной вели-
чины и случайного процесса с заданной точностью. Выведенная им впоследст-
вии теория эпсилон-энтропии нашла применение при решении задач кодирова-
ния непрерывных источников.
2.4. Избыточность источников информации
В общем виде избыточность дискретных источников информации опреде-
ляется как
В[и]=нти[и]-н[и
(2.44)
где Hmax[U] — максимально возможная энтропия выборочного пространства
ансамбля U источника, H[U] — энтропия источника.
Энтропию Hmax[U] часто называют информационной емкостью выбороч-
ного пространства ансамбля источников. С этих позиций понятие избыточ-
ности характеризует, насколько полно используется источником информацион-
ная емкость его выборочного пространства.
Информационная емкость дискретных источников зависит от объема алфа-
вита А = (аР..а ), используемого при формировании их выборочных про-
странств. Обычно она определяется как информационная емкость на букву
(слово) алфавита
74
HUu] = log2ml [бит/символ].
Избыточность дискретных источников без памяти на основании (2.43)
и (2.44) определяется как
Wi	1	(2.45)
ВБ[и] = log^ - H[U] = log2 - Xp(«z)!°g—•
z=i	P\ai)
Так как H[U]<log2W?i, то из (2.45) следует, что избыточность в данном слу-
чае является неотрицательной величиной и характеризуется неравно вероятно-
стью букв алфавита источника.
Избыточность дискретных источников с памятью в общем виде на ос-
новании (2.15) может быть представлена как
Bn[U] = log2?w1-HmH[UI/U1 ... Uw],	(2.46)
где L — объем последовательности букв, формируемых источником.
Избыточность стационарных эргодических марковских источников равна
Вм [и] = log2 т, - Н [ Uz/U£_r ... U£_J.	(2.47)
Анализ выражений (2.45) — (2.47) с учетом обязательности выполнения
неравенства H[UJ>H[U;/Ui...lJ/-_]] дает основание считать, что статистическая
зависимость между буквами источника приводит к увеличению его избыточно-
сти.
Обобщая проведенные рассуждения, можно прийти к выводу, что избы-
точность дискретных источников характеризуется:
-	неравновероятностью формирования букв источника (дискретные ис-
точники без памяти);
-	статистической зависимостью между буквами источника.
Пример. Информационная емкость источника, формирующего текст рус-
ского языка, Hmax[U]=log232=5 бит/символ. Без учета статистической зависимо-
сти между буквами алфавита энтропия текста источника H[U]=4,32 бит/символ.
Это означает, что одна буква источника в среднем содержит 4,32 бита инфор-
мации. Избыточность источника в данном случае на основании (2.45) равна
75
Вб=0,68 бит/символ. При учете трехбуквенных сочетаний энтропия источника
становится равной Н [U^/U^.aU л. i]=3 бит/символ и соответственно избыточ-
ность Впз[и]=2 бит/символ. Если учитывать восьмибуквенные сочетания, то
H[Ul/Ul-8...Ul-2Ul_i]=1,19 бит/символ и Bn8[U]=3,81 бит/символ.
Приведенный пример показывает, что избыточность можно трактовать как
характеристику, отражающую, насколько неэффективным в плане информаци-
онной нагрузки на символ (букву) является тот или иной дискретный источник.
В качестве параметра этой характеристики обычно используют коэффициент
избыточности:
нии]-н[и] . н[и]
Н_[и] н^Ди]
где Ки — определяется как коэффициент оптимальности.
Коэффициент избыточности показывает, какая доля возможной инфор-
мационной емкости на букву алфавита не используется алфавитом. Так как ц
является безразмерной величиной, то его обычно измеряют в процентах. Так,
для английского текста коэффициент избыточности равен 50 %, а для русского
текста — 70 %.
Кроме того, при оценке избыточности дискретного источника определен-
ного языка может использоваться коэффициент стохастичности (вариа-
бельности)
Н[и]	(2.48)
H_[U]-H[U]’
который характеризует вероятностные (вариабельные) связи, возникающие в
результате эволюционного развития конкретного языка.
Установлено, что в зависимости от специфики информационного обмена
значения данного параметра могут колебаться относительно какого-то опти-
мального значения GOnr. Для европейских языков GOnr=0,25. При этом для ин-
формации служебного характера и инструкций G>Gonrs для художественно-
литературных текстов G<GOin. Это объясняется тем, что при служебном инфор-
76
мационном обмене множество используемых слов значительно сокращается и
уменьшается избыточность, что приводит к увеличению энтропии H[U], а от-
сюда, согласно (2.48), к увеличению G. Так, литературная, художественная рус-
ская речь на 92 % обеспечивается множеством из 6 000 слов, при этом служеб-
ные телефонные разговоры на 96 % обеспечиваются множеством из 737 слов
(80 % — 155 слов, 50 % — 30 слов).
Коэффициент стохастичности и коэффициент избыточности связаны сле-
дующими зависимостями:
Для непрерывных источников определение объективно существующей из-
быточности представляет достаточно сложную задачу, так как их ансамбль не
допускает введения абсолютной меры неопределенности. В данном случае
можно говорить только об относительной избыточности, которая может быть
определена из (2.44) путем введения дифференциальных энтропий h[X] и
hmax[X].
В[Х]=ЬШИ[Х] -h[X],	(2.49)
Однако физический смысл выражения (2.49) пока остается недостаточно
понятым, что затрудняет его применение для обоснования известных инженер-
ных решений, предполагающих изменение избыточности реальных источников
информации путем компрессии динамического и частотного диапазонов сооб-
щений. Понятие избыточности для непрерывных источников принимает вполне
определенный физический смысл в процессе решения задачи кодирования.
В целом можно прийти к выводу, что избыточность источников снижает их ин-
формационную производительность, что создает проблему функционирования
систем обработки и передачи информации. Эта проблема решается в процессе
кодирования источника.
77
Глава 3
КОДИРОВАНИЕ ДИСКРЕТНЫХ ИСТОЧНИКОВ
3.1. Стратегия кодирования дискретных источников
Разнообразие возможных источников информации порождает проблему
согласования их ансамблей с ансамблем, принятым (заданным) в системе пере-
дачи информации. Обычно это согласование осуществляется путем преобразо-
вания выхода источника в последовательность букв, заданного в системе кодо-
вого алфавита. Такое преобразование получило название кодирования. Заслу-
гой К. Шеннона, в значительной мере обусловившей возможность создания
теории информации, явилась идея разделения процесса кодирования на две со-
ставляющие: кодирование источника и кодирование для канала. Связующим
звеном этих составляющих являются кодовые комбинации (кодовые слова),
формируемые в результате кодирования источника и используемые в качестве
входа при кодировании для канала. Совокупность этих кодовых комбинаций
образует определенный кодовый словарь, который можно назвать кодовым
словарем обработки информации. Кодирование дискретных источников заклю-
чается в прямом преобразовании (кодировании) букв или сообщений (слов) ан-
самбля U источника информации в комбинации букв (кодовые комбинации, ко-
довые слова) ансамбля X, определяемого заданным кодовым словарем обработ-
ки информации. Исходя из этого, в общем виде процедура кодирования источ-
ника может быть определена следующим образом.
Источник информации U формирует конечные последовательности (слова)
и, = (г/п,...,м^) из букв алфавита А = (ар.лзц). При кодировании, в соответст-
вии с определенным правилом (кодом) f, последовательность и. преобразуется
в конечную последовательность (кодовое слово) х. = (xrt,...,xw), формируемую
из букв алфавита D =	) кодового словаря X. Если множество конечных
последовательностей источника обозначить как U*, а множество конечных ко-
78
довых слов — как X*, то кодирование источника можно представить как инъек-
тивное отображение
* *
f:U ->Х ,
а код последовательности и,, или кодовое слово как
x,=/(u,).	(3-1)
Кодирование f называется однозначно декодируемым, если произвольная
последовательность кодовых слов /(и^Ди.).../^), записанных слитно, од-
нозначно разделяется на кодовые слова, т. е. /(uJ-uy...uJt) = /(uf)/(u7).../(u^).
Приведенное определение позволяет выделить следующие типы кодирова-
ния источника:
•	кодирование типа VB, ставящее в соответствие словам источника uz
различной длины Д кодовые слова хг одинаковой длины п= rc=const;
•	кодирование типа BV, ставящее в соответствие словам источника и.
одинаковой длины Az=L=const кодовые слова х.различной длины
•	кодирование типа W, которое слова источника и. переменной длины
Ц отображает в кодовые слова х.переменной длины
•	кодирование типа ВВ, ставящее в соответствие словам источника и,
одинаковой длины L кодовые слова х.одинаковой длины п.
I
Коды, используемые при кодировании типа VB и ВВ, называют кодами с
фиксированной длиной, а при кодировании типа BV и VV — неравномерными
кодами.
Типизация кодов в определенном смысле позволяет априорно характеризо-
вать процесс кодирования с позиций преобразования логических форм инфор-
мации для конкретного кода, что особенно важно в практических приложениях
задач кодирования. Однако она не является достаточной, так как оставляет не-
определенность логических форм информации источника (сообщений), кото-
79
рые подвергаются кодированию. Эту проблему во многом решает введение ви-
дов кодирования, к которым принято относить:
•	побуквенное кодирование, состоящее в прямом преобразовании букв
источника информации в кодовые комбинации при априорной определенности
информационных характеристик источника;
•	блочное и неблочное кодирование, состоящее в прямом преобразовании
комбинаций букв источника (сообщений, слов) в кодовые комбинации (кодо-
вые последовательности) при априорной определенности информационных ха-
рактеристик источника;
•	универсальное кодирование, предусматривающее априорную неопреде-
ленность информационных характеристик источника.
К блочному кодированию относится кодирование типов ВВ и BV, а к не-
блочному — кодирование типов VB и W.
Основными задачами кодирования дискретного источника являются: сжа-
тие информации (эффективное кодирование) и защита информации (шифрова-
ние или скремблирование). В общем случае согласно принятой концепции эти
задачи должны решаться в комплексе. Однако с методической точки зрения их
целесообразно рассматривать раздельно. Поэтому вопросы защиты информа-
ции при кодировании источника будут излагаться отдельно.
Эффективным считается кодирование источника, обеспечивающее увели-
чение средней информационной нагрузки на кодовое слово (символ кодового
словаря) по сравнению со средней информационной нагрузкой на сообщение
(буква) источника. Данное определение допускает два толкования задачи эф-
фективного кодирования источника. Во-первых, она может рассматриваться
как обеспечение полного отображения (3.1) при минимальной длине кодовых
ф
слов, т. е. f: U

ф
>Х . Во-вторых, как обеспечение максимального сред-
него количества взаимной информации lmax[U;X], что может быть достигнуто
путем уменьшения избыточности. С учетом этого стратегия эффективного ко-
дирования источника включает:
80
-	обеспечение минимальных длин кодовых слов, позволяющих предста-
вить информацию источника без потерь;
-	уменьшение избыточности информации источника в процессе кодиро-
вания.
Теоретическую основу методологии реализации этой стратегии составляют
теоремы кодирования источников.
3.2. Теоремы кодирования для дискретных источников без памяти
При кодировании дискретных источников ставится общая задача преобра-
зования сообщений в виде комбинаций букв алфавита источника (слов) в кодо-
вые комбинации (кодовые слова) заданного кода, формируемые из букв алфа-
вита данного кода. Если число кодовых символов в кодовых словах постоянно,
то такие коды называются равномерными или кодами с фиксированной дли-
ной. Коды, в которых различные кодовые слова содержат различное число ко-
довых символов, называются неравномерными.
При такой постановке задачи основным критерием её оптимального реше-
ния является показатель потерь количества информации при кодировании. Оп-
тимальным считается кодирование источника, обеспечивающее минимально
возможное число букв кода на букву источника, при котором не происходит
потерь количества информации. Теоремы, определяющие такое кодирование,
выводятся отдельно для кодов с фиксированной длиной и для неравномерных
кодов.
3.2.1.	Коды с фиксированной длиной
В случае использования кодов с фиксированной длиной задача кодирова-
ния источника формулируется следующим образом.
Пусть дискретный источник формирует последовательности (слова) и. из L
букв: и. =(ий,ип,...,и&). Каждая буква этой последовательности выбирается из
алфавита A=(al...a ) букв источника. В процессе кодирования данная последо-
вательность преобразуется в кодовую последовательность х. =(хп...xin) фикси-
81
рованной длины n = N букв, выбираемых из алфавита D=(t71...e7W2) заданного
кода. Требуется определить минимальное значение п, при котором потери ин-
формации будут отсутствовать.
Для дискретного источника без памяти число возможных слов из L букв
определяется как
ML=mlL.
Число возможных кодовых последовательностей из n = N символов при
независимых символах кодового алфавита будет равно
М„ = т*.
Вполне понятно, что для обеспечения однозначности декодирования долж-
но выполняться условие
М > Мт или /Ц' > т/.
71	L	Z	1
Взяв логарифм от левой и правой части, получаем
# log/ц	(3.2)
L log/ц
Из (3.2) следует, что для кодов с фиксированной длиной всегда, когда тре-
буется декодировать последовательность источника по кодовому слову, необ-
ходимо иметь, по меньшей мере, log /ц / log ш2 кодовых букв на одну букву ис-
точника. Обратим внимание, что log/ц соответствует максимальной энтропии
источника (Hmax [U] = log /ц), когда все буквы взаимонезависимы и равновероят-
ны. С учетом этого и на основании полученного ранее представления об энтро-
пии дискретных источников без памяти (2.10), неравенство (3.2), принимая во
внимание, что H£[U] <Hmax[U], можно привести к виду
jV>Hz[u]_H[U]+5	(3.3)
L log/ц log/ц
где H;[U] — энтропия последовательности букв источника длиной L на букву,
при достаточно большом L.
82
В (3.3) параметр 5 характеризует погрешность определения энтропии ис-
точника при использовании для этих целей последовательностей конечной дли-
ны L. Энтропию как уже отмечалось, называют эмпирической (основан-
ной на опыте).
Из (2.13) следует, что при выполнении неравенства (3.3) общее число ко-
довых слов ти" будет больше или равно числу типичных последовательностей
источника Mj длиной L, Требование однозначности декодирования предусмат-
ривает то, что каждой последовательности источника должно соответствовать
одно и только одно кодовое слово. Отсюда следует, что все множество возмож-
ных кодовых слов может быть разделено на:
а)	подмножество кодовых слов, однозначно соответствующих последова-
тельностям источника (такое подмножество часто определяют как разрешен-
ное)'^
б)	подмножество кодовых слов, не соответствующих никакой кодовой по-
следовательности источника (неразрешенное подмножество).
Формирование разрешенного подмножества кодовых слов определяется
используемым кодом. Процесс кодирования при таком представлении рассмат-
ривается как преобразование элементов множества последовательностей ис-
точника длиной L в соответствующие им элементы разрешенного подмножест-
ва кодовых слов. При этом вероятность ситуации, когда последовательности
источника будет приведено в соответствие кодовое слово из неразрешенного
подмножества, определяется как вероятность ошибки ре. Наглядно процесс ко-
дирования источника может быть представлен в виде (рис. 3.1) преобразования
(I) элементов поля типичных последовательностей и. источника в соответст-
вующие им элементы разрешенной части поля кодовых слов х., т. е. i=j. При
этом любое вероятное преобразование (II) в элементы неразрешенной части по-
ля кодовых слов относится к ошибке, которая может быть с вероятностью ре.
83
Поле последовательностей	Поле кодовых слов длиной /7
источника длиной £	Разрешенная часть Неразрешенная часть
Рис. 3.1. Наглядное представление процесса кодирования источника кодами
фиксированной длины
Данное представление достаточно удобно для понимания самого процесса
кодирования в целом. Однако, как нетрудно заметить, оно является в значи-
тельной степени приближенным, так как условие / Ф j может соответствовать и
ситуации, когда последовательность источника будет преобразована в кодовое
слово, соответствующее другой последовательности источника. Решить эту
проблему позволяет рассмотренный ранее подход, представляющий последова-
тельности источника достаточно большой длины L в виде множества так назы-
ваемых типичных последовательностей. Используя неравенство (2.11) для
вероятности множества этих последовательностей, можно получить выражение,
определяющее вероятность ошибки
/?е<г(ДЗ),и£б8т.	(3.4)
Если теперь считать, что L достаточно велико и, одновременно увеличивая
N, удовлетворить (3.3), то можно увидеть из (2.9) и (2.5), что ре стремится к О
при любом § > 0.
Анализ вероятности ошибки будет неполным, если не рассмотреть случай,
когда неравенство (3.4) не выполняется, т. е. когда
А<Н[Ц]-б
L log т2
В данном случае число кодовых слов будет не больше чем
84
N < ^(HM-ZS)
Так как любая последовательность и£из St имеет вероятность не больше,
чем 2 £(H[U] s\ то полная вероятность последовательностей, принадлежащих St,
которым можно сопоставить кодовые слова, будет не больше чем
2^(Н[Ц]-25) ф 2-i<HCU]-5) _
Вероятность того, что последовательностям, которым нельзя сопоставить
кодовые слова, будет представлена такая возможность, ограничена сверху зна-
чением е(Д8) . Следовательно, общая вероятность того, что последовательно-
стям множества St могут быть сопоставлены кодовые слова, ограничена сверху
в случае, если удовлетворяется (2.8), следующим образом:
1 - ре < e(Z,8) + 2-«.
Таким образом, если L —> оо, то ре будет стремиться к 1 при любом § > 0.
Полученные результаты приводят к следующей фундаментальной теореме.
Теорема 3.1. Теорема равномерного кодирования источника. Пусть дис-
кретный источник без памяти имеет конечную энтропию H(U). При кодирова-
нии последовательностей источника из L букв каждой последовательности мо-
жет быть сопоставлена только одна последовательность из N букв кодового
алфавита D. Пусть ре — вероятность появления последовательности источни-
ка, которой не сопоставлена никакая кодовая последовательность. Тогда, если
при каком-либо § > 0
L logmj
то Ре можно сделать произвольно малым, выбирая L достаточно большим, и
Ре становится сколь угодно близким к 1 при большом L, если
^<H[U]-8
L	log т2
85
Так как logw?2 представляет собой наибольшую энтропию на одну букву,
которой может обладать последовательность букв алфавита объёмом тпг, то
теорема утверждает, что можно закодировать буквы произвольного дискретно-
го источника без памяти так, что энтропия кодовых букв будет, по существу,
максимальной. При этом отношение H(U)/logm2 является наименьшим числом
кодовых букв на одну букву источника, которые можно использовать, чтобы
ещё представлять источник с высокой вероятностью.
3.2.2.	Неравномерные коды
В случае использования неравномерных кодов задача кодирования источ-
ника формируется следующим образом.
Предположим, что дискретный источник без памяти U имеет алфавит из ml
букв А=(а1...а ) с вероятностями p(a{)...p(am). В процессе кодирования каж-
дая буква источника должна быть представлена кодовым словом, состоящим из
последовательности букв, принадлежащих заданному кодовому алфавиту. Обо-
значим через т2 число возможных символов в кодовом алфавите, а пк — число
букв в кодовом слове, соответствующем ак. Тогда среднее число букв в кодо-
вом слове на одну букву источника будет определяться как
— V z ч	(3.5)
п = 2_р(ак)пк.
*7 = 1
Необходимо определить, насколько мало может быть п.
Для этого введём понятие префикса. Допустим, что к-е кодовое слово в
коде представляется как хЛ =(xH..Jcjbl ), где — отдельные кодовые буквы,
составляющие слово, а пк — число букв в слове. Префиксом кодового слова хА
считается любая последовательность, составленная из его начальной части, т. е.
для некоторого i<nk является префиксом хЛ	). Свойством
/г
префикса обладает код, в котором никакое кодовое слово не является префик-
сом никакого другого кодового слова.
86
Пример. Рассмотрим непрерывные коды, приведённые в табл. 3.1, которые
используются для кодирования источника, алфавит которого состоит из четы-
рёх букв А={а1,а2,а3,а4}.
Таблица 3.1
Непрерывные коды
Буквы алфавита источника	р («,)	Код I	Код II	Код III	Код IV
	0,4	0	0	0	0
а,	0,3	0	01	10	01
а.	0,175	1	00	ПО	011
Л4	0,125	10	11	111	0111
Вопрос. Какие из этих кодов обладают свойством префикса?
Заметим, что в коде I буква а2 является префиксом (и наоборот), а а3 —
префиксом а4. При этом видно, что наличие в коде максимальных префиксов
(i = nk) в виде и а2 приводит к неоднозначности декодирования. В коде II
буква аг является префиксом а2 и а3. В коде IV буква аг является префиксом
а2, а3, а4 и так далее. Единственным кодом, в котором ни одна буква не явля-
ется префиксом другой, является код III.
Ответ. Код III обладает свойством префикса.
Коды, обладающие свойством префикса, также называются мгновенными
кодами. Это объясняется тем, что в отличие от других однозначно декодируе-
мых кодов, конец кодового слова в данном случае всегда может быть опознан,
так что декодирование выполнятся без задержки наблюдаемой последователь-
ности кодовых слов.
Пример. Пусть последовательность источника аха2а3а4 кодируется кодом
III (табл. 3.1). Тогда формируемая кодовая последовательность будет иметь
87
вид 010110111. Алгоритм декодирования данной кодовой последовательности
«1 «2	«3	«4
может быть представлен графически в виде рис. 3.2.
—узлы третьего порядка
узлы второго порядка
узлы первого порядка
010110111—>10110111->110111->111
Рис. 3.2. Алгоритм декодирования
Так как первый символ в кодовой последовательности есть 0, что соответ-
ствует ах и не соответствует начальному отрезку никакой другой буквы, то де-
кодируется ах. В результате остаётся 10110111. Так как символ 1 не соответст-
вует никакому кодовому слову, он запоминается и производится анализ сле-
дующего символа. Следующий символ 0 в совокупности с предыдущим даёт
10, что декодируется кака2. Таким образом, в точке анализа А остаётся после-
довательность 110111. Анализ первых двух символов этой последовательности
11 показывает, что они не являются кодовым словом. Это приводит к узлу вто-
рого порядка (рис. 3.2), в котором при поступлении следующего 0 происходит
переход на ребро 0 и декодирование а3. Возвращаясь к точке анализа А, имеем
кодовую последовательность 111, которая по аналогии декодируется в а4.
88
Представление кода в виде, приведенном на рис. 3.2, принято называть
представлением в виде «дерева» кодовых слов. Последовательность символов
каждого кодового слова в данном случае можно рассматривать как правило
восхождения от основания дерева через промежуточные узлы к концевому уз-
лу, представляющему определённую букву источника. При этом узлы подраз-
деляются на порядки. Узлы каждого порядка содержат один концевой и один
промежуточный. Начиная от точки анализа, два ребра, ведущие к узлам первого
порядка, соответствуют выбору между 0 и 1, для принятия решения о первой
букве . Подобно этому два ребра, исходящие из промежуточного узла первого
порядка, соответствуют выбору между 0 и 1 для второй буквы и так далее. По-
сле каждого декодирования очередной буквы следует возвращение в точку ана-
лиза. В рассмотренном примере в соответствии с (3.5) среднее число кодовых
букв на букву источника равно
й = 0,4x1 + 0,3x2 + 0,175x3 + 0,125x3 = 1,9.
Приведённый пример даёт возможность произвести очевидное обобщение,
позволяющее определять префиксные коды для произвольного множества букв
источника. Для этого разобьём вначале множество букв на m2 подмножеств так,
чтобы вероятность каждого подмножества была по возможности наиболее
близкой 1/тп2. Припишем различные начальные буквы каждому из этих под-
множеств. Затем разобьём вновь каждое подмножество на m2 приближённо
равновероятных групп и припишем этому разделению буквы. Продолжим этот
процесс до тех пор, пока каждой группе не будет соответствовать только одна
буква источника. Если это разбиение может быть выполнено так, что группы
будут в точности равновероятны на каждом этапе, то вероятности букв источ-
ника и длины кодовых слов будут связаны равенством
р(ак) = т~\
(3.6)
где ак — буква алфавита источника, пк — соответствующая ей длина кодового
слова.
89
Выражение (3.6) позволяет сформулировать две исходные теоремы, лежа-
щие в основе теорем кодирования для источника при использовании неравно-
мерных кодов.
Теорема 3.2. Неравенство Крафта. Если целые числа wpw2’’">пк удов-
летворяют неравенству
a=i
то существует код, обладающий свойством префикса, с алфавитом объёмом m2,
длина кодовых слов в котором равна этим числам. Обратно, длины кодовых
слов любого кода, обладающего свойством префикса, удовлетворяют неравен-
ству (3.7).
Вопрос. Следует ли из теоремы, что любой код с длинами кодовых слов,
удовлетворяющими (3.7), является префиксным?
Никоим образом. Так, например, множество двоичных кодовых слов 0, 00,
11 удовлетворяет (3.7), но не обладает свойством префикса. Теорема только ут-
верждает, что существует некоторый префиксный код с такими длинами, на-
пример 0, 10, 11.
Теорема 3.3. Теорема Макмиллана. Пусть задан код с длинами кодовых
слов при пх...пк, с кодовым алфавитом из m2 символов. Если код однозначно
декодируем, неравенство Крафта (3.7) удовлетворяется.
Данная теорема о длинах кодовых слов однозначно декодируемых кодов
показывает взаимосвязь свойств префикса и однозначной декодируемое™.
С учётом приведённых теорем можно сформулировать теоремы для коди-
рования букв (первая теорема) и слов (вторая теорема) источника неравномер-
ными кодами.
Теорема 3.4. Теорема неравномерного кодирования букв источника. При
заданных конечном ансамбле источника U с энтропией H(U) и кодовом алфа-
вите из m2 символов можно так приписать кодовые слова буквам источника, что
90
будет выполняться свойство префикса и средняя длина кодового слова будет
удовлетворять условию
- Н(Ц)	(3-8)
п <------F1,
logm2
более того, для любого однозначно декодируемого множества кодовых слов
Н(Ц)	(3.9)
logm2
Необходимо отметить, что равенство в (3.8) имеет место, тогда и только
тогда, когда выполняется условие (3.5), что соответствует максимуму энтропии.
Доказательство. Преобразуем (3.9) к виду
H[U]-«logm2 <0.	(З-Ю)
Пусть р(<7 )---/?(яот,) — вероятности букв источника и пусть	, и2,	пт]
длины кодовых слов, соответствующих буквам источника. Тогда левую часть
неравенства (3.10) можно представить как
H[U]-wlog
т2
Я?!
£=1
Ж)
'«1
-^Р(а^п^0&т2-
£=1
(3.11)
Введя п% под знак логарифма и объединяя слагаемые в (3.11), имеем
H[U]-A?logm2
= lA)log
Jt=l
Используя известное неравенство logz < (z - l)loge при z>0, получаем:
wi -nt	wi	(3.12)
H[U]-«logw2 <loge [£ m k - £ p(ak)}<Q.
£=1 2	£=1
Последнее неравенство в (3.12) следует из неравенства Крафта (3.7), кото-
рое справедливо для любого однозначно декодируемого кода. Это доказывает
(3.9).
Заметим, что равенство в (3.9) имеет место тогда и только тогда, когда
р(ак) = т~\	(3-13)
Это условие совпадает с ранее полученным (3.6) и приводит к максимуму
энтропии. Определим далее, как выбрать код, удовлетворяющий (3.8). Если бы
91
длины кодовых слов пк не обязательно были бы целыми числами, то можно
было бы просто подобрать пк , чтобы удовлетворить (3.13). Однако для целых
чисел пк равенство (3.13) может быть удовлетворено только приближенно, ес-
ли выбирать п к , исходя из условия
т2Пк <р(ак) < т2Пк+1, 1<к<т2.	(3.14)
Суммирование (3.14) по к превращает левое неравенство в неравенство
Крафта, что свидетельствует о существовании префиксного кода с этими дли-
нами. Логарифмируя правое неравенство в (3.14), получаем
1	/	<	(3.15)
logp(«*) < (-«* + l)logw2,«t <—;-----—+1.
Iogm2
Умножая (3.15) на Р^а^} и суммируя по всем Аг, получаем (3.8), что завершает
доказательство теоремы.
На основании рассмотренной теоремы может быть сформулирована вторая
теорема кодирования для источника, если кодовые слова приписывать не от-
дельным буквам источника, а последовательностям (словам), содержащим L
букв источника.
Теорема 3,5, Теорема неравномерного кодирования слов источника. Для
заданных дискретного источника без памяти U с энтропией H[U] и кодового
алфавита из т2 символов возможно так приписать кодовые слова последова-
тельностям L букв источника, что будет выполняться свойство префикса и
средняя длина кодовых слов на одну букву источника п будет удовлетворять
условию
H[U] - H[U] 1
------< п <------1—.
log т2 log т2 L
Доказательство. Если рассматривать последовательности длиной L как
некоторые «супербуквы» источника, то его энтропия на «супербукву» будет
определяться как Нс[и] = ZH U . При этом средняя длина пс кодовых комби-
92
наций, соответствующих «супербуквам», будет равна nL . Применив к такому
представлению теорему 3.4 , получаем неравенство
ZH[U]	ZH[U] х.
------S nL <------1- 1.
log w2	log m2
Разделив все части неравенства на L, получим результат теоремы 3.5.
При этом левое равенство справедливо для любого однозначно декодируе-
мого множества кодовых слов.
3.3. Теоремы кодирования для дискретных источников с памятью
При статистической зависимости между буквами источника основной ин-
формационной характеристикой процесса кодирования источника является эн-
тропия H/-[U] на букву источника в последовательности из L букв. С учетом
этого основная теорема кодирования для таких источников формулируется сле-
дующим образом.
Теорема 3,6, Основная теорема кодирования для дискретных источни-
ков с памятью. Пусть H/-[U] — энтропия на букву последовательности длиной
L дискретного источника с алфавитом объемом mi. При заданном кодовом ал-
фавите с m2 символами можно так закодировать последовательность из L букв
источника префиксным кодом, что среднее число букв кода на букву источника
п будет удовлетворять неравенствам
H£[U] - НДЦ] 1	(3.16)
-----п <.---------1—.
log т2	log т2 L
Доказательство. Доказательство (3.16) аналогично доказательству теоре-
мы 3.5, при условии, что энтропия источника на «супербукву» из L символов
будет определяться как ZH£ [и].
Более того, левое неравенство справедливо для любого однозначно деко-
дируемого множества кодовых слов и для последовательностей L.
93
3.3.1.	Стационарные источники
Для стационарных источников основная теорема кодирования может быть
приведена к следующему виду.
Теорема 3.7. Теорема кодирования для стационарных источников. Если
источник является стационарным, то для любого п можно выбрать L столь
большим, чтобы п удовлетворяло неравенствам
Щи] < й <	+5	<3-17)
log т2	log т2
и левое неравенство для п никогда не нарушается для однозначно декодируе-
мого кода.
Доказательство. При переходе к пределу в (3.16) при L—>оо энтропия
Н£ [и] стремится к Щ [U] и 1/£ стремится к 0, что доказывает (3.17).
При рассмотрении дискретных источников без памяти интерес к п был
обусловлен законом больших чисел, который показывает, что число кодовых
букв на букву источника в длинной последовательности кодовых слов стремит-
ся к п . Покажем, что это предельное поведение не обязательно имеет место для
произвольных дискретных стационарных источников. Предположим, что ис-
точник с алфавитом	имеет два типа поведения, каждый из которых
происходит с вероятностью 1/2. При первом типе источник производит беско-
нечную последовательность повторений ах. При втором типе источник произ-
водит бесконечную последовательность статистически независимых равнове-
роятных выборок букв а2 и а3. Если закодировать последовательности L букв
источника двоичным кодом, то легко увидеть, что п минимизируется отобра-
жением последовательности букв ах в один единственный двоичный символ и
отображением каждой из 2£ последовательностей букв а2 и а3 в кодовые слова
длиной £+1. Так как тип поведения источника никогда не меняется, то либо все
кодовые слова последовательности будут иметь длину 1, либо все будут иметь
длину £+1. Для таких источников ни п, ни энтропия не являются величинами,
которые играют значительную роль.
94
3.3.2.	Эргодические источники
Отмеченного недостатка лишены эргодические источники, которые не мо-
гут иметь различные устойчивые, типы поведения. Для них теорема кодирова-
ния принимает следующий вид.
Теорема 3.8. Теорема кодирования для эргодических источников. Если
источник является эргодическим, то при заданном кодовом алфавите из m2 сим-
волов можно выбрать такой префиксный код, что средняя длина кодового слова
будет удовлетворять условиям
нди]-н и
	_s п <-И 1.
log т2----------log т2
Доказательство. Теорема 3.8 доказывается так же, как и теорема 3.4, если
заменить H[U] на ИДИ] и использовать (2.23) вместо (2.8).
3.3.3.	Марковские источники
Теорема кодирования для дискретных источников с памятью применима и
к марковским источникам. Однако для марковского источника возможны неко-
торые упрощения. В (3.16) среднее число букв на букву источника при кодиро-
вании сразу L букв удовлетворяет условию п >	. Для того чтобы прибли-
logm2
- НЛи]	к т	к
зить п к —----, возможно потребуется взять L достаточно большим.
logw?2
Теорема 3.9. Теорема кодирования для Марковских источников. Для ста-
ционарных эргодических марковских источников, используя информацию о со-
стоянии и кодируя сразу L букв источника, можно получить п, удовлетворяю-
щее неравенствам
(3.18)
logm2 logw2 L
Доказательство. Чтобы получить этот результат, используются различные
коды для различных начальных состояний. Длина кодового слова, соответст-
вующая последовательности и=(г/ь и начальному состоянию sf=j, может
быть выбрана, как и в (3.14), удовлетворяющей неравенствам
95
т2П}(и) < p(u/s^ = у)
Так же, как и в теореме 3.4, эти длины удовлетворяют неравенствам Краф-
та для каждого начального состояния, и средняя длина кодового слова «jZ для
начального состояния j удовлетворяет неравенствам
H[Ur..U£ ч = j] - Н[Ц...ил /Sl = Д
—I 1 •
log т2	log т2
Усредняя по состояниям, деля на £ и используя (2.42), полученное нера-
венство можно свести к (3.18). Что и требовалось доказать.
3.4.	Стоимость и избыточность кодирования. Теорема Шеннона для
кодирования источников
Изменение избыточности информации в процессе кодирования характери-
зуется понятием «избыточность кодирования». Кодирование, обеспечивающее
уменьшение избыточности, называют эффективным кодированием, В общем
виде избыточность кодирования стационарных источников информации опре-
деляется как
R(f,U)=C(f,U) - H[U].	(3.19)
Здесь C(f,U) — стоимость кодирования f стационарного источника U, которая
характеризуется выражением вида C(f,U) = limsupC£(f,U).
L—>оо
Стоимость Ci(f,U) представляет отдельное разбиение по совместному ан-
самблю UX:
C£(f,U)=y 2
(3.20)
Для блочного кодирования G(f,U)=C/-(f,U).
При кодировании источника без памяти (источника Бернулли) с алфавитом
А = (^..л ) избыточность кодирования принимает вид
R(f,U) = C(f,U) -H[U] = £>(«>. log «2 +log/>(«.),
2=1	1=1
(3.21)
96
где ni — число символов в кодовом слове, соответствующем букве .
Из (3.21) видно, что стоимость кодирования f источника Бернулли соответ-
ствует величине
(3.22)
C(f,U) = log т2.
г=1
В случае двоичного кодового алфавита А=(0,1) выражение (3.22) принима-
ет вид C(f,U) = '^p(ai)ni.
j=l
Введение понятия избыточности кодирования позволяет сформулировать
теорему кодирования для источника без памяти в трактовке К. Шеннона.
Теорема 3.10. Теорема кодирования Шеннона для источников без па-
мяти. Для произвольного источника U и префиксного кода f избыточность ко-
дирования неотрицательна, т. е. R(f,U)>0. .При этом для каждого источника
U найдется префиксный код f с избыточностью кодирования, не превышающей
единицы, т. е. R(f,U)<l.
Доказательство. Докажем первое утверждение теоремы:
-R(f, U) = H[U] - C(f ,U) = 2>(а() log
j=l
p(af)2*
(3.23)
Поскольку ^2/>(q.) = 1 ? а логарифм — выпуклая функция, то к (3.23) мож-
г=1
но применить неравенство Йенсена, определяемое как
если
к
=1 и tz. >0.
1=1
i=l	\ i=l
В результате получаем -R(f,U)<log
Из неравенства Крафта (теорема 3.2) следует, что ^2“^ < 1. Тогда
г=1
-R(f,U) < 0 и первое утверждение теоремы доказано.
97
Пусть Z. =
1
р(а,)
, где р.'| означает наименьшее целое, большее или
равное х, тогда
W1	tni -log—L_
ЕГ'^Е2 ^>=£p(a,.) = l,
т. e. числа Zz удовлетворяют неравенству Крафта.
В этом случае из теоремы 3.2 следует, что префиксное кодирование f такое,
что ni=li. Оценим избыточность этого кодирования
R(f,U) = £p(a()
j=l
1
Теорема доказана. Данная теорема может быть достаточно просто обобще-
на для случая источников с памятью.
В практических приложениях процедура применения эффективных кодов,
обеспечивающих наименьшую избыточность кодирования, получила название
сжатия информации источника. Появление данного термина, по-видимому,
объясняется тем, что с практической точки зрения использование отмеченных
кодов приводит к сокращению кодовых слов, что можно трактовать как сжатие
информации на выходе кодера источника. С теоретической точки зрения этот
термин также является оправданным, так как применение данных кодов увели-
чивает среднее количество информации, приходящейся на символ кодового
слова, что можно трактовать как сжатие информации источника относительно
символов, представляющих её кодовые слова. Эти же рассуждения можно отне-
сти и к объяснению правомочности понятия «метод сжатия» информации ис-
точника, которое можно трактовать как метод кодирования источника эффек-
тивным кодом, обеспечивающим уменьшение избыточности информации. С
учетом этого метод сжатия определяется используемым кодом, типом и видом
кодирования.
По установившейся традиции, методам сжатия информации источника
принято присваивать название, соответствующее используемому коду. Однако
98
это ни в коей мере не означает отождествление этих понятий, что нередко мож-
но встретить в описаниях практических приложений методов сжатия информа-
ции.
3.5.	Стратегия защиты информации при кодировании
дискретного источника
С позиций теории информации криптографическая защита информации
(далее защита информации) означает преобразование сообщений источника к
виду, непонятному для несанкционированного пользователя, по закону, задан-
ному некоторым секретным ключом. Задача защиты информации, наряду с за-
дачей сжатия информации, является основной задачей кодирования источника.
В частности, при кодировании дискретного источника ее можно рассматривать
как задачу сжатия информации, когда ансамбль кодовых комбинаций изменяет-
ся по закону, определенному ансамблем ключа. Формируемые таким образом
кодовые комбинации называются криптограммами.
Защита информации состоит в преобразовании сообщений ансамбля ис-
точника U в криптограммы ансамбля криптограмм Е по закону, заданному ан-
самблем ключа К. Ансамбли U и Е при использовании известных подходов мо-
гут быть как дискретными, так и непрерывными, ансамбль К — только дис-
кретным. С учетом этого можно выделить следующие виды защиты информа-
ции:
-	шифрование: ансамбли U, Е и К — дискретные;
-	аналоговое скремблирование: ансамбли U и Е — непрерывные, ан-
самбль К — дискретный;
-	цифровое скремблирование: ансамбль U — непрерывный, ансамбли Е и
К — дискретные.
Понятия «шифрование» и «скремблирование» (англ, scrambled — зашиф-
рованный) обычно определяются видом источника информации. При этом
шифрование означает защиту информации при кодировании дискретного ис-
99
точника, скремблирование — защиту информации при кодировании непрерыв-
ного источника.
В целях повышения эффективности методов шифрования и скремблирова-
ния их, как правило, применяют в комплексе с методами аутентификации и
имитозащиты. В данном случае аутентификация означает определение ис-
тинности установленных идентификаторов источников, а имитозащита —
защиту от несанкционированного ввода ложных криптограмм, которые при
дешифровании или дескремблировании будут восприниматься получателем
информации, как истинные сообщения.
В общем виде защиту информации при кодировании дискретного источни-
ка принято представлять как процесс преобразования дискретных сообщений в
криптограммы по секретному закону, определенному ключом. Обычно этот
процесс называют шифрованием (Ш), а обратный ему процесс преобразования
криптограмм в сообщения — расшифрованием или дешифрованием (ДШ).
При этом конкретный способ шифрования определяется как шифр. С этих по-
зиций обобщенная схема защиты информации при кодировании дискретного
источника может быть представлена в виде, приведенном на рис. 3.3.
Рис. 3.3. Обобщенная схема защиты информации при кодировании дискретного
источника
Источник информации (ИИ) формирует сообщения, полное множество ко-
торых определяется ансамблем U. В результате шифрования сообщения преоб-
разуются в криптограммы, составляющие ансамбль Е. Закон данного преобра-
100
зования задается ключами ансамбля К, формируемыми источником ключа
(ИК). При дешифровании производится обратное преобразование криптограмм
в сообщения, которые поступают к получателю информации (ПИ). К крипто-
граммам может получать доступ несанкционированный пользователь (НП). С
учетом этого основная задача защиты информации состоит в шифровании ис-
точника, обеспечивающем невозможность однозначного дешифрования крип-
тограмм при несанкционированном доступе к ним.
Исходя из приведенной схемы, понятие шифрования может быть опреде-
лено следующим образом. Пусть A = (a1...af^), П = (б71...б7^) и G = (£,...gOT ) —
алфавиты ансамблей сообщений, криптограмм и ключей соответственно. Из
букв данных алфавитов формируются конечные последовательности щ, е,, уг,
образующие, соответственно, множества сообщений U*, криптограмм Е* и
ключей К*. Данные множества определяют выборочные пространства ансамб-
лей сообщений U*, криптограмм Е* и ключей К*.
Шифрованием (шифром) называется инъективное отображение вида
Ф: U- “Г"* Е*
К	(3.24)
Выражение (3.24) показывает, что множество криптограмм является ре-
зультатом отображения двух множеств, из которых одно (U*) является исход-
ным, а другое (К*) — определяющим.
Представление понятия шифрования в виде (3.24) позволяет снять сущест-
вующую в настоящее время значительную неопределенность в соотношении
понятий шифрования и кодирования. Из него следует, что шифрование можно
рассматривать как кодирование с изменяющимся по закону ключа кодовым
словарем.
Другими словами, если при обычном кодировании кодовый словарь одно-
значно определяется используемым кодом, то при шифровании кодовый сло-
варь изменяется по закону, определяемому ансамблем ключа и алгоритмом
формирования ключевых последовательностей. Это во многом объясняет при-
101
нятое в практических приложениях включение в состав понятия ключа таких
понятий, как «ключевые данные» («исходный ключ») и «развернутый (рабочий)
ключ». Понятие ключевые данные соответствует выборочному пространству
ансамбля ключа, а понятие развернутый ключ — его вероятностной мере и ал-
горитму формирования ключевых последовательностей. Исходя из этого, мно-
жество ключей можно рассматривать как совокупность множеств ключевых
данных (X*) и ключевых последовательностей (Y*).
Таким образом, шифрование Ф источника может быть описано как
е„ (0= ФХк (и, (0.У, (0), хЛ € X*, уg € Y*,	(3.25)
где u7(z) и ew(z) — сообщение и соответствующая ему криптограмма на z -м шаге
шифрования; y9(z) — ключевая последовательность; х^ — ключевые данные.
На основании (3.25) дешифрование можно представить как обратное пре-
образование вида
U; (0=Фх, (е„ (0>Ур (0)>х, s X* у е Y*.	(3.26)
Шифрование считается однозначно дешифруемым, если u7(z)=u/(z), т. е.
ф;‘ (фх. (uy(i),y?(0), у/о)=и/о,	(3-27)
где Х£ и хг — ключевые данные, используемые при шифровании и дешифрова-
нии соответственно; у9(/)и УрО) — ключевые последовательности на z-м шаге
шифрования и дешифрования.
В случае, когда при шифровании и дешифровании используются строго
одинаковые ключевые данные (к = г)9 определение (3.27) однозначности де-
шифрирования принимает вид
ФхДФх. («0> у,(0)> у/0) = «0 •	<3-28)
Так как в преобразованиях шифрования и дешифрования на каждом z'-м
шаге в данном случае участвуют строго одинаковые сообщения, то индексы
при u(z) здесь и в дальнейшем будем опускать, вводя их только по мере необ-
ходимости. Аналогично поступим и с y(z).
102
Шифры, удовлетворяющие (3.28), часто называют симметричными. Ос-
новным условием обеспечения однозначности дешифрирования для таких
шифров является строгая идентичность ключевых последовательностей на i -м
шаге шифрования и дешифрования (i , где N — число шагов). В прак-
тических приложениях задача реализации этого условия получила название за-
дачи синхронизации шифраторов. Необходимость решения этой задачи в рам-
ках основной задачи защиты информации порождает проблему секретности
ключевых данных. Проблема заключается в том, что идентичность ключевых
данных при шифровании и дешифровании (3.28) приводит к ситуации, когда
несанкционированный доступ к ключевым данным становится равнозначным
несанкционированному доступу к сообщению, зашифрованному в криптограм-
ме. Отсюда следует, что ключевые данные необходимо хранить в секрете. Это
создает значительные трудности при реализации симметричных шифров. По-
пытка решения этой проблемы путем использования при шифровании и де-
шифровании различных ключевых данных
ф;1 (Фч (и(г), у(0)> У(0) = и(П	(3-29)
привела к созданию так называемых асимметричных шифров. Данные шифры
частично решают отмеченную проблему, открывая возможность применения
при шифровании так называемых открытых (несекретных) ключевых данных.
Эта возможность послужила в свое время причиной несколько поспешных вы-
водов о бесперспективности симметричного шифрования. Однако дальнейшие
исследования в области создания асимметричных шифров натолкнулись на
достаточно высокую сложность их реализации и сравнительно низкую произ-
водительность. Кроме того, применение этих шифров не снимает требования
секретности ключевых данных при дешифрировании. По-видимому, этим во
многом объясняется то, что в настоящее время симметричное шифрование счи-
тается основным при решении задач защиты информации. Свидетельством че-
му является симметричный шифр RIJNDAEL, рекомендованный Националь-
103
ным институтом стандартов и технологий (NIST) США в качестве стандарта
шифрования 21 века.
Проблема секретности ключевых данных является частью общей проблемы
защиты информации, которую принято определять как проблему обеспечения
теоретической недешифруемости (ТНДШ).
Защита информации является теоретически недешифруемой, если при не-
санкционированном доступе к криптограммам теоретически исключается
возможность получения информации о сообщениях, соответствующих этим
криптограммам.
Невозможность практической реализации условий ТНДШ в рамках извест-
ных подходов к защите информации привела к введению понятия практиче-
ской недешифруемости (ПНДШ).
Защита информации считается практически недешифруемой, если при
несанкционированном доступе к криптограммам теоретически допускается
возможность получения информации о сообщениях, однако практически эта
возможность нереализуема.
В соответствии с этим, часто практическую недешифруемость определяют
как невозможность дешифрирования криптограммы в так называемое «обозри-
мое время», при условии использования любых самых совершенных способов и
средств вычисления. Под обозримым в данном случае понимается время, в те-
чение которого защищаемая информация гарантированно потеряет свою цен-
ность.
Таким образом, принятая в настоящее время стратегия защиты информа-
ции включает 2 основных направления:
1) обеспечение практической недешифруемости;
2) выполнение условий однозначной дешифруемости.
В качестве основного показателя, характеризующего эффективность реали-
зации данной стратегии, выступает стойкость защиты информации. Это до-
вольно условный показатель, который может принимать только два значения:
гарантированная стойкость и временная стойкость.
104
Гарантированная стойкость характеризует практически недешифруе-
мую защиту информации, обеспечивающую невозможность несанкциониро-
ванного дешифрирования криптограмм в обозримое время. Временная стой-
кость характеризует защиту информации, при которой условия практической
недешифруемости не выполняются.
Вполне понятно, что неопределенность обозримого времени, используемо-
го в качестве основного критерия ПНДШ, делает приведенную градацию весь-
ма условной. Постоянно возрастающие темпы развития средств и методов вы-
числения сегодня создают ситуацию, когда невозможно даже представить, на-
сколько изменятся наши представления об обозримом времени завтра. Одним
из очевидных путей решения отмеченной проблемы является расширение гра-
дации стойкости защиты за счет введения понятия абсолютной стойкости. Аб-
солютная стойкость будет характеризовать защиту информации, при которой
обеспечивается абсолютная недешифруемость (АНДШ). Основным критерием
выполнения условий АНДШ в данном случае будет выступать вполне опреде-
ленное значение обозримого времени t = °о. Такое изменение градации стой-
кости защиты показывает возможность существования более перспективной,
чем существующая, стратегии защиты информации, основным направлением
которой является обеспечение условий АНДШ. Назовем ее стратегией абсо-
лютной недешифруемости. До настоящего времени данная стратегия по ряду
причин, которые будут рассмотрены далее, считается практически нереализуе-
мой. Этим во многом объясняется общепринятое отношение к ней как к некое-
му недостижимому ориентиру, не заслуживающему внимания в практических
приложениях. Насколько справедливо такое отношение? Для ответа на этот во-
прос определим условия абсолютной недешифруемости.
Из определения абсолютной недешифруемости следует, что для ее обеспе-
чения необходимо создать условия, при которых абсолютно исключается воз-
можность получения каких-либо сведений о сообщениях и ключах при несанк-
ционированном доступе к криптограммам. С позиций классической теории ин-
формации эта задача сводится к задаче определения условий существования
105
шифра, способного формировать криптограммы, в которых отсутствует инфор-
мация о соответствующих им сообщениях и ключах, т. е. условий теоретиче-
ской недешифруемости. Однако с позиций практики нельзя исключать ситуа-
цию, когда цель информационного анализа криптограмм при несанкциониро-
ванном доступе может и не ставиться. Характерным примером такой ситуации
является простой перебор возможных вариантов ключей с целью обнаружения
ключа, используемого при шифровании. Практический опыт защиты информа-
ции показывает, что вероятность этой ситуации довольно высока и ее необхо-
димо учитывать.
Таким образом, для определения условий абсолютной недешифруемости
требуется:
-	определить условия существования шифра, способного исключить ин-
формацию о сообщении и ключе из криптограммы, т. е. условия ТНДШ;
-	установить условия, при которых любой продуктивный прогноз ключа
становится невозможным.
Учитывая ранее введенное определение шифрования как кодирования с
изменяющимся кодовым словарем, вполне логичным путем выполнения перво-
го требования является вывод теоремы шифрования для дискретных источни-
ков. Что касается второго требования, то для его выполнения с позиции теории
информации вполне достаточно проведения анализа факторов, влияющих на
изменение энтропии ансамбля ключа.
Процесс защиты информации при кодировании источника U* на основании
(3.25) — (3.28) можно представить следующим образом. На каждом z'-м шаге
шифрования Ф* сообщение u(z) = (ип...и&) преобразуется в криптограмму
Q(i)=(eiV..ein.), Данное преобразование однозначно определяется ключом
k(i)=(kiV..kir,). Сообщения, криптограммы и ключи определяются соответст-
вующими ансамблями, т. е. u(z)gU*, e(z')eE* и k(z)eK*. При этом составляющие
их буквы являются буквами соответствующих алфавитов, т. е. Wf/eA, и
106
Л#еС>где А = (а1..л ) —алфавит источника, D = {dx...dm^) —алфавит крипто-
грамм, G = (fP..gW4) — алфавит ключа. Ансамбль ключа представляет собой
совместный ансамбль X*Y*, где X* — ансамбль ключевых данных, a Y* — ан-
самбль ключевых последовательностей.
Нетрудно заметить, что приведенное представление процесса защиты ин-
формации соответствует симметричному шифрованию. Однако данное ограни-
чение не принципиально и вводится только с целью наглядности последующих
выражений.
Теорема 3,1 1, Теорема шифрования для дискретного источника. Пусть
шифрование Ф дискретного источника U* определяется некоторыми ансамбля-
ми ключей К* и криптограмм Е*. Тогда, если среднее количество взаимной ин-
формации равно
I[U*K*;E*] = О,	(3.30)
то всегда существует шифр Фо, обеспечивающий теоретическую недешифруе-
мость.
Доказательство. Из определения теоретической недешифруемости следу-
ет, что J[u(z)k(z);e(z)] = 0, для всех i. Следовательно, количество информации
об z-м сообщении и z'-м ключе, содержащееся в z-й криптограмме, должно
быть равным нулю.
Среднее количество взаимной информации о сообщениях и ключах в крип-
тограмме определяется как
I[U*K*;E*] = M[J[u(z)k(z);e(z)]],	(3.31)
где M[J[u(z')k(z);e(z)]] — функция математического ожидания.
Так как количество информации всегда неотрицательная величина, т. е.
J[u(z)k(z);e(z)]>0 , то равенство (3.31) будет однозначно свидетельствовать о вы-
полнении (3.30). Что и требовалось доказать.
Следствие 3.1, Если при шифровании Ф дискретного источника ансамбли
сообщений U* и ключей К* статистически не связаны с ансамблем криптограмм
107
*
Е , то существует шифр Фо, обеспечивающий теоретическую недешифруе-
мость.
Доказательство. Запишем выражение для среднего количества взаимной
информации ансамблей U*,K* ,Е*:
I[U*K*;E*] = I[K*;E*]+I[U*;E*/K*].
Из теоремы шифрования следует, что для существования шифра ф0, обес-
печивающего ТНДШ, необходимо выполнение условия
I[K*;E*]+I[U*;E*/K*] = 0.	(3.32)
Очевидно, что данное условие может быть выполнено, если первый и вто-
рой члены левой части равенства (3.32) будут равны нулю. С учетом выраже-
ний для 1[К*;Е*] и I[U*;E*/K*] можно считать, что равенство (3.32) будет обес-
печиваться, если
Н[К*]-Н[К*/Е*] = 0,
I[U*;E*K*]-I[U*;K*] = 0.
(3.33)
(3.34)
Применив вероятностное представление энтропий, выражение (3.33) мож-
но привести к виду
Л/д.	Mk Mg
£p(ky)logp(k,.) =££p(k;e()log р(к/е(),
7=1	i=i
(3.35)
где М k и М Е — объемы выборочных пространств ансамблей ключей и крип-
тограмм соответственно.
Таким образом, равенство (3.33) возможно только при отсутствии статиче-
ской связи между ключами и криптограммами.
Далее, используя взаимосвязь среднего количества взаимной информации
и энтропии, преобразуем выражение (3.34) к виду
I[U*;E*K*] - I[U*;K*] = H[U*/K*] - H[U*/E*K*] = 0.
Откуда окончательно получаем
H[U*/K*] = H[U*/E*K*].	(3.36)
108
Используя в (3.36) вероятностное представление энтропий, нетрудно пока-
зать, что данное равенство является следствием статистической независимости
сообщений от криптограмм.
Таким образом, из (3.35) и (3.36) следует, что равенство (3.32) будет вы-
полняться тогда и только тогда, когда сообщения и ключи статистически не
связаны с криптограммами. Что и требовалось доказать.
Приведение доказательств позволяет сформулировать ряд свойств и при-
знаков, характерных для теоретически недешифруемых шифров.
Во-первых, как видно из (3.33), в криптограммах таких шифров должна от-
сутствовать информация о ключах. Признаком этого является то, что средняя
неопределенность принятия решения о ключе, остающаяся после несанкциони-
рованного перехвата криптограммы, будет максимальной и равной исходной
средней неопределенности ключа.
Во-вторых, из (3.34) следует что, при несанкционированном доступе к
криптограммам этих шифров должна отсутствовать возможность получения ка-
кой-либо информации о сообщениях даже при условии возможного доступа к
ключам. Признаком этого с учетом (3.36) можно считать то, что формирование
криптограмм не будет оказывать влияние на значение условий энтропии
4с 4с
H[U /К ].
Как видно из (3.33) и (3.34), наиболее простым условием обеспечения от-
меченных свойств являются статистическая независимость ансамблей U*, К* и
Е*. Однако при этом следует заметить, что приведенное следствие теоремы
шифрования не накладывает каких-либо ограничений на статистическую связь
сообщений и ключей.
Обычно ансамбль ключа принято представлять как совместный ансамбль
X*Y* ключевых данных и ключевых последовательностей. Кроме того, из (3.25)
— (3.29) следует, что определенному значению ключевых данных должно со-
ответствовать строго определенное подмножество ключевых последовательно-
стей из множества Y*. Отсюда следует, что ключевые данные определяют раз-
биение множества Y* на подмножества. Принимая во внимание требования од-
109
нозначности дешифрования, можно считать, что аналогичному разбиению под-
вергается и совместный ансамбль U* X* Е*. Такое представление процесса
шифрования приводит к следствию теоремы шифрования, которое формулиру-
ется следующим образом.
Следствие 3,2, Если при шифровании Ф дискретного источника ансамбли
сообщений U* и ключевых последовательностей Y* статистически не связаны с
ансамблем криптограмм Е*, то существует шифр Фо, обеспечивающий теорети-
ческую недешифруемость.
Доказательство. Исходя из того, что при шифровании производится раз-
биение совместного ансамбля U* Y* Е* в соответствии с ключевыми данными
ансамбля X*, среднее количество взаимной информации I[U*K*;E*] можно вы-
разить в виде
I[U*K*;E*] = sup I[U/Y/;E/],	(3.37)
X*
где I[Up*Yp*;Ep*] — среднее количество взаимной информации разбиений ан-
4с ♦	*
самблей U , Y и Е .
Если рассматривать выбор конкретного значения ключевых данных из ко-
нечного множества X* размерностью Мх как некоторое событие, то разбиение
Yp* ансамбля Y* определяется как конечный набор OG, Y2,...,YM^) взаимно не-
совместимых событий, объединение которых составляет выборочное простран-
ство ансамбля Y*. Это же относится и к разбиению Ер*. Физически разбиения
Yp* и Ер* можно трактовать как квантование выборочных пространств ансамб-
лей Y* и Е* по правилу, заданному ансамблем X*.
Согласно теореме шифрования, условием существования теоретически не-
дешифруемого шифра является выполнение равенства I[U*K*;E*]=0. Так как
I[U*K*;E*] и I[Up* Yp*;Ep*] являются неотрицательными, то из (3.37) следует, что
данное равенство будет выполняться тогда и только тогда, когда среднее коли-
чество взаимной информации I[Up* Yp*; Ер*] будет равно нулю по всем разбие-
ниям ансамблей U*,Y* и Е*, т. е. для всех разбиений ансамблей U*, Y* и Е*:
ПО
(3.38)
Выражение
I[U* Y₽; E* ] ^P^piV^pn) log
ij,n
Р^р.Ур^рп')
/’(up,yw)/’(epJ
показывает,
что равенство (3.38) будет выполняться, если р(р^ дДгр^у j) р(^п) для всех 4
j, п, т. е. сообщения и ключевые последовательности будут статистически неза-
висимы от криптограмм. Что и требовалось доказать.
Приведенное доказательство позволяет сделать вывод, который определяет
практически важное свойство теоретически недешифруемых шифров, основан-
ных на применении совместных ансамблей ключевых данных и ключевых по-
следовательностей. В таких шифрах ансамбль ключевых данных X*, согласно
(3.37) и (3.38), не оказывает влияния на стойкость шифрования. Иначе говоря,
теоретически недешифруемые шифры могут использовать ключевые данные,
открытые для несанкционированного доступа.
Полученные выше следствия теоремы шифрования достаточно полно от-
ражают уже известные результаты теоретических исследований в области за-
щиты информации. Однако этим возможности данной теоремы не ограничива-
ются. Она позволяет сформулировать еще ряд следствий, открывающих прин-
ципиально новую область исследований.
Следствие 3.3. Если при шифровании Ф дискретного источника формиро-
вание криптограмм сопровождается увеличением средней неопределенности
ключей при условии их статистической зависимости от сообщений, причем
H[K*/U*E*] - H[K*/U*] = I[U*;E*],	(3.39)
то существует шифр Фо, обеспечивающий теоретическую недешифруемость.
Доказательство. Запишем выражение для среднего количества взаимной
информации в виде
I[U*K*;E*] = I[U*;E*]+ I[K*; U*/E*],	(3.40)
где
I[K*; U*/E*] = I[K*;U*E*] - I[K*;U*] = H[K*/U*E*] - H[K*/U*].	(3.41)
111
Из теоремы шифрования следует, что существование теоретически неде-
шифруемого шифра Фо возможно тогда, когда среднее количество взаимной
информации I[U*K*;E*] будет равно нулю. Исходя из этого, на основании (3.40),
с учетом (3.41) имеем
I[U*;E*] - (H[K*/U*E*] - H[K*/U*]) = 0.
Откуда окончательно получаем
I[U*;E*] = (H[K*/U*E*] - H[K*/U*]).
(3.42)
Полученное равенство определяет условие существования теоретически
недешифруемого шифра. Что и требовалось доказать.
Правую часть выражения (3.42) в приведенном доказательстве можно
трактовать как изменение условной энтропии ключа при формировании крип-
тограмм. Таким образом, из (3.42) и (3.39) следует довольно неординарный вы-
вод о том, что теоретическая недешифруемость возможна и при статической за-
висимости ансамблей сообщений и криптограмм, если шифрование сопровож-
дается изменением условной энтропии ключа и если данное изменение будет
компенсировать среднее количество взаимной информации о сообщениях в
криптограммах. Неординарность этого вывода состоит в том, что он расширяет
границы общепринятых классических условий теоретической недешифруемо-
сти, устанавливающих обязательную статистическую независимость сообще-
ний и ключей от криптограмм, т. е.
H[U*/E*] = H[U*];	(3.43)
Н[К*/Е*]= Н[К*].
Откуда получаем
I[U*;E*]= H[U*] - H[U*/E*] = 0;
I[K*;E*] = H[K*] - H[K*/E*] = 0.
(3.44)
Физический смысл этих условий вполне понятен. Он состоит в исключе-
нии какой-либо информации о сообщениях и ключах из криптограмм, форми-
руемых при шифровании. Кроме того, в основной массе практических прило-
жений обычно постулируется статистическая независимость сообщений и клю-
112
чей, что объясняется, по-видимому, стремлением обеспечить дополнительные
гарантии теоретической недешифруемости. Это стремление, а также попытки
максимально приблизиться к условиям (3.44), на практике не только приводит к
достаточно громоздким и неоптимальным решениям, но и существенно услож-
няет решение такой важной задачи, как обеспечение имитостойкости.
Следствие 3.3 показывает возможность существования теоретически неде-
шифруемых шифров при статистической зависимости сообщений и крипто-
грамм, когда равенство (3.43) не выполняется. При этом изначально допускает-
ся, что ансамбли U* и К* статистически связаны и отсутствие этой статистиче-
ской зависимости рассматривается лишь как частный случай, при котором
(3.39) принимает вид
Н[К*/Е*] - Н[К*] = I[U*;E*].
Откуда с учетом того, что 1[К*;Е*] = Н[К*] - Н[К*/Е*], следует
I[K*; Е*] = - I[U*; Е*].	(3.45)
Из равенства (3.45) видно, что при статистически независимых ансамблях
сообщений U* и ключей К* существование теоретически недешифруемых шиф-
ров допускает наличие в криптограммах информации о сообщениях и ключах.
Однако при этом среднее количество взаимной информации I[K*; Е*] должно
быть точно равно среднему количеству взаимной информации I[U*; Е*] с обрат-
ным знаком. Знак минус при I[U*; Е*] в (3.45) можно трактовать как введение в
криптограммы ложной информации о сообщениях путем установления стати-
стической зависимости между ключами и криптограммами при шифровании.
В свою очередь, если в выражении (3.39) учесть, что
H[K*/U*] — H[K*/U*E*] = I[K*;U*/E*] и в соответствии с этим привести его к
виду -I[K*; U*/E*] = I[U*; Е*], то становится понятным и общий физический
смысл следствия 3.3. Оказывается, что теоретически недешифруемые шифры
могут существовать и при статистической зависимости ансамблей сообщений,
ключей и криптограмм, если шифрование предполагает увеличение средней ус-
ловной неопределенности ключей. Причем это увеличение должно сопровож-
113
даться введением ложной информации о сообщениях в формируемые крипто-
граммы.
Применение в качестве ансамбля ключей К* совместного ансамбля X*Y*
ключевых данных и ключевых последовательностей требует конкретизации
рассмотренного выше следствия 3.3 теоремы шифрования.
Следствие 3,4, Если при шифровании Ф дискретного источника формиро-
вание криптограмм сопровождается увеличением средней неопределенности
ключевых последовательностей при условии их статистической зависимости от
сообщений, причем значение этого увеличения точно соответствует значению
среднего количества взаимной информации сообщений и криптограмм, т. е.
H[Y*/U* Е* ]-H[Y7u* ] = I[Y*; U* ], то существует шифр Фо, обеспечиваю-
Jr Js Jr	Jr Jr	Jr г
щий теоретическую недешифруемость.
Доказательство. Как уже отмечалось при доказательстве следствия 3.2, в
случае представления ансамбля ключей К* в виде совместного ансамбля X*Y*
возможность существования теоретически недешифруемого шифра определя-
ется выполнением равенства вида
I[U*K*; Е*] = sup I[U* Y*; Е* ] = 0,	(3.46)
Jr Jr Jr
где верхняя граница берется по всем разбиениям ансамбля U*, всем разбиениям
ансамбля У* и всем разбиениям ансамбля Е*, заданным ансамблем X*.
Так как I[U*K*;E*] и I[UP* Yp*;Ep*] являются неотрицательными, то из (3.46)
следует, что это равенство будет возможным тогда и только тогда, когда
I[U;yX]=0.	(3.47)
Запишем выражение для I[UP Yp ;ЕР ] в виде
i[u; y; ;е; ]=ци» цу; ; их l	(3 -48)
где
i[y;; uXj=4y;; иХ] - ipC и;]=н[и;; e;j - h[y;; u;xj •	<3-49>
Подставив (3.48) в (3.47) с учетом (3.49), окончательно получим
h[y;/ и; e;j - h[y> и> i[y;; u;l
114
Что и требовалось доказать.
Следствия 3.3. и 3.4 теоремы шифрования открывают принципиально но-
вый подход к решению задач защиты информации, состоящий в допущении
возможности существования теоретически недешифруемых шифров при стати-
стической зависимости ансамблей сообщений, криптограмм и ключей.
115
Глава 4
ЭФФЕКТИВНОЕ КОДИРОВАНИЕ. МЕТОДЫ СЖАТИЯ ИНФОРМАЦИИ
ПРИ КОДИРОВАНИИ ДИСКРЕТНЫХ ИСТОЧНИКОВ
4.1.	Побуквенное кодирование
Сопоставляя типы и виды кодирования, установленные ранее, можно отме-
тить, что эффективное побуквенное кодирование, обеспечивающее сжатие ин-
формации, возможно только при кодировании типа BV , т. е. при использова-
нии неравномерных кодов. Задача кодирования в данном случае формулирует-
ся следующим образом.
Пусть задан источник информации U, формирующий последовательность
букв и = (t/р.Лр..) некоторого алфавита А =	. Данная последователь-
ность подвергается побуквенному кодированию f, при котором каждой букве
a t алфавита А присваивается определенное кодовое слово
xi = (xv..x^) = f(at) из букв алфавита D = (d\ ...dm ) определенного кодо-
Л*
вого словаря. Здесь и в дальнейшем будем рассматривать применение только
двоичных кодов, т. е. zw2 = 2 и D = (0,1). Ставится задача определения кода,
обеспечивающего уменьшение избыточности источника информации.
Ранее установлено, что задача данного класса решается путём применения
префиксных кодов. Кодирование в этом случае представляется как инъективное
отображение f:A—>Х*, где A = (al...a ), а X — множество кодовых слов
xi = (Хр..^ ) =/(Д.) префиксного кода f? и. — длина z-ro кодового слова,
g D{0,l}.
J
Из теоремы 3.2 следует, что для существования префиксного кода с длина-
ми пхп2..,пк необходимо и достаточно выполнения неравенства Крафта
116
Тогда кодирование, обеспечивающее выполнение (4.1) при условии, что
никакое кодовое слово f (Pi) не является префиксом другого слова, будет пре-
фиксным. Префиксное кодирование, обеспечивающее минимальную избыточ-
ность кодирования R(f, U), считается оптимальным.
Лексикографическим порядком на множестве букв алфавита А называется
расположение (нумерация) букв в порядке убывания их априорных вероятно-
стей p(^i) р{и2) >... > р(аВД1) > 0 . Префиксный код сохраняет лексикографи-
ческий порядок, если из i < j следует, что п, п,.
4.1.1.	Префиксное кодирование
Метод Шеннона основан на применении одноимённых кодов, обладаю-
щих свойством
Ч = log------- .
При этом алгоритм кодирования представляется следующим образом.
1.	Буквы алфавита А располагаются в лексикографическом порядке, т. е.
нумеруются так, чтобы р(а{) > р(а2)>...> p(ami) > 0 .
2.	Из рекуррентного выражения вида yi+1 = у,. + р(р) при Yi — 0 определя-
ются значения у; (0 < у. < 1,1 < i <	.
3.	В качестве кодового слова выбираются первые после запятой
л 1
log-----
р(ц)
двоичных знаков числа у,.
Пример. Пусть Р(а)~ о , р(Рт)- а , Р(я3)-—, Р^)-—. Тогда в двоич-
2	э	о	24
ной записи У] =0,000..., у2 =0,1000..., у3 =0,1101..., у4 =0,11110. Откуда по-
лучаем: Л«1) = 0, /(а2) = 10, /(а3) = 110, /(а4) = 11110.
117
Метод Гильберта-Мура основан на применении кода, обладающего свой-
ством
«,= log
x«i)
Алгоритм кодирования представляется следующим образом.
1.	Буквы алфавита А располагаются в лексикографическом порядке.
, „	,,	„ , АчЭ+Ицч) v р(«,)
2.	Из рекуррентного выражения Y/+i - Y, +----- при Y/ -—-— оп-
ределяется значение у, (0 < yf < 1, 1 < i < ml).
3.	Кодовые слова	формируется путём выделения первых
log-----
р(ч)
+1 двоичных знаков числа Y , следующих после запятой.
Метод Шеннона—Фано основан на закономерности, выявленной при вы-
воде неравенства Крафта. Если множество букв алфавита источника А последо-
вательно разбивать на т 2 подмножеств, каждое из которых обладало бы веро-
ятностью по возможности близкой к 1 / , где к — номер этапа разбиения, и
на каждом этапе разбиения присваивать полученным подмножествам отличные
кодовые символы (буква) алфавита D = (t7p..t/W2), то в конечном итоге (когда
каждое подмножество будет содержать одну букву источника) можно получить
код f, удовлетворяющий равенству р(Д ) =	. При этом статистическая связь
между кодовыми словами /(а, ).../(«„)
практически устраняется. Поясним
приведённую закономерность на примере для случая двоичного алфавита.
Пример. Пусть алфавит источника состоит из восьми букв (а = с
вероятностями р(^)-0,07,	р(а2) = 0,23,	р(а3)-О,ОЗ,	/>(«) —0,09,
р(а5) - 0,25, /?(а6)-0,08, р{а^) - 0,15, /?(а8)-0,10. Приведем данный алфа-
вит к лексикографическому порядку, т. е. расположим его буквы в порядке
118
убывания априорных вероятностей: а[ = а5, а2 = а2, а\ = а7, аА = а& ? а' = а4 ?
=«6, а7 = ai, «в = «з (рис. 4.1).
Рис.4.1. Алгоритм кодирования по методу Шеннона—Фано
На первом этапе к = 1 разобьем множество букв на два подмножества с
суммарной вероятностью каждого, стремящейся к 0,5. Сечение этого разбиения
будет проходить между буквами я' = а2 и = а7. Присвоим для всех букв,
входящих в первую группу («2 •> а$) , единицу в первом разряде их кодовых слов,
а для букв второй группы (а1а3а4а6а7а3) — соответственно ноль. На втором
этапе к = 2 разобьем снова каждую из групп на две подгруппы с суммарными
вероятностями, стремящимися к 1/2^ =0,25, и присвоим следующим разрядам
кодовых слов, отображающих символы первых подгрупп каждой группы, еди-
ницы, а вторых подгрупп — нули. Кодирование каждой буквы алфавита закан-
чивается, как только она оказывается единственной в подгруппе. Очевидно, что
119
чем меньше вероятность буквы алфавита, тем в большем числе разбиений она
будет участвовать и тем длиннее будет отображающее её кодовое слово.
Можно отметить, что ни одно из полученных в данном случае кодовых
слов меньшей длины не совпадает с началом кодовых слов большей длины, т. е.
полученный код является префиксным. Часто такие коды называют неприво-
димыми.
Таким образом, можно сформулировать следующий алгоритм кодирования
по методу Шеннона - Фано.
1.	Множество букв алфавита источника располагается в порядке убывания
их априорных вероятностей.
2.	Формируются две группы букв алфавита таким образом, чтобы их сум-
марные вероятности были приблизительно равны.
3.	Первой группе присваивают символ 0, второй группе — 1.
4.	Каждую из групп делят на две подгруппы так, чтобы их суммарные ве-
роятности были по возможности равны.
5.	Первым подгруппам каждой из групп вновь присваивают 0, а вторым —
1, в результате чего получаются вторые символы кодовых слов.
6.	Каждую из полученных подгрупп вновь делят на две части с равной (по
возможности) суммарной вероятностью и т.д.
7.	Кодирование каждой буквы алфавита заканчивается, как только она ока-
зывается единственной в подгруппе.
8.	Деление продолжается до тех пор, пока в каждой из подгрупп не остает-
ся по одной букве.
Для произвольного источника U с алфавитом A = (a|..z/W]) метод Шенно-
на-Фано обеспечивает наименьшую избыточность кодирования по сравнению с
методами Шеннона и Гильберта-Мура. Однако это не означает, что коды Шен-
нона-Фано обеспечивают минимально возможную избыточность кодирования
для заданного источника U. Другими словами, применение этих кодов не га-
120
рантирует, что средняя длина кодовых слов, представляющих буквы источника,
будет минимальной. Решить эту проблему позволяет оптимальное кодирование.
4.1.2. Оптимальное кодирование
Понятие оптимального кодирования источника в том виде, в котором оно
используется в настоящее время, впервые было введено Д.А. Хаффманом в
1952 году.
Оптимальным кодированием f0 для источника U, использующего алфа-
вит А = («(...а^), называется эффективное кодирование, обеспечивающее ми-
нимальную среднюю длину п кодовых слов = xz-, по сравнению с любым
другим кодированием f для данного источника. Так как любое множество длин,
получаемых на однозначно декодируемом коде, можно получить на префикс-
ном коде, представляется удобным применить следующее определение опти-
мальности кодирования. Префиксное кодирование f0 называется оптималь-
ным для источника U, если для любого другого префиксного кодирования f ис-
точника U справедливо неравенство R(f0, U) R(f, U). Знак равенства в приве-
денном неравенстве подчеркивает то, что один источник может иметь несколь-
ко оптимальных кодов с разными наборами длин кодовых слов.
Хаффманом Д.А. предложена оригинальная процедура получения опти-
мальных кодов, использующая понятие редуцированных ансамблей. Редуциро-
ванным ансамблем U' называется ансамбль, полученный из лексикографиче-
ски упорядоченного ансамбля U путем объединения (редуцирования) двух наи-
менее вероятных букв и ат} его алфавита A = («[...arffJ1) в букву а'м и
формирования редуцированного алфавита A' = (a}...a^) = (ap..a?W1_2a^/), где
М = т\ -1. При этом для редуцированного алфавита должно выполняться сле-
дующее условие:
Р(«1) Р(«2) * - *	) = P(«W1-1) + Р(атх) •	(4-2)
121
Если условие (4.2) не выполняется, то производится лексикографическое
упорядочение алфавита А' ? т. е. изменение положения (нумерации) его букв в
порядке уменьшения их априорных вероятностей.
Из редуцированного ансамбля U' путем объединения двух наименее веро-
ятных букв его алфавита может быть получен новый редуцированный ансамбль
U” ? число букв в алфавите которого будет на единицу меньше. Продолжая, та-
ким образом, последовательное формирование новых редуцированных ансамб-
лей, можно достичь того, что полученный редуцированный ансамбль будет со-
держать только две буквы. В данном случае оптимальное кодирование будет
сводиться к присвоению одной букве значения 1 и другой — значения 0. Таким
образом, задача присвоения оптимального кода для ансамбля и может быть
сведена к задаче отыскания оптимальных кодов для редуцированных ансамб-
лей. Вариант систематической процедуры выполнения описанных выше опера-
ций приведен на рис. 4.2.
Алгоритм кодирования по методу Хаффмана, приведенный на рис. 4.2,
может быть сформулирован следующим образом.
1.	Буквы алфавита источника располагаются в порядке убывания (возрас-
тания) их априорных вероятностей.
122
2.	Связываются вместе две наименее вероятных буквы (в рассматриваемом
случае #4 и я5). При этом устанавливается, что последним символом кодового
слова f («4) является 0, а последним символом кодового слова /(^) является 1.
3.	Наименее вероятные символы (й4и ч) редуцируются в символ ^4, ве-
роятность которого равна суммарной вероятности р(^) = Р^Рь) + P^as) -
4.	В полученном редуцированном ансамбле А' =	произво-
дится определение двух наименее вероятных букв (в данном случае и я').
Последнему символу кодового слова /(а3) присваивается значение 0, а предпо-
следним символам кодовых слов, относящихся к /(а4), — значение 1.
5.	Символы «з и а\ группируются в символ я3" нового редуцированного
ансамбля Aff = (#1, #2 > а3) ? в котором снова определяются 2 наименее вероятно-
стных символа (в рассматриваемом примере это и ).
6.	Символы (?1 и (72 связываются вместе (при этом последнему разряду ко-
дового слова /(ц) присваивается 0, а кодовому слову /(а2) — 1) и группиру-
ются в символ а™ редуцированного ансамбля Aw = (af, а3).
7.	Символы конечного редуцированного ансамбля связываются вместе в
конечный узел. При этом первым разрядам кодовых слов, которые относятся к
Н	ч	fff
а3 , присваивается 1, а первым разрядам кодовых слов, относящихся к ах , при-
сваивается 0.
Из рис. 4.2 видно, что алгоритм кодирования представляет собой кодовое
дерево, где кодовые слова читаются справа налево. Нетрудно заметить, что ес-
ли метод Шеннона—Фано предполагает последовательное разделение множест-
ва букв алфавита на подмножества, то метод Хаффмана, наоборот, заключается
в последовательном укрупнении подмножеств путем формирования на каждом
этапе новых редуцированных ансамблей (алфавитов). При т2> 2 методу
Хаффмана свойственна проблема, связанная с неопределенностью числа сооб-
123
щений Nr ? которое необходимо группировать на начальном этапе. Эта пробле-
ма решается путем использования выражения Nr =2 + (w?1 -2)Qm, где Qm —
остаток от деления - 2) на (w2 “ 2) .
Пример. Алгоритм оптимального кодирования по Хаффману при
—3 приведен на рис. 4.3. Число сообщений, группируемых на начальном
этапе, в данном случае определяется как Nг=2+0(6-2)=2.
Нетрудно заметить, что кодирование, рассмотренное в примерах, будет оп-
тимальным при выполнении следующих условий.
Условие 4.1. Кодирование любого заданного источника U будет оптималь-
ным, если и?2 наименее вероятных кодовых слова имеют одну и ту же длину и
отличаются лишь последним символом.
Доказательство. Пусть задан некоторый источник U с лексикографиче-
ским упорядоченным алфавитом А = (av..am) таким, что
р(а,) > р(а2) >... > р(ял; |) > р(а/). В общем случае префиксное кодирование
такого источника двоичным кодом f приводит к следующему соотношению
длин кодовых слов f t) \ ni <ni	< nmi . Если источник U является ис-
точником без памяти, то избыточность такого кодирования определяется как
(4.3)
R(f,U) = £x«>f-H[U].
j=l
Предположим, что среди множества кодов f имеется код f 0, у которого
два наименее вероятных кодовых слова	и ./о(яОТ1) имеют одинаковые
длины и отличаются только последним символом, тогда
^-1	(44)
R(f0>u) =	+р(«ч )«„,-! -н(и).
i=l
Вычитая из (4.3) выражение (4.4), получим
A(f,f0) = R(f,U)-R(f0,U) -	.
124
Так как по определению ^М] то A(f,fo)>O. Отсюда следует, что
кодирование кодом f0 обеспечивает наименьшую избыточность
R(f0,U) < R(f,U) , т. е. является оптимальным.
Условие 4,2, Если некоторый префиксный код fG является оптимальным
для редуцированного ансамбля U , то соответствующий ему префиксный код
f0 для исходного (редуцируемого) ансамбля U также является оптимальным.
Доказательство, Средняя длина кодовых слов п при оптимальном коди-
ровании f0 источника U с учётом условия 4.1 может быть предоставлена как
П = ^р(а,)п, =	+ р(а^)п^ + р(а^ )пт =
;=1	i=l
»1-2	(4.5)
= £	+[/’(ami-i) + P(ami)] .
Z=1
Второе слагаемое в (4.5) можно рассматривать как последнее слагаемое
суммы, определяющей среднюю длину п кодовых слов при кодировании ан-
самбля U', полученного путем объединения наименее вероятных букв алфавита
ансамбля U в редуцированную букву	при М — т}—\ с
Р (а'м) = Xami_i) + Р(ат)-
“' V / ' _ /	' \	<4-6)
П = 2_p(ai)n> +	+ р(ам)пм
;=1
Согласно условию 4.1 при пмч = пм и при отличии кодовых слов
fr(aM-i) и	только последними символами, что всегда осуществимо на
основании (4.5) и (4.6), кодирование f' редуцированного ансамбля U' будет оп-
тимальным. Что и требовалось доказать.
125
4.2.	Блочное кодирование
Блочное эффективное кодирование относится в основном к BV-типу коди-
рования, ставящему в соответствие конечным последовательностям постоянной
длины L букв алфавита источника (словам) конечные двоичные кодовые после-
довательности (кодовые слова) произвольной длины.
Кодирование f называется L-блочным, если его можно представить как
инъективное отображение
f :UL
где UL —множество конечных последовательностей и. =(ып?...,м^) постоянной
*
длины L букв алфавита источника, иу е А(а\...а^ ); X — множество конеч-
ных двоичных кодовых последовательностей /(u/) = x/ = (xin...xin ) произволь-
ной длины п}.
Примечание. Если кодируемое сообщение не разделяется на целое число
блоков длиной Z, то его дополняют произвольным образом и при кодировании
указывают число добавленных букв.
Блочное кодирование f называется префиксным, если для любых двух
слов Ч , и. е U одинаковой длины f (u<) не является префиксом /(и,).
Теорема 4.1. Теорема Шеннона для блочного кодирования дискретных
источников. Для каждого стационарного источника U с алфавитом
А=(ар..яц) может быть найдено блочное префиксное кодирование f , обла-
дающее сколь угодно малой не отрицательной избыточностью R£(f,U£) > 0.
Доказательство. На основании выражений (3.19) и (3.20) избыточность
двоичного блочного префиксного кодирования определяется как
R£(f,U£)=y % />(«>,-Н£(Ц)=й-Н£(Ц),	(4’7)
Щ eUL
где п —среднее число символов кодовой последовательности ./(и, ) на букву
источника.
126
Из теоремы для кодирования источников с памятью следует, что
1	(4.8)
Hl[U]<h<Hl[U]+—
Переписав первое неравенство (4.8) в виде л-НЛ[и]>0, с учётом (4.7) по-
лучаем R£(f,Uz)^0. Таким образом, избыточность кодирования f — всегда не
отрицательная величина. Аналогично, представив второе неравенство (4.8) как
1
п ~ НL[U] < -— с учётом (4.7) получим
Ху
К£(£,иЛ)<|.	(4'9)
Ху
Из (4.9) следует, что, выбирая L сколь угодно большим, можно найти ко-
дирование f> обладающее сколько угодно малой избыточностью, что и требо-
валось доказать.
Выражение (4.9) показывает, что блочное префиксное кодирование может
достаточно эффективно применяться для сжатия информации источника, если
её разделять на блоки с достаточно большим числом букв. Произведя доопре-
деление Z-блочного кодирования в виде
/(и,) = Лч, -Чю) = /(Ч, )/(Ч, )-/(Ч,),
можно прийти к выводу, что побуквенное кодирование является частным слу-
чаем блочного кодирования. Отсюда следует, что рассмотренные ранее методы
сжатия на основе побуквенного кодирования применимы и для блочного коди-
рования. Отличие в данном случае будет заключаться только в том, что в роли
отдельных букв должны выступать последовательности букв источника, обла-
дающие постоянной длиной.
4.3.	Неблочное кодирование
Кодирование последовательностей букв (слов) источника, обладающих пе-
ременной длиной, называется неблочным кодированием. К нему относится ко-
дирование типа VB, отображающее слова различной длины в кодовые слова
127
одинаковой длины, и кодирование типа W, ставящее в соответствие словам
переменной длины кодовые слова переменной длины.
Неблочное кодирование f типа VB можно представить как инъективное
отображение
f:U*—>Х"
где U — множество конечных последовательностей uy =	букв ис-
точника А - (ах...ат ) ? 1 < j < Nl9 Nl — число подмножеств U L19 объеди-
няющих слова одинаковой длины L, ; X
множество конечных двоичных
кодовых комбинаций постоянной длины и.
Неблочное кодирование f типа W представляется как инъективное ото-
бражение
*->Х*,
*
где U — множество конечных последовательностей источника u у произволь-
*
ной длины, а X — множество конечных кодовых последовательностей х /у.
произвольной длины, составляющие кодовый словарь.
Необходимо отметить, что теоретическое описание вопросов применения
неблочного кодирования для сжатия информации представляет достаточно
сложную математическую задачу. По-видимому, именно эта сложность во мно-
гом является причиной того, что известные попытки решения данной задачи
представляют собой достаточно сложные математические построения, трудно-
применимые к теоретическому обоснованию уже существующих практических
решений. Стремление получить строгое математическое решение достаточно
сложной задачи приводит к оригинальным (а иногда и гениальным) теоретиче-
ским результатам, часто понятным только математикам и весьма далеким от
практических приложений. Здесь наглядно проявляется свойственная для тео-
рии информации в целом проблема недостаточной взаимосвязи теоретических
128
исследований с практикой. Как уже отмечалось, ее решение требует определен-
ных потерь в точности, обусловленных требованиями практической реализа-
ции. Попытаемся с этих позиций дать общее теоретическое обоснование мето-
дов сжатия, основанных на неблочном кодировании.
Теорема 4,2. Теорема Шеннона для неблочного кодирования дискретных
источников. Для каждого стационарного источника U может быть найдено не-
блочное кодирование f, обладающее неотрицательной избыточностью, меньшей
сколько угодно малой величины 5 , т. е. R(f, U) < 6, при R(f, U) > 0.
Доказательство. Считая, что кодирование f является двоичным и пре-
фиксным, воспользуемся теоремой 3.7 для кодирования стационарных источ-
ников, приведя (3.17) к виду
H„[U]<«<HJU]+5,	(4-Ю)
где и — среднее количество кодовых символов, приходящихся на букву ис-
точника.
Вычитая из каждой части неравенств (4.10) энтропию	получаем
0<й-нДи]<5 . Откуда с учетом (2.20) окончательно имеем 0<R(f,U)<5,
что и требовалось доказать.
Как видим из доказательства теоремы 4.2, оно справедливо при условии
префиксного кодирования. Вполне понятно, что это ни в коей мере не влияет на
общность самой теоремы, так как известно, что любой однозначно декодируе-
мый код может быть приведен к виду префиксного. Однако для кодирования
типа VB остается неясным вопрос: как обеспечить выполнение данного условия
при ограничениях на выбор кода, связанных с необходимостью равномерного
кодирования?
Следствие 4.1. Минимальная избыточность R0(f, О) при кодировании
f типа VB стационарного источника U возможна, если кодовые слова будут
взаимонезависимы и равновероятны.
129
Доказательство. Запишем выражение для избыточности VB кодирования
f в виде
R(f, U)=£7- ЁАц )« -н„ [U]=«S-W' )-H[U]=«4-H[U]
(4.11)
где U3 — множество слов источника длиной L, ; N. — число слов в множестве
U/y ; NL — общее число длин L 7 ? используемых при формировании слов ис-
точника (0<У<#£); ft —длина кодовых последовательностей; L—средняя
длина слов источника.
Из (4.11) следует, что минимальная избыточность R0(f,U) при кодиро-
вании типа VB может быть достигнута при обеспечении L = L* ? с учетом огра-
И
ничения — >11^115]. Таким образом, задача определения условий обеспечения
L
R 0 (f, U) сводится к задаче определения , Для этого воспользуемся
следующим представлением кодирования типа VB. Процесс кодирования в
данном случае можно рассматривать как отображение двоичных кодовых по-
следовательностей х^ постоянной длины п в словах и, переменной длины Д ?
составленных из букв алфавита источника А=(ар..яц). Согласно теореме 3.2,
это отображение будет префиксное, если для последовательности чисел
,L2 ... £N выполняется неравенство
Тогда, принимая во внимание (3.15), можем записать
L < -logp(x,) ! ,
(4.12)
log И?!
Для средней длины слов источника из (4.12) получаем
130
(4.13)
log m}
где H(X") —энтропия ансамбля X” = (xpx2,...xN ) кодовых слов постоянной
длины п .
Неравенство (4.12) определяет верхнюю границу изменения L. Макси-
мального значения эта граница достигает при условии Н[Х“] =Нюах[Х“] ? что со-
ответствует равновероятности и взаимозависимости кодовых слов * j. При этом
HraK[X"] = log2?4=log22'-=w.
Отсюда следует правомочность следующей последовательности утвержде-
ний: если Н[Х"]-> Нтах[Х”] , то L £тах, тогда R(f, U) —► Rq (f, U). Если не
учитывать промежуточное звено, то окончательно имеем: R(f,U) стремится к
R0(f,U), если Н[Х”] стремится к Нтах[Х"]? т. е. все кодовые слова ансамбля
X” будут равновероятны и взаимозависимы. Что и требовалось доказать.
Приведенное доказательство во многом объясняет стратегию применения
кодирования типа VB для сжатия информации. Основу этой стратегии состав-
ляет представление процесса кодирования в виде кодового дерева. Источник
U' с алфавитом А = (^...дц) в данном случае задается в виде некоторого ко-
дового дерева А, каждая вершина которого (узел), начиная от основания имеет
к ветвей («сыновей»), определяющих дальнейшее движение по дереву и соот-
ветствующих буквам алфавита А = (аг.. .ат). При этом концевые вершины (уз-
лы) дерева А («листья») отождествляются со словами источника Ч, каждому
из которых в соответствии с правилом кодирования f присваивается значение
кодового слова хг- равномерной длины. Таким образом, последовательность
букв каждого слова источника можно рассматривать, как правило восхождения
(«путь») от основания дерева к его концевой вершине («листу»). Вероятность
листовой вершины будет определять вероятность соответствующего ей кодово-
131
го слова /?(и/) = />(хг), а множество листовых вершин — число Nx кодовых
слов. С учетом этого часто используют понятие средней высоты дерева <^А,
которое определяют как cZi=^L'-p(x/), где V — длина слова ? соответст-
вующего х,. Данное понятие может быть применено для определения из (4.13)
ограничения, накладываемого на выбор длины п кодовых комбинаций х..
Учитывая, что	[Xn ] = log2 = log2 2" = п и	= 1 ? получаем
H>(<4-l)log2^i.
(4.14)
Выражение (4.14) позволяет получить правило выбора длины п кодовых
комбинаций х, при кодировании типа VB источника U с алфавитом
А = (а,-
П=
(4.15)
где х означает наименьшее целое, большее х.
Выражения (4.14) и (4.15) могут использоваться для проверки правильно-
сти кодирования.
4.3.1.	Метод Ходака
Метод основан на применении одноименного кода, предложенного в 1969
году Г.Л. Ходаком.
Алгоритм кодирования предусматривает следующую последовательность
действий:
1.	Задается целое число и>0, определяющее длину кодовых слов, представ-
ляющих слова стационарного источника U, подвергающегося кодированию.
2.	Строится начальное дерево Г|, листьями которого являются буквы ал-
фавита А = («г..ат ) источника.
132
3.	Лист дерева Г\, имеющий наибольшую вероятность, представляется в
виде узла (вершины) с листьями дерева Г2, которое индуцируется из Гр Иначе
говоря, дерево Г2 формируется из дерева Г| путем добавления к наиболее ве-
роятной концевой вершине последнего «ветки» с листьями Г2.
4.	Определяется лист дерева Г2, имеющий наибольшую вероятность, и ин-
дуцируется Г3 дерева Г3.
5.	Процедура п.4 повторяется до тех пор, пока число листов индуцирован-
ных деревьев Гг- не превысит 2”.
6.	Последнее индуцированное дерево Гг-, при i = k, еще удовлетворяющее
условию п.5, считается искомым fc-ичным деревом А кода Ходака.
7.	Всем листьям полученного дерева А приписываются двоичные кодовые
слова длиной п.
Пример. Произведем кодирование методом Ходака источника Бернулли с
алфавитом A = (aja2) и вероятностями букв p(&i)=0,4, р(а2)=0,6 при заданной
длине кодовых слов п=3. Для этого, применив приведенный выше алгоритм,
построим кодовое дерево (рис. 4.4) таким образом, что буква будет соответ-
ствовать левому направлению движения к вершине дерева, а буква а2 — пра-
вому. Рядом с киаждой вершиной (узлом) будем указывать ее вероятность.
Проверим выполнение условия (4.14), определив среднюю высоту дерева:
8
<4	=2jL'/>(xj.) = 3,056 . Откуда получаем п > 2,056 . Условие выполняется, а
/-1
требуемая длина кодовых слов для дерева рис. 4.4, определяемая как
п= 3,056-1 = 2,056 =3,
соответствует заданной. Окончательно получаем
следующий код: /(^i)-000,	- 001,
/(a1a2cz1) = 010,
7(<Wi) = 011, f(a2axa2) = 100,
У^(^2^1^2) 101,	f\p2Q2Q2(l^) 110,
/(a2a2a2a2) = lll.
133
Избыточность f кодирования Ходака для источника Бернулли с алфавитом
(ар.-ац) и p(ak)= niin/?(a.) >0 может быть определена как
R(f,U) = C(f,U)-H(U)=-J-^
dA ,=i
rLXx,)logp(x,.) =
A Z=1
(4.16)
V	и
£ /7(xz)log(p(xz)2
-log—
л рМ
д
Неравенство в (4.16) получено путем применения всегда выполнимого для
f кодирования Ходака условия 2"/?(х.) < —- - ? где 1 < i < Nx .
P\ak)
4.3.2.	Методы арифметического кодирования
В основе идеи арифметического кодирования лежат два свойства, харак-
терные для всех дискретных источников U с алфавитами А =	:
Свойство 1. О < p(ai) < 1.

134
Из свойства 1 видно, что диапазон возможных значений РхР}) может быть
задан в виде полуинтервала [0,1). Свойство 2 подсказывает, что этот полуин-
тервал может быть разбит на непересекающиеся области, каждая из которых
соответствует вполне конкретной букве алфавита. С этих позиций задача коди-
рования источника может быть сведена к задаче квантования по уровням полу-
интервала [0,1) возможных значений вероятностей букв источника (рис. 4.5).
0	₽(<»,)	Р(а2)	p(at)	р(Лжь) 1
I	I	 — — —  т~ — — — I I
лсо	Л(А-1) AtM	At*,)
Рис. 4.5. Квантование полуинтервала возможных значений вероятностей
букв источника при арифметическом кодировании
Как известно, основными параметрами квантования являются пороги, шаг
и уровни квантования. В рассматриваемом случае пороги квантования п
будут определяться как h(k) = kp(ak), где к — целое число, соответствующее
позиции буквы а к в алфавите А и принимающее значения 0 < к < тх. Исходя
из этого, выражение для шага квантования принимает следующий вид:
Д'*1	=^(ot)-(i-l)p(at_,) = p(at_,) + *(p(at)-p(a,_,)).	(4.17)
Так как буквы алфавита реального источника всегда неравно вероятны, то
из (4.17) следует, что квантование будет неравномерным. Это подчеркивает це-
лесообразность установления лексикографического порядка над буквами алфа-
вита А, т. е.
Р(а^> р(аг)> ...> р(ат).
Выбор уровней квантования s® и соответствующих им кодовых слов х
определяется заданной стратегией квантования. Внушительный опыт решения
задач данного класса показывает, что наилучшие результаты могут быть дос-
тигнуты при изменяющихся во времени параметрах квантования. Взгляд на
процесс кодирования источника с предложенных позиций открывает широкие
135
возможности для разработки новых методов эффективного кодирования путем
применения известного математического аппарата теории цифровой обработки
непрерывных сообщений и сигналов. В случае подхода, предложенного авто-
рами методов арифметического кодирования, на это применение, как уже было
замечено, должны накладываться ограничения, следующие из необходимости
переменного квантования и целесообразности лексикографического упорядо-
чения алфавита источника. Это порождает проблему возможного нарушения
установленного лексикографического порядка при изменении параметров кван-
тования полуинтервала [0,1). Решение этой проблемы при арифметическом ко-
дировании достигается путем последовательного переменного масштабирова-
ния исходного полуинтервала [0,1). При этом параметры масштабирования из-
меняются при поступлении очередной буквы щ источника и однозначно опре-
деляются этой буквой. Так как арифметическое кодирование предусматривает
преобразование слов источника в кодовые слова хг-, количество	из-
менений масштаба соответствует длине слова и.. То есть масштабирование
проводится в пределах каждого слова источника, начинаясь при поступлении
его первой буквы и оканчиваясь после поступления последней. Это позволяет
ограничить очевидное возрастание практической сложности вычислений при
увеличении . Однако при больших длинах слов источника эта сложность
все же будет возрастать значительно, что является недостатком методов ариф-
метического кодирования и объясняет их неприменимость при побуквенном
кодировании. Кроме того, очевиден еще один недостаток, состоящий в необхо-
димости введения специальных символов (процедур), определяющих начало и
конец масштабирования.
Взгляд на арифметическое кодирование с предложенных позиций выявляет
проблему, состоящую в практическом отсутствии прикладной направленности
постановок задач теоретических исследований в области арифметического ко-
дирования. Это приводит к известной поляризации работ в данной области на
136
работы, имеющие ярко выраженный теоретический характер, и работы пре-
имущественно прикладного назначения. Причем теоретические работы пред-
ставляют в основном довольно сложные решения чисто математических задач,
понятные сравнительно узкому кругу специалистов и определенно далекие от
практики. Примером этого является то, что практически все теоретически зна-
чимые точные решения здесь получены для источников без памяти с довольно
сомнительными перспективами обобщения на случай реальных источников,
обладающих памятью. Вообще складывается впечатление, что математики не
вполне успешно пытаются теоретически обосновать уже готовые практические
решения, не заботясь о том, чтобы их обоснование было понятным для изобре-
тателей этих решений. Именно этим, по-видимому, объясняется фактическое
отсутствие в основной массе работ, связанных с практическими приложениями
арифметического кодирования, сколько-нибудь серьезного теоретического
обоснования его методов. Отмеченная проблема до своего разрешения требует
осторожного и взвешенного подхода к изучению методов арифметического ко-
дирования. Поэтому в дальнейшем мы ограничимся только рядом примеров,
позволяющих понять реализацию рассмотренных ранее теоретических принци-
пов арифметического кодирования.
Пример. Имеется источник без памяти U, формирующий слова произ-
вольной длины из букв некоторого алфавита А = (а1,а2,а3,а4,а5,!) с вероятно-
стями: р(ах) = 0,2,	- 0,3, Ааз)=Ха4)=Ха5)=Х0=ОД. Здесь знаком (!)
обозначен специальный символ, используемый для разделения слов, форми-
руемых источником.
Произведем арифметическое кодирование слова ui = (г/;1,м.2,г/.3,и.4,г/.5) ? где
w.i =«2, ui2 = «1, ui3 = а, ? w.4 = а3 ? ui5=l. Для этого в соответствии с вероят-
ностной мерой ансамбля U источника разобьем полуинтервал [0,1) на области
квантования, соответствующие вероятностям букв алфавита А (рис. 4.6).
137
p(e2) pM pM pM Pty
II	I	I	I	I	I
0	0.2	0.5 0.6	0.8 0.9	1
Рис. 4.6. Разбиение полуинтервала вероятностей букв источника на
области квантования
При кодировании после поступления = а2 исходный полуинтервал
[О, 1) сужается до полуинтервала [0,2, 0,5), соответствующего области кванто-
вания для символа а2, Поступление второй буквы слова ui2 = ai сузит полуин-
тервал [0,2, 0,5) до его первой пятой части, поскольку область квантования
[0, 0,2), соответствующая ? составляет первую пятую часть исходного полу-
интервала [0, 1). В результате получаем рабочий полуинтервал [0,2, 0,26), соот-
ветствующий второму изменению масштабирования. Ширина этого полуинтер-
вала равна 0,06, так как ширина предыдущего рабочего полуинтервала равня-
лась 0,3 и одна пятая от нее есть 0,06.
Следующей букве слова w/3 = аз соответствует исходная область кванто-
вания заданного полуинтервала [0,5, 0,6). С учетом этого производится мас-
штабирование полуинтервала [0,2, 0,26), в результате чего получаем следую-
щий рабочий полуинтервал [0,23, 0,236). И так далее, до поступления символа
= !, по которому фиксируется результирующий полуинтервал кодирования.
Полуинтервал [0,23354, 0,2336) будет являться результатом кодирования
слова . При декодировании его сравнение с исходным интервалом рис. 4.6
показывает, что он находится в области квантования, соответствующей симво-
лу я
Таким образом, принимается решение, что первой буквой в декодирован-
ном слове будет буква а2. На основании этого производится масштабирование
исходного полуинтервала в полуинтервал [0,2, 0,5) и опять проверяется, в ка-
кую масштабированную область квантования попадает полуинтервал [0,23354,
138
0,2336). Сравнение показывает, что он находится в масштабированной области
[0,2, 0,26), соответствующей букве а<. Продолжая аналогичную последова-
тельность действий, можно декодировать исходное слово u- = (a^^,^,^,!).
Наглядно процедура изменения масштаба при кодировании слова иг- пред-
ставлена на рис. 4.7.
Номер этапа шсшгабнроаанш	Буква	Алгоритм масштабирования
0		(0.1)
1	аэ	(02,0.5)
2		(02,0.26)
3	<з3	(023,0.236)
4	4) j	(0.233,0.2336)
5	!	[023354,0.2336)
02
0.23
0,233^ 0.2335
р(«2)
Рис. 4.7. Изменение масштаба при арифметическом кодировании
Нетрудно заметить, что для декодирования слова в рассматриваемом
случае нет необходимости знать обе границы результирующего полуинтервала.
Для однозначного декодирования достаточно знания значения любой точки
s,- , лежащей внутри данного полуинтервала, например =0,23357. В этом
можно убедиться, если произвести процедуру декодирования, приведенную
выше, применив вместо значений границ результирующего полуинтервала
[0,23354, 0,2336) значение =0,23357.
Кроме того, из рассмотренного примера следует, что лексикографический
порядок алфавита А не является обязательным условием применения арифме-
тического кодирования. Однако он, как и выбор ? может значительно опти-
мизировать процедуру вычислений. Это особенно важно, учитывая то, что при
арифметическом кодировании сложность вычислений с увеличением длины
139
слов должна существенно возрастать. В приведенном примере количество ин-
формации в и может быть определено как
j[u.] = -lg0,3-lg0,2-lg0,l-lg0,l-lg0,l = -1g 0,00006» 4,22.
Здесь используются логарифмы по основанию 10, так как кодирование вы-
полнялось для десятичных чисел. Из полученного результата следует, что для
кодирования слова Ч требуется 5 десятичных чисел. Если установить про-
стейший лексикографический порядок вида р(а{) = 0.3 ? р(Т) = 0.2 ? р(а\) = 0.2 ?
р(а\) = 0.15 ? р(Х) = 0.1 ? р(аг5) = 0.05 и рассматривать слово u	, то
количество информации в нем будет равно
ЛЧ] = -lg0,3-lg0,2-1g 0,15 — 1g 0,15 — 1g 0,2 = -IgO,00027 » 3,56.
Видно, что даже установление простого лексикографического порядка по-
зволяет уменьшить количество требуемых для представления и. десятичных
чисел до четырех. Установление более сложных лексикографических порядков
обеспечивает еще больший выигрыш.
4.4.	Универсальное кодирование
Универсальным кодированием принято считать кодирование неопреде-
ленного источника U, относящегося к некоторому множеству S источников,
имеющих одинаковый алфавит А =	).
Избыточность универсального кодирования f на множестве источников
S обычно определяют как
R(f, S) = sup Rn (f, U) = lim sup Rn (f, U).
UeS
Оптимальным универсальным кодированием на множестве S называется
префиксное кодирование fo, если для всех целых /?>0 и произвольного префикс-
ного кода f верно неравенство Rn(f0,S) < Rn(f,S). Высокая эффективность, ко-
торую обеспечивает универсальное кодирование при решении задач сжатия
140
информации, во многом объясняет повышенный интерес к его теоретическому
обоснованию, проявляющийся в последнее время. Однако известные решения
задач данного класса пока представляют собой довольно сложные математиче-
ские построения даже для простейшего представления источника в виде источ-
ника без памяти.
4.4.1.	Методы интервального кодирования
Методы интервального кодирования применяются при кодировании ис-
точников с большим алфавитом или с часто повторяющимися сериями одина-
ковых букв. Основу данной группы методов составляет принцип интервально-
го кодирования, состоящий в представлении каждой буквы исходной последо-
вательности букв, формируемой источником, в виде числа, соответствующего
интервалу до предыдущего появления этой буквы. Так, при интервальном ко-
дировании f последовательности и. = (ма.. .utj.. .uiLi) источника U с алфавитом
А = (ах...ат) алгоритм формирования символов кодового слова
= (х/г • Л/• •	) будет определяться выражением
**	i
х„ =(j-k + V), j>k, L^n,,
(4.18)
где (/ - к) — число, соответствующее величине интервала к < 1 < j 9 в пределах
которого ии * иу и ui{ = иу,
Пример. Произведем интервальное кодирование слова u, = (wn...«rt0), пред-
ставляющего последовательность букв источника (а^а^а^а^а^). Тогда в
соответствии с (4.18) преобразование и. в х; можно представить как
{axa2a3)a3a3a3a2a2a2axaxaxa3 _> (...)0004008006.
(4.19)
Из примера следует, что для устранения неопределенности при кодирова-
нии первого появления букв в слове необходимо в начало каждой кодируемой
последовательности источника добавлять список букв алфавита. В (4.19) этот
список представляют буквы, заключенные в скобки.
141
Метод «стопки книг». Особенностью метода является то, что вместо чис-
ла всех букв между двумя одинаковыми указывается число различных букв
между ними. Таким образом, кодирование f слова Ц , приведенного в (4.19),
может быть представлено как
(ala2a3)a3a3a3a2a2a2alalala3 (,..)0001002002.	(4.20)
Метод IFC. Заключается в том, что буква в исходном слове заменяется
числом букв и большими номерами, разделяющими первое текущее и преды-
дущее включение кодируемой буквы. В данном случае кодирование f последо-
вательности иг в (4.20) представляется в следующем виде:
(а,ал)алалала,ала, (...) 0004448880.	<4'21’
Кодовое слово в (4.21) может рассматриваться как совокупность последо-
вательностей трех видов: последовательностей, состоящих из одних 0, соответ-
ствующих букве а3; из 4 — букве ; из 8 — букве . Это позволяет произ-
водить декодирование последовательно по буквам алфавита, начиная с первой
и оставляя для других букв соответствующее количество пустых мест. Переход
к двоичному алфавиту кодовых слов осуществляется путем двоичного пре-
фиксного кодирования десятичных чисел, соответствующих буквам. Примене-
ние префиксного кода позволяет существенно снизить избыточность интер-
вального кодирования в целом, что, как известно, особенно важно при решении
задач сжатия информации источника.
4.4.2.	Словарные методы кодирования. Методы Лемпела-Зива
В 1977 году А. Лемпелом и Я. Зивом (Lempel A., Ziv J.) была предложена
идея кодирования, состоящая в следующем: если в тексте сообщения появляет-
ся последовательность из двух и более ранее уже встречавшихся букв, то эта
последовательность (фраза) объявляется новой буквой и для нее назначается
код. Эта идея развивала идею Хаффмана, заключающуюся в последовательном
редуцировании алфавита источника при оптимальном кодировании, на кодовые
142
словари. В данном случае кодирование последовательности букв источника
предусматривало как редуцирование его алфавита, так и адаптивное редуциро-
вание кодового словаря. Не случайно семейство методов, реализующих эту
идею, наряду с их основным названием (методы Лемпела—Зива или LZ мето-
ды), часто определяют, как словарные методы кодирования. Сущность этих
методов состоит в том, что фразы в сжимаемом тексте заменяются указателем
на то место, где они в этом тексте уже ранее появлялись. Одной из форм такого
указателя есть пара (k, Z), которая заменяет фразу из I символов, начинающуюся
со смещения к во входном информационном потоке. При декодировании про-
исходит простая замена указателя готовой фразой из словаря, на которую тот
указывает.
Выдвинув идею кодирования, А. Лемпел и Я. Зив в 1977 и в 1978 годах
предложили два варианта ее реализации в виде методов LZ77 и LZ78. В после-
дующем это определило два направления дальнейшего развития словарных ме-
тодов кодирования и их разделение на две группы.
Методы первой группы, находя в кодируемой последовательности цепочки
символов, которые ранее уже встречались, вместо того, чтобы повторять эти
цепочки, заменяют их указателями на предыдущие повторения. Словарь в этой
группе методов содержится в обрабатываемых данных в неявном виде, сохра-
няются лишь указатели на встречающиеся цепочки повторяющихся символов.
Фундаментальную основу данной группы методов составляет метод LZ77.
Наиболее совершенным представителем этой группы, включившим в себя все
достижения, полученные в данном направлении, является метод LZSS, опубли-
кованный в 1982 году Сторером и Шимански (Storer J.A., Szymanski T.G.).
Методы второй группы в дополнение к исходному словарю источника соз-
дают словарь фраз, представляющих собой повторяющиеся комбинации симво-
лов исходного словаря, встречающиеся во входных данных. При этом размер
словаря источника возрастает, и для его кодирования требуется большее число
символов, однако значительная часть этого словаря будет представлять собой
уже не отдельные буквы, а буквосочетания или целые слова. Когда при кодиро-
143
вании обнаруживается фраза, которая ранее уже встречалась, она заменяется ее
индексом в словаре, содержащим эту фразу. При этом длина кода индекса по-
лучается меньше или намного меньше длины кода фразы. Фундаментальную
основу данной группы методов составляет метод LZ78. Наиболее совершенным
на данный момент представителем этой группы словарных методов является
метод LZW (Letnpel — Ziv — Welch), разработанный в 1984 году Терри Вэлчем
(Terry A. Welch).
Метод LZ77. Метод состоит в разделении кодируемого слова
относящегося к множеству U£ слов (u; е U7 ) ? формируемых ис-
точником с алфавитом А-(аг..а^) ? на подслова Тупо следующему правилу.
Пусть начало и. уже разделено на подслова, т. е. и. = (у1,у2...у ,м./ ...мЙ). Обо-
Г
значим через и/ часть слова , начинающуюся его I -й буквой и заканчиваю-
щуюся г -й, т. е.	. Выберем следующее подслово Yy+i = и/, как
наиболее длинное начало остатка = (ии.. .и&) ? которое уже встречалось в
и^1 = (ии..м^ ). Таким образом при
7,.,=»;= и:;"14.	<4'и>
Кодом каждого поде лова Y; я будет пара чисел (пу, Гу -1у +1).
Пример. Произведем кодирование слова u.	формируемого из
букв алфавита А = (^2), где	= ич =	= аг,
Щ = uiA = ui, = Ч, = ui, = а\. Исходя из рассмотренного правила, кодирование
будем производить в следующем порядке:
1. Разделим последовательность букв, составляющих слова иг., на под слова
Yy:
7	(^2)(Ц^2)(Ц)(^1^2^1)(^2^1^2) ?
Jp
144
где (a2) = Yi,	(ai) = тз > («АА) = Т4, (a2«i«2) = Y5, f,— операция
редуцирования.
2. В соответствии с (4.22) произведем кодирование последовательности
подслов у у:
Y1Y2Y3Y4Y5 ~>(2,1)(1,2)(1,1)(4,3)(3,3).
Л
Таким образом, операция кодирования f слова и; по методу LZ77 оконча-
тельно может быть представлена в виде
(ala2)a2ala2a1ala2a1a2a1a2 -> (1,2)(1,1)(4,3)(3,3).
f
При двоичном алфавите кодового словаря к этапам кодирования f, рас-
смотренным в примере, добавляется еще один этап, состоящий в двоичном
представлении каждой пары чисел кода Y- . При этом первое число в каждой
паре целесообразно записывать в двоичном виде с использованием ровно
+ бит, второе можно кодировать произвольным префиксным кодом.
Метод LZ78. Метод отличается от рассмотренного выше тем, что на каж-
дом шаге выбирается наиболее длинное начало остатка ? которое совпадает с
некоторым уже выделенным под словом Yg, g < j', и к нему добавляется еще
одна буква, т. е.
Ъ+1 = ySaPj 	(4'23)
Кодом подслова уу+1 будет пара чисел
Пример, Произведем кодирование слова = (и.= (а1а1а1ахаха1аха2ах),
используя правило (4.23):
1) а,аа,а.аа,аа,а а^а.,а.а.,а.а,,а.а,а.а,.
jf	А	J. J.	J.	L _	At " л. *	£	± * A j* '* А jb* J.	"
JP
где (#2) Yi > (А) Y2. (л2А)— Y3 s (^А2) — Y4 j	) 7$ $
2)	->(0,2)(0,1)(1,1)(2,2)(4,1) .
J(T
145
Откуда окончательно получаем
a2ala2alala2ala2al (0,2)(0,1)(1,1)(2,2)(4,1).
/
Двоичное кодирование f по методу LZ7 8 определяется как последователь-
ность пар чисел	представленных в двоичном коде. При этом первое
число пары записывается в двоичном коде с использованием
< = ([log J J +1)
бит, а второе — с использованием d = (|_log т J +1) бит. Таким образом, если
и, - (Гр.-Г*), то кодирование по методу LZ78 определяется равенством
/(u,) = В* (gJB^PJB^ (g2)BJ(P2)...BJ (gk)Bd(Pt),
где (w) — двоичная запись числа n , использующая ровно d символов.
Например, А/(5)-0101. Тогда длина nt кодовой последовательности
х • = f (и/) будет определяться как
и. < £ (log j + log	+ 2) < fc(log k + log + 2).
1=1
Метод LZW. Отличается от LZ 78 тем, что на каждом шаге выбирается
Y-+1 так, чтобы Y. +i = Ygag+i, S < J , где ag+i — первая буква подслова. Таким
образом, ag+i непосредственно следует за Yg в слове Ц = uf. Кодом подслова
Y, +i будет число £ .
Пример. Произведем LZW кодирование f слова и . из предыдущего при-
мера:
1) {а2}(аА)аррррррррА -> архрр},ар:,ррр} ?
Теоретически установлено, что методы LZ77, LZ78 и LZW способны обес-
печить нулевую избыточность кодирования f для любого ограниченного мно-
жества S марковских источников, т. е. R(f,S) = 0. Это объясняет повышенный
146
интерес к словарным методам кодирования при решении задач сжатия инфор-
мации.
Кроме этого адаптивное к поступающей информации изменение кодового
словаря придает в данном случае хранимым и передаваемым сообщениям неко-
торую степень секретности. Во-первых, оно защищает их от случайного наблю-
дателя. Во-вторых, посредством удаления избыточности оно не дает возможно-
сти криптоаналитику установить присущий естественному языку статистиче-
ский порядок. В-третьих, что самое важное, модель сжатия действует как очень
большой ключ, без которого расшифровка невозможна. Применение адаптив-
ной модели означает, что ключ зависит от всего текста, переданного системе
кодирования/раскодиро вания во время ее инициализации. Также в качестве
ключа может быть использован некоторый префикс сжатых данных, опреде-
ляющий модель для дальнейшего декодирования. Однако, как будет показано
далее, ввиду статистической связи элементов таких ключей и их однозначной
зависимости от сообщения, эффективность защиты информации в данном слу-
чае будет достаточно низкой.
147
Глава 5
КОДИРОВАНИЕ НЕПРЕРЫВНЫХ ИСТОЧНИКОВ
В общем случае кодирование непрерывного источника информации состо-
ит в отображении формируемых им сообщений в последовательности кодовых
слов заданного кодового словаря. С позиций теории информации это означает
отображение реализаций непрерывного выборочного пространства ансамбля
источника в элементы дискретного выборочного пространства ансамбля задан-
ного кода, представляющие собой определенные последовательности букв или
цифр. Это отображение может сильно отличаться от простого отображения
аналог-цифра, которое обычно определяют, как цифровое представление. Его
функции и возможности гораздо разнообразнее и шире.
5.1.	Цифровое представление непрерывных сообщений
Основным и пока единственно известным методом цифрового представле-
ния непрерывных сообщений является метод импульсно-кодовой модуляции
(ИКМ). Термин “модуляция” в названии метода в известной мере может вво-
дить в заблуждение, учитывая, что изначально в этом методе не делается ника-
ких предположений относительно конкретной материальной формы сообще-
ний, т. е. сигналов.
Метод ИКМ представляет собой последовательность преобразований не-
прерывной информации, состоящую из дискретизации, квантования и кодиро-
вания при передаче, а также декодирования и восстановления непрерывных со-
общений при приеме. При этом не устанавливается ограничений на порядок
следования операций дискретизации и квантования. Последнее особенно важно
при решении целого ряда теоретических и практических задач, так как откры-
вает возможность двух равноценных видов представления импульсно-кодовой
модуляции непрерывных сообщений:
148
во-первых, в виде цепи преобразований: непрерывный случайный процесс
s(Z) — квантованный процесс (p{t)— цифровой процесс y(t) — последователь-
ности двоичных кодовых комбинаций (рис. 5.1);
во-вторых, в виде цепи преобразований: непрерывный случайный процесс
s(Z) — непрерывнозначная случайная последовательность отсчетов (выборок) sz-
— дискретная случайная последовательность квантованных отсчетов sz- f — ко-
довые последовательности х/*> (рис. 5.2).
в
Рис. 5.1. Первый вид преобразований при ИКМ
а	б	в	г
Рис. 5.2. Второй вид преобразований при ИКМ
149
Операции декодирования и восстановления непрерывного сообщения при
приеме обычно объединяют в алгоритм формирования оценки s*(/), который
реализуют в виде некоторого оценивающего фильтра, соответствующего опре-
деленному критерию оптимальности. Чаще всего в качестве такого критерия
используют критерий минимума среднего квадрата ошибки. При этом под
ошибкой подразумевается разность e(Z)=s(Z)-s*(Z), которую определяют как шум
цифрового представления.
5.1.1.	Дискретизация. Теорема дискретизации
Непрерывный случайный процесс s(Z) заменяется последовательностью не-
прерывнозначных случайных величин sz, следующих через интервалы времени
Т, называемые интервалом дискретизации. В случае постоянного интервала Т
дискретизация называется равномерной. Из используемых процедур дискрети-
зации наиболее распространена линейная дискретизация, при которой
s, = JZ(Os(O^-
В этой формуле S, — выборочные значения процесса s(Z); /(0 — весовая
функция выбора. На практике наиболее часто осуществляется точечный выбор,
при котором /(О представляет собой дельта-функцию:
Z(O = 6(zt-z).
В этом случае выборочные значения процесса представляют собой его от-
счеты s. = s(tj = s(iT).
Второй менее распространенной процедурой дискретизации является дис-
кретизация с интегрированием (с прямоугольной функцией выбора). В этом
случае функция выбора равна
Соответствующее ей выборочное значение
150
2
J s(t)dt.
т
Во всех случаях в процессе дискретизации должно выполняться условие,
следующее из теоремы дискретизации Котельникова
2F .
т
Видно, что частота выборок должна не менее чем в два раза превышать макси-
мальную частоту Fm спектра аналогового сообщения.
5.1.2.	Квантование
Диапазон возможных значений непрерывного процесса разбивается на L
областей квантования порогами квантования h® (Л=1, ... , L). Значения случай-
ного процесса (рис. 5.1,а) или дискретной последовательности (рис. 5.2,в) срав-
ниваются с порогами квантования и, если	или /г(от-|) <s(z)<#(w),
то формируется уровень квантования соответствующий данной области
квантования. В случае представления ИКМ в виде рис. 5.1 значение уровня
квантования поддерживается до следующего перехода s(t) в другую область
квантования. Таким образом, формируется квантованный процесс cp(t), значе-
ние которого в каждый момент времени соответствует одному из уровней кван-
тования (рис. 5.1,6). Дискретизация данного процесса во времени с постоянным
шагом Т приводит к образованию цифрового процесса y(t), (рис. 5.1,в). В слу-
чае представления ИКМ в виде рис. 5.2 квантование приводит к формированию
~	-	(к)
дискретной последовательности уровней квантования sz- , которую иногда на-
зывают цифровой последовательностью (рис. 5.2,в). Разность соседних поро-
гов квантования определяют как шаг квантования _ ^(*) _ о Квантова-
ние, при котором 5^ зависит от номера области квантования, называется не-
равномерным. Если шаг квантования является постоянным, то квантование на-
зывается равномерным.
151
5.1.3.	Кодирование
Основными кодами, применяемыми при цифровом представлении методом
ИКМ, являются натуральный двоичный код и код Грея.
Натуральный двоичный код. При использовании этого кода каждая ко-
довая последовательность х/^ (кодовое слово) представляет собой двоичную
запись номера области квантования £ = 1...L, соответствующего уровню кванто-
вания, без единицы. Если задан номер области квантования к, то соответст-
вующее кодовое слово х/®=(хц...Хт) может быть определено из равенства
х.,2''-1+ х22"“2+ ... + х2° =£ —1	(5.1)
+ J.	£	Л	X /
3
где ху g D = (0,1) .
Пример. Построим натуральный двоичный код для цифрового представле-
ния методом ИКМ при L=4 и L=8.
В соответствии с (5.1) представление номеров областей квантования про-
изводится в следующем виде:
L=4 (п = 2): 1 — (00); 2 — (01); 3 — (10); 4 — (11);
1=8 (п = 3): 1 — (000); 2 — (001); ... ; 5 — (100); 6 — (101); 7 — (110);
8 —(111).
Натуральный двоичный код является взвешенным в связи с тем, что, как
видно из (5.1), при его использовании для каждой двоичной позиции принима-
ется определенный “вес”.
Код Грея. Этот код характеризуется определенным порядком формирова-
ния кодового словаря, при котором соседние кодовые слова различаются толь-
ко одним битом. При этом устанавливается следующее правило формирования
кодовых слов:
1)	для построения кодовых слов длиной п записываются две последова-
тельности слов кода Грея, состоящие из кодовых слов длиной (п— 1);
2)	порядок кодовых слов во второй последовательности изменяется на об-
ратный;
152
3)	на старшие позиции кодовых слов первой последовательности приписы-
вается 0 , а второй — 1.
Пример. Построим код Грея для цифрового представления методом ИКМ
при L=8. В данном случае число двоичных символов в кодовых словах будет
равно п — l°g2 - 3 . Тогда, учитывая код Грея для и=2, имеем:
п=2:	00,	01,	11,	10;
L=8:	1	2	3	4	5	6	7	8
п=3:	ООО,	001,	011,	010,	ПО,	111,	101,	100
1-я последовательность 2-я последовательность
Таким образом, при цифровом представлении происходит преобразование
непрерывного ансамбля S источника в дискретный ансамбль X, выборочное
пространство которого представляет собой совокупность кодовых комбинаций
(к)
х. используемого кода, а вероятностная мера — совокупность вероятностей
этих кодовых комбинаций. Обычно эти вероятности задают в виде матриц, ко-
торые называются статистическими матрицами кода,
5.1.4.	Особенности цифрового представления
Ввиду однозначности х/® и \|/(Z) на полуинтервале , ti+i) можно считать,
что основными параметрами цифрового представления являются: период дис-
кретизации Т, пороги квантования и уровни квантования s/Ч Эти параметры
являются определяющими для цифрового процесса, соответствующего исход-
ному непрерывному сообщению. Иначе говоря, изменяя эти параметры, можно
менять вид цифрового процесса в соответствии с установленными критериями
оптимальности его дальнейшей обработки. Отсюда следует первая основная
особенность цифрового представления методом ИКМ: возможность адаптив-
ного изменения вида формируемого цифрового процесса в соответствии со
стратегией его дальнейшей обработки.
Оптимальная реализация данной возможности определяет следующие осо-
бенности выбора параметров дискретизации и квантования:
153
1.	Выбор уровней квантования определяется условиями формирования оп-
тимальной оценки s*(/) при восстановлении непрерывного сообщения. Поэто-
му в качестве оптимальных уровней квантования целесообразно использовать
уровни квантования .
2.	Выбор порогов квантования определяется принятым алгоритмом кван-
тования. При оптимальном квантовании различных процессов этот выбор дол-
жен обеспечивать неравномерный шаг квантования, изменяющийся во времени.
3.	Выбор уровней квантования зависит от периода дискретизации Г,
выбор порогов квантования от периода дискретизации не зависит.
Второй основной особенностью цифрового представления является обяза-
тельная нестационарность формируемого цифрового процесса даже в случае,
когда исходные непрерывные сообщения представляют строго стационарный
процесс (стационарный в узком смысле).
Третья основная особенность заключается в том, что непрерывное сооб-
щение s(Z) и шум цифрового представления e(0=s(t)—s*(/) связаны нелинейной
детерминированной зависимостью, определяемой нелинейной характеристикой
квантования:
L-1 8
s’(s) = s*(1) + X J8(- -	+ s,ki)dz.
Пример такой характеристики приведен на рис. 5.3.
sf5> I---------------1
Л’) /Я
t № нъ
I--------1	- - S И
----1	+• sr’>
Рис.5.3. Характеристика квантования
Данная особенность требует осторожного отношения к выводам о незави-
симости сообщения и шума его цифрового представления, когда они некорре-
лированы, что возможно при значительном увеличении числа уровней кванто-
154
вания. Дело в том, что корреляционная функция есть мера линейной вероятно-
стной связи, и использование ее в качестве меры нелинейной зависимости в
данном случае может привести к ошибочным результатам.
5.2.	Информационные характеристики точности цифрового
представления. Эпсилон-энтропия
5.2.1.	Проблемы передачи непрерывной информации с оценкой
ошибок дискретизации по времени и по амплитуде
Цифровое представление любых аналоговых сообщений сопровождается
потерями содержащейся в них информации, вызванными дискретизацией во
времени и по амплитуде. В общем виде это проявляется в отличии восстанов-
ленных после цифрового преобразования и передачи непрерывных сообщений
s*(/) от соответствующих им исходных s(7). Как оценить эти потери? Для этого
необходимо решить следующие основные проблемы. Во-первых, это проблема,
состоящая в том, что ошибка e(Z)=s(Z)-s*(Z) имеет явно выраженный случайный
характер и связана нелинейной детерминированной зависимостью с s(Z), опре-
деляемой нелинейностью характеристики квантования. Причем для случайных
процессов данная проблема усиливается обязательной нестационарностью этой
ошибки, следующей из особенностей цифрового представления. Во-вторых, это
проблема определения в прямой постановке избыточности, связанная с неопре-
деленностью понятия энтропии для непрерывных источников.
Подход к решению этой проблемы с позиций теории информации впервые
был найден выдающимся русским ученым А.Н. Колмогоровым [6]. Его основу
составляет введение понятия заданной точности «эпсилон», определяемого вы-
ражением
£2=М[е2(/,)].
Сущность подхода состоит в определении среднего количества информа-
ции, оставшегося при восстановлении элементов ансамбля источника S после
155
их цифрового представления. Если считать, что восстановленные после цифро-
вого преобразования непрерывные сообщения s*(/) являются элементами ан-
самбля S , то эта задача может быть сформулирована в виде
I[S;S*] = h[S]-h[S/S*],	(5.3)
где I[S;S*] — среднее количество информации об элементах ансамбля S, со-
держащееся в элементах ансамбля S ; h[S]— дифференциальная энтропия ан-
самбля S, отражающая среднее количество информации в элементах ансамбля
S; h[S/S*] — условная дифференциальная энтропия, характеризующая инфор-
мационные потери при цифровом представлении.
Из выражения (5.3) следует, что среднее количество взаимной информации
I[S;S*] и условная дифференциальная энтропия h[S/S*] могут выступать в каче-
стве информационных характеристик точности восстановления непрерывных
сообщений после их цифрового представления или сокращенно — точности
цифрового представления.
Стратегия оценки точности цифрового представления заключается в опре-
♦
делении минимального значения ими I[S; S ] ? позволяющего восстановить ис-
2
ходное непрерывное сообщение с заданной точностью £ .
Впервые эта стратегия была предложена А.Н. Колмогоровым в 1956 году.
Именно он открыл понятие «эпсилон-энтропия», которое определил как ми-
нимальное количество информации, необходимое для определения случайной
величины с заданной точностью «эпсилон»:
Hg = min I[S;S*] = h[S] - max h[S/S*].	(5.4)
Разработанная А.Н. Колмогоровым теория эпсилон-энтропии была впо-
следствии развита А.И. Величинным [2] применительно к теоретическим зада-
чам цифрового представления случайных величин и случайных процессов, а
также к прикладным задачам цифрового представления аудио- и видеоинфор-
мации.
156
Для решения второй проблемы может быть применен подход, основанный
на введении понятия относительной избыточности.
5.2.2.	Оценка ошибок дискретизации по амплитуде.
Эпсилон-энтропия квантования
Эпсилон-энтропия квантования характеризует потери информации, вы-
званные ошибкой квантования: е = s - s*^. Таким образом, средний квадрат этой
ошибки М[е2] в данном случае можно рассматривать как меру точности «эпси-
лон» цифрового представления случайных величин s:
s2 = M[e2].
С учетом (5.3) условную эпсилон-энтропию h[S/S*], характеризующую
информационные потери при квантовании, можно представить как
h[S/S ] = h[E]
де h[E] - энтропия ошибки квантования.
Принимая во внимание установленную возможность гауссовской аппрок-
симации реальных процессов, имеем
p(s)’72^eKp
20,
где P(s) и D — соответственно плотность вероятности и дисперсия исход-
ных сообщений.
Тогда, произведя интегрирование
h[S] =
2P(s)
ds = Jp(s) log2A/2^»
2D
log2e ds
находим энтропию источника информации:
h[S] = llog2(2;re£>s) °f P(s)t/s = llog2(2^eZ)s).
(5.5)
Условная энтропия h[S/S*] = h[E] будет максимальной тогда, когда ансамб-
ли S и Е независимы и одновременно Е имеет гауссовскую вероятностную
меру
157
Р(е) =
1
Таким образом, максимальное значение условной энтропии h[S/S*] может
быть определено аналогично h[S] и представлено как
maxh[S/S’] =h[E] =-log2(2n-ee2).	(5’6)
Подставив (5.5) и (5.6) в (5.2), получим выражение для эпсилон-энтропии
квантования:
(5-7)
Данное выражение характеризует информационные потери при квантова-
нии. Необходимо отметить, что оно принципиально отличается от известной
формулы Hs =—log2
следующей из довольно частой в настоящее вре-
мя аппроксимации процесса квантования как смеси сообщения и независящего
от него аддитивного шума квантования. Это отличие объясняется тем, что в
(5.7) учтена зависимость шума квантования и квантуемой величины.
В формуле (5.7) дисперсия шума квантования £2 не может быть больше
дисперсии сообщения Ds. Таким образом, значения Не всегда будут положи-
тельными и прямо пропорциональными значениям отношения Ds/£2. Восполь-
зовавшись однозначным и монотонно убывающим характером зависимости Не
от £2, из формулы (5.7) можно получить выражение для нижнего граничного
значения среднего квадрата ошибки квантования:
2 _
О2Н₽
В практических приложениях полученную формулу можно трактовать сле-
дующим образом. Если задано число двоичных единиц нё, отведенных для
представления значений квантуемой величины в цифровой форме, то не суще-
158
ствует способа квантования, который бы обеспечивал меньшее значение сред-
него квадрата ошибки квантования, чем определяемое по формуле (5.8).
Отметим, что в приведенных выше формулах число уровней квантования L
пока не участвует. Эта величина вводится следующим образом. При кодирова-
нии двоичным безызбыточным кодом каждому уровню квантования к (&G1...L)
будет соответствовать своя кодовая комбинация х^. Эти кодовые комбинации
будут переносить максимум информации только в случае их равновероятности,
когд. Хх’1 отсюда И. может 5™. предо™деда а виде
Н. " /-1'“')“Ал - L J- logjL
*=1	Р\* ) L
С учетом этого, из (5.8), получим
Последняя формула устанавливает связь нижнего граничного значения
2
среднего квадрата ошибки квантования £ с числом уровней квантования при
условии гауссовской аппроксимации квантуемой величины. Совершенствуя
способ квантования, можно приблизиться к этим значениям, но получить
меньшую ошибку невозможно. Существующие способы квантования имеют
2
значение £ , превышающее нижнюю границу примерно в 2,5—3,5 раза. Каким
образом можно уменьшить это значение и приблизить его к нижнему пределу?
К сожалению, полного ответа на этот вопрос, дающего технический рецепт, по-
ка нет. Можно только руководствоваться приведенными выше условиями мак-
симума h[S/S*]: оценка и ошибка должны быть независимыми и одновременно
ошибка должна быть распределена по гауссовскому закону.
Для обеспечения гауссовости ошибки квантования необходимо, чтобы
уровни оценки и пороги квантования были случайными величинами. Таким об-
разом, одним из путей совершенствования квантования является обеспечение
159
случайной процедуры квантования. В данном случае процесс цифровой обра-
ботки информации может быть представлен в виде цепи:
непрерывнозначное сообщение —> случайное квантование —> дискретиза-
ция —> кодирование —> случайное декодирование —> непрерывнозначная оцен-
ка.
При этом случайные процедуры квантования и декодирования будут взаи-
мосвязаны между собой.
Выражение (5.7) может использоваться для оценки точности цифрового
представления непрерывного источника только в случаях, когда его выбороч-
ное пространство является непрерывнозначной случайной величиной. Это объ-
ясняется тем, что (5.7) не позволяет оценить потери цифрового представления,
связанные с дискретизацией. Большинство же реальных источников информа-
ции требуют представления выборочного пространства в виде случайных про-
цессов, когда эти потери имеют существенное значение. Решение данной про-
блемы обеспечивается введением понятия «эпсилон-энтропия случайного про-
цесса». Эпсилон-энтропия цифрового представления случайного процесса
определяется как эпсилон-энтропия квантования в единицу времени. Данное
определение является достаточно общим и обычно требует конкретизации при-
менительно к виду реального источника информации, для описания которого
используется случайный процесс.
5.2.3.	Эпсилон-энтропия цифрового представления
аудиоинформации
Источники аудиоинформации могут быть достаточно точно описаны не-
прерывным ансамблем S, выборочное пространство которого представляет со-
бой скалярный случайный процесс s(Z) со спектральной плотностью
Gs(/),/>0. При цифровом представлении этот процесс преобразуется в циф-
ровой поток, обычно являющийся последовательностью двоичных символов.
Одной из основных характеристик этого цифрового потока является скорость
передачи (обработки) ип, измеряемая в бит/с. Относительно этой характери-
160
стики можно считать, что наилучшим является такое цифровое представление,
которое обеспечивает наименьшую скорость передачи при заданном среднем
квадрате ошибки. Минимальное значение этой величины называется эпсилон-
энтропией цифрового представления случайного процесса, или просто эпси-
лон-энтропией случайного процесса Сг.
Эпсилон-энтропия случайного процесса С£ представляет собой эпсилон-
энтропию квантования в единицу времени. В реальных случаях должно выпол-
няться условие иП > С£, причем равенство иП = С£ может достигаться только
при равновероятных и взаимонезависимых битах цифрового потока. Таким об-
разом, задача определения эпсилон-энтропии цифрового представления сводит-
ся к определению производительности источника С£, соответствующей эпси-
лон-энтропии в единицу времени. Если случайный процесс является стацио-
нарным, то для решения этой задачи можно использовать выражение (5.7), пре-
образованное к виду
„	• 1	Gs(/)-	(5.9)
dC =mmlog9 b df.
G,: (/)
Для малых интервалов df области частот спектра случайного процесса бу-
дут справедливы следующие равенства:
dDs=Gs(f)df,	(5.10)
dz2 =G..( f )df.	С5-11)
где — спектральная плотность процесса; СД/) — спектральная плот-
ность шума цифрового представления; dDs — дисперсия сообщения в интер-
вале df.
Проинтегрировав равенство (5.9) с учетом (5.10) и (5.11), получим
„	• П Gs(/) „	(5-12)
С£ =minjlog2^^#;
где для спектра ошибки цифрового представления обязательно должно выпол-
няться условие нормировки:
161
»	(5.13)
О
Напомним, что £2 — это средний квадрат ошибки цифрового представле-
ния. При этом сам спектр ошибки цифрового представления должен опреде-
ляться из условия
max
00
flog 2Gt (/X/
О
(5-14)
с учетом (5.13), а также при условии, что интегрирование осуществляется в об-
ласти частот, для которых выполняется неравенство G £ (/ ) < G s (/ ).
Задача определения Gs , исходя из условия (5.14) и с учетом указанных
ограничений, относится к области вариационного исчисления. Решая на осно-
вании (5.12) вариационную задачу определения экстремальной функции G£ (/)
на частотах, где	, можно получить
Gf(/)= Я = const '	(5.15)
Для гауссовского марковского процесса с корреляционной функцией
9
и спектральной плотностью
(5.16)
решение (5.12) с учетом условий (5.13) и (5.14) приводит к параметрической
системе двух уравнений
(5.17)
Задаваясь значением параметра (р в формулах (5.17), получают соответст-
вующие друг другу значения эпсилон-энтропии цифрового представления ау-
162
диоинформации и среднего квадрата ошибки Параметр а согласно
(5.15) определяется спектральными характеристиками источника аудиоинфор-
мации и для реальных источников его значение обычно находится в пределах
а =1000.
5.2.4.	Эпсилон-энтропия цифрового представления
видеоинформации
Источники видеоинформации принято описывать непрерывным ансамблем
S, выборочное пространство которого представляет собой случайную функцию
двух переменных % и <р, являющихся пространственными координатами соот-
ветствующих точек изображения.
В целях наглядности решения задачи определения эпсилон-энтропии циф-
рового представления будем считать, что случайная функция s(x?<p) является га-
уссовской, т. е. имеет нормальную плотность вероятностей. Кроме того, заданы
также корреляционная функция Rs (А/, А (р) и спектральная плотность
), где fx > 0 и 4 > 0 —пространственные частоты.
Аналогично (5.12) эпсилон-энтропия, приходящаяся на единицу изображе-
ния, может быть определена как
(5.18)
где	(А ’ 4)
двумерная спектральная плотность шума квантования, удов-
летворяющая условиям нормировки,
СО 00
/Мл.лкх, = <
о о
(5.19)
а также условию
(5.20)
Решая в (5.18) вариационную задачу определения экстремальной функции
, получим
163
(5.21)
Формулы (5.19), (5.20), (5.21) совместно определяют спектральную плот-
ность шума квантования
2
2
Здесь г — радиус круга, образованного при рассечении
спектральной плотности
8
- 2
поверхностью Л .
Для его определения можно принять fx - 0 ? fv = г и использовать равен-
ство
(5.23)
Подставив (5.22) и (5.23) в (5.18), получим общее выражение для эпсилон-
энтропии цифрового представления видеоинформации:
(5.24)
£
2
dfxdfv.
Статистические исследования показывают, что плоское изображение с
большим числом деталей обычно характеризуется экспоненциальным законом
изменения корреляции
Rs{\%,\<p)= Ds ехр[-а^А/2Л<р2]
Пространственная спектральная плотность такого изображения
со
равна
rmD
(5.25)
Подставив (5.25) в (5.24), можно получить формулу эпсилон-энтропии и
одновременно из условия нормировки (5.19) для спектральной плотности (5.22)
164
выражение для среднего квадрата ошибки. В результате имеем параметриче-
скую систему уравнений вида
(5.26)
2
Здесь С£ — эпсилон-энтропия на элемент изображения площадью 1/а .
2
На рис. 5.4 представлен график зависимости эпсилон-энтропии С£ от s .
Параметр а согласно (5.25) определяется спектральными характеристиками
источника видеоинформации и для медленно меняющихся изображений его
значение обычно находится в пределах а = 15 [2].
Рис. 5.4. Зависимость эпсилон-энтропии цифрового представления видео-
информации С£ ОТ £ 2
Если задаться временем, отведенным на передачу элемента изображения
площадью 1/а2, то получим зависимость минимальной скорости передачи ин-
формации от заданного среднего квадрата ошибки.
Ввиду однозначной зависимости С£ от ё2 график рис. 5.4 можно инверти-
ровать и получить из него зависимость минимального значения среднего квад-
рата ошибки от скорости обработки (передачи) видеоинформации. Эта зависи-
мость может быть использована для оценки совершенства различных способов
цифровой обработки изображений.
165
5.3.	Стратегия кодирования непрерывных источников
Определение стратегии кодирования непрерывных источников в совре-
менных условиях, когда еще недостаточно четко определена природа понятия
“энтропия непрерывных источников” и его фактическое содержание, представ-
ляется довольно сложной задачей. В этой ситуации можно поступить следую-
щим образом. Предполагая одинаковую природу непрерывных и дискретных
источников, взять за основу уже известную стратегию кодирования последних
и трансформировать её с учетом специфики непрерывных источников. Исходя
из этого, примем, что основу стратегии кодирования непрерывных источников
составляют:
•	обеспечение минимальных длин кодовых слов, позволяющих предос-
тавить информацию источника с заданной точностью;
•	уменьшение избыточности информации источника в процессе кодиро-
вания.
Применение данной стратегии для непрерывных источников выявляет не-
сколько возможных вариантов ее трансформации.
Вариант 1. Цифровое представление непрерывного источника и после-
дующее применение уже известных методов сжатия, реализуемых при кодиро-
вании дискретных источников.
Вариант 2. Трансформация непрерывного источника информации в непре-
рывный источник, обладающий меньшей избыточностью, и его последующее
цифровое представление.
Вариант 3. Цифровое представление непрерывного источника, предусмат-
ривающее одновременное сжатие информации.
Таким образом, можно выделить 3 варианта стратегии кодирования непре-
рывных источников.
Первый вариант предполагает представление непрерывного источника S в
виде некоторого виртуального (ср.- лат. virtualis — возможное при определен-
166
ных условиях) дискретного источника X и применение к последнему стратегии
кодирования дискретных источников (рис. 5.5).
Рис. 5.5. Первый вариант стратегии кодирования
В данном случае под виртуальным дискретным источником понимается
некоторый дискретный источник, возможный при условии цифрового пред-
ставления информации реального источника.
Второй вариант предполагает так называемое компандирование непре-
рывных сообщений, предусматривающее их компрессию (сжатие) при переда-
че и экспандирование (восстановление) при приеме. Компрессию сообщений
источника S в данном случае можно трактовать, как его трансформацию в не-
который виртуальный непрерывный источник Z и рассматривать задачу коди-
рования как задачу цифрового представления этого источника (рис. 5.6). Под
виртуальным непрерывным источником в данном случае понимается некото-
рый непрерывный источник, возможный при условии компрессии информации
реального источника.
Виртуальный непрерывный источник
Рис. 5.6. Второй вариант стратегии кодирования
Третий вариант заключается в цифровом компандировании непрерывных
сообщений, формируемых источником. Под цифровым компандированием бу-
дем понимать цифровое представление, решающее одновременно задачу ком-
167
прессии (сжатия) при передаче и экспандирования при приеме. В данном слу-
чае стратегию кодирования непрерывного источника будет характеризовать
компрессия последовательности операций, составляющих цифровое преобразо-
вание (рис. 5.7).
б
Рис. 5.7. Третий вариант стратегии кодирования
Два направления в данном варианте стратегии (рис. 5.7,а и рис. 5.7,6) объ-
ясняются двумя возможными разновидностями цифрового представления, ко-
торые были рассмотрены ранее (см. рис. 5.1 и 5.2). При этом стратегия в целом
не накладывает ограничений на применение компрессии в операциях этих циф-
ровых преобразований. Компрессия может применяться отдельно в одной, не-
скольких, во всех операциях, а также комплексно для различных сочетаний
операций цифровых преобразований. Этим объясняется многообразие извест-
ных методов цифрового компандирования, используемых для сжатия информа-
ции при кодировании непрерывных источников. Так, применение цифровой
компрессии к операциям квантования и дискретизации приводит к методу
дифференциальной ИКМ (ДИКМ), а к операциям кодирования и квантования
— к методам разностного кодирования и тому подобное.
Приведенные рассуждения показывают, что для непрерывных источников,
в отличие от дискретных, имеется возможность выбора, по крайней мере, из
трех основных вариантов стратегии кодирования (рис. 5.8), что открывает ши-
рокое поле деятельности для поиска и разработки новых методов кодирования.
168
Кодирование непрерывных
ИСТОЧНИКОВ информации
Цифровое
компандирование
непрерывного источника
Кодирование
дискретного источника
Цифровое
представление
непрерывного источника
Рис.5.8. Стратегии кодирования непрерывных источников информации
Формирование
виртуального
дискретного источника
Формирование
виртуального
непрерывного источника
Однако следует помнить, что при этом всегда возникает проблема неопре-
деленности понятия избыточности для непрерывных источников, что затрудня-
ет оценку эффективности при выборе того или иного варианта стратегии.
5.4.	Информационные пределы избыточности. Теорема
кодирования для непрерывных источников
Проблема неопределенности понятия избыточности для непрерывных ис-
точников заключается в том, что известная формула, определяющая избыточ-
ность дискретных источников
B[S] = Hmax[S]-H[S],	(5.27)
в данном случае теряет физический смысл. Это объясняется тем, что абсолют-
ные значения энтропий непрерывных источников с позиций теории информа-
ции являются бесконечными величинами.
Попытка решения данной проблемы путем введения понятия дифференци-
альной (относительной) энтропии и определения избыточности как
B[S] = h_[S]-h[S],	(5.28)
на первый взгляд устраняет эту неопределенность.
В самом деле, если рассматривать Hmax[S] = hmax[S]+ Л и H[S] = h[S] + A,
то разность (5.27) приведет к вполне определенной величине (5.28). Однако в
данном случае выявляется другая, не менее существенная проблема: как опре-
169
делить hmax[$] для непрерывных источников? Эта проблема еще ждет своего
окончательного решения. Пока наиболее продуктивным направлением этого
решения считается отождествление ^тах[$] с энтропией источника гауссовско-
го белого шума, энтропийная мощность которого равна энтропийной мощности
источника. К сожалению, и это направление связано с рядом трудностей, не по-
зволяющих получить окончательное решение. Кроме того, дополнительную не-
определенность в выражение (5.28) вносит тот факт, что дифференциальная эн-
тропия может принимать отрицательные значения. Вполне понятно, что анало-
гичные трудности будут сопровождать и попытки определения избыточности
кодирования для непрерывных источников. Неопределенность абсолютной эн-
тропии H[S] данных источников приводит к невозможности использования в
этих целях известной формулы для дискретных источников:
R(f,S) = C(f,S)-H[S].
При этом переход к дифференциальной энтропии в (5.29), т. е.
R(f,S) = C(f,S)-h[S],
(5.29)
(5.30)
не позволяет с достаточной долей уверенности говорить об идентичности R(/JS)
и R'(/JS), как это было при переходе от (5.27) к (5.28) для B[S]. Стоимость ко-
дирования CtfS) в (5.30) по определению
C(f,S) = 2«,. j P(s)ds
k=i
является конечной величиной, что ставит под сомнение предположение о воз-
можной компенсации А —> оо в H[S] = h[S] + А при переходе от (5.29) к (5.30).
Вполне логичным выходом из данной ситуации представляется выбор вы-
ражения (5.30) для R'(S) в качестве основы при определении избыточности ко-
дирования. Дифференциальная энтропия h[S] в данном случае является конеч-
ной величиной и остается только найти физическое обоснование величины
R'(S). Однако именно здесь возникает ряд проблем, делающих весьма туманной
перспективу такого обоснования. Прежде всего, дифференциальная энтропия
170
h[S], в отличие от энтропии дискретных источников, может принимать отрица-
тельные значения. Таким образом, выражение (5.30) изначально предполагает
исход, когда R'(S) может стать отрицательной величиной, а это уже требует не
только физического, но и философского объяснения.
Если даже это объяснение будет найдено, что весьма сомнительно, оста-
нется еще одна проблема. Как уже отмечалось, особенностью цифрового пред-
ставления непрерывных источников является обязательная нестационарность
результатов представления. Следствием этого вполне оправданно ожидать из-
менение во времени величины R'(S), что ставит под сомнение саму целесооб-
разность её применения в качестве характеристики процесса кодирования не-
прерывных источников. Обобщив вышеизложенное, можно прийти к довольно
неутешительному выводу о том, что рассматриваемый ранее подход к оценке
эффективности кодирования дискретных источников сталкивается пока с не-
преодолимыми трудностями при попытках его применения к решению анало-
гичных задач для непрерывных источников. По-видимому, именно этот вывод,
в той или иной мере, определяет тот значительный научный интерес, который
проявляется в последнее время к поиску новых нетрадиционных подходов к
определению избыточности кодирования непрерывных источников. Далее рас-
сматривается один из таких подходов.
Основу предлагаемого подхода составляет представление непрерывного
источника в виде некоторого виртуального дискретного источника. Правомер-
ность такого представления обуславливает первый вариант стратегии кодиро-
вания (см. рис. 5.5), где формирование виртуального дискретного источника
рассматривается в качестве одного из этапов кодирования. Энтропия Н[Х] та-
кого источника может быть определена из выражения
I[S;X] = h[S] - h[S/X] = Н[Х] - H[X/S],
(5.31)
где I[S;X] — среднее количество информации о сообщениях s(Z), составляю-
щих ансамбль S, в кодовых последовательностях х^ ансамбля X; Н[Х] — эн-
171
тропия дискретного ансамбля X; H[X/S] — средняя неопределенность х^ при
известном s(Z).
Условная энтропия H[X/S] однозначно характеризуется средней неопреде-
ленностью принятия решения об области квантования при известном s(Z). Ис-
ходя из этого, при детерминированной операции квантования и отсутствии ис-
кажений на входе квантователя (что характерно для большинства задач кодиро-
вания непрерывных источников) данная энтропия будет равна нулю (H[X/S]=0).
При этом выражение (5.31) примет вид
I[S;X] = h[S] -h[S/X] = Н[Х].	(5.32)
Рассмотренные ранее особенности цифрового представления непрерывного
источника S подсказывают, что энтропия Н[Х] может изменяться во времени, а
также сильно зависит от параметров дискретизации, квантования и кодирова-
ния. При информационном анализе цифрового представления эта проблема ре-
шалась путем введения понятия «эпсилон-энтропия», которое характеризует
минимальное среднее количество информации, необходимое для восстановле-
ния непрерывного сообщения с заданной точностью эпсилон (е2). Применив
этот подход, выражение (5.32) с учетом (5.4) можно преобразовать к виду
h[S] = Н£ +maxh[S/X],	(5.33)
где Не — эпсилон-энтропия квантования; tnaxh[S/X] — максимальные потери
е2
цифрового представления, допустимые при заданной точности е2 .
Подставив (5.33) в (5.30), получим:
R (f ,S) = C(f,S) - Не - maxh[S/X].
£2
(5.34)
Условная энтропия h[S/X] в выражении (5.34) не зависит от используемого
кода f. Это дает основание применить для оценки эффективности кодирования f
непрерывных источников более удобную в практическом отношении характе-
ристику, которая может быть получена из (5.34) следующим образом:
R/(f,S) = R'(f,S) + maxh[S/X] = C(f,S) - He.
(5.35)
172
Назовем эту характеристику относительной избыточностью кодирова-
ния f непрерывного источника при заданной точности цифрового представле-
2
ния £ . Нетрудно заметить, что выражение (5.35) справедливо только для слу-
чая, если сообщения источника являются непрерывными случайными величи-
нами. Обобщение его для случая случайных процессов позволяет прийти к вы-
ражению вида
Rs(f,S) = CT(f,S)-Ce.	(5.36)
Здесь Се — эпсилон-энтропия случайного процесса, для определения которой в
зависимости от вида реального источника могут использоваться ранее полу-
ченные выражения (5.17) или (5.26).
Стоимость кодирования CT(f,S) в случае стационарного источника, а так-
же при постоянных параметрах квантования и дискретизации, может быть оп-
ределена как
1 L
CT(f>S)=-£^ J P(sXs.
1 А=1	д(^-1)
Полученное выражение (5.36) для относительной избыточности кодирова-
ния позволяет дать достаточно простое физическое толкование этого понятия.
Оно показывает, насколько среднее число двоичных символов в единицу вре-
мени на выходе кодера источника превышает минимально допустимое значе-
ние Се, необходимое для обеспечения заданной точности е1 восстановления
непрерывных сообщений. При этом отрицательные значения Rg(f,S) будут по-
казывать, что кодирование f приводит к потерям информации относительно за-
~	2
данной ТОЧНОСТИ 8 .
Теорема 5.1. Теорема кодирования для непрерывных источников. Пусть
заданны стационарный источник S и точность s2 восстановления непрерывных
сообщений после цифрового представления. Тогда:
1. Для каждого стационарного источника S и заданной точности е1 восста-
новления непрерывных сообщений существует код Т?, обеспечивающий сколь
173
угодно малую неотрицательную относительную избыточность кодирования,
т. е. 5>Rs(f0,S)>0.
1. Для произвольного стационарного источника можно найти код f, обес-
печивающий отрицательную относительную избыточность кодирования. Тогда,
если Rg(f,S) < 0, то кодирование f приводит к потере информации относитель-
2
но заданной точности £ восстановления непрерывных сообщений источника.
Доказательство, Докажем первую часть теоремы, предварительно опреде-
лив условия выполнения неравенства R'(f,S) >0. Из (5.35) следует, что данное
неравенство выполняется при условии
l	(5.37)
£«* J P(s)</s>He.
£=1
Левую часть (5.37) можно трактовать, как среднюю длину Пк кодовых по-
следовательностей, полученных в результате кодирования f квантованных зна-
чений случайной величины s. Правая часть (5.37) отражает минимально допус-
тимое число двоичных символов в кодовой комбинации, при котором еще
2
обеспечивается заданная точность в . Ранее было установлено, что верхнее
граничное значение Не для множества возможных источников случайных ве-
личин определяется значением log2 L , где L — число уровней квантования. С
учетом этого (5.37) можно представить в виде
Пк > log2 L.
Известно [2], что цифровое представление реальных источников требует
выполнения неравенства L>128. Таким образом, можно считать, что для вы-
полнения (5.37) необходим код f, средняя длина комбинаций которого
nk >log2128 = 7. Проведенный ранее анализ кодов, используемых для сжатия
дискретной информации, показывает, что такой код всегда существует. Обоб-
щение полученных результатов для случая стационарных источников позволяет
утверждать, что существует код, обеспечивающий выполнение неравенства
174
CT(f,S)>Cc.
(5.38)
При этом не накладывается никаких ограничений на выполнение равенства в
(5.38), что свидетельствует о существовании кода £>, относительная избыточ-
ность кодирования которого Re(f0,S) = 0. Что и требовалось доказать.
Для доказательства второй части теоремы отметим, что в данном случае
при кодировании f в единицу времени передается меньше информации, чем не-
обходимо для обеспечения заданной точности £2, Т. е. происходит потеря ин-
формации. Тогда, приняв во внимание, что невыполнение условия (5.38) приво-
дит в (5.36) к отрицательной относительной избыточности, окончательно мож-
но прийти к выводу, что неравенство Rg(f,S)<0 будет свидетельствовать о
том, что кодирование f приводит к потерям информации относительно задан-
~	2
НОИ ТОЧНОСТИ £ .
Данная теорема составляет основу подхода к оценке эффективности мето-
дов сжатия непрерывной информации при кодировании непрерывных источни-
ков. Она определяет общий алгоритм оценки методов сжатия информации при
кодировании непрерывных источников (рис. 5.9).
Приведенный алгоритм достаточно хорошо согласуется с общепринятым
делением методов сжатия непрерывной информации на методы без потерь и
методы с потерями. При этом устанавливается, что потери необходимо отно-
сить к установленной точности £2 восстановления непрерывных сообщений.
175
Рис. 5.9. Алгоритм оценки методов сжатия информации при кодировании
непрерывных источников
Кроме этого открывается возможность количественной оценки потерь ин-
формации для второй группы методов.
5.5. Стратегия защиты информации при кодировании непрерывного
источника
В общем виде защита информации при кодировании непрерывного источ-
ника представляет собой процесс преобразования непрерывных сообщений в
криптограммы по секретному закону, определенному ключом. Обычно этот
процесс называют скремблированием, а обратный ему процесс преобразования
криптограмм в сообщения — дескремблированием. В зависимости от вида ан-
самбля формируемых криптограмм существует 2 основных варианта защиты
непрерывной информации:
1) аналоговое скремблирование, когда ансамбль формируемых крипто-
грамм является непрерывным;
2) цифровое скремблирование, когда ансамбль формируемых криптограмм
дискретный;
Исходя из этого, обобщенная схема защиты информации при кодировании
непрерывного источника имеет 2 вида представления:
1) представление с позиций аналогового скремблирования (рис. 5.10);
2) представление с позиций цифрового скремблирования (рис. 5.11).
Рис.5.10. Обобщенная схема аналогового скремблирования
176
Рис. 5.11. Обобщенная схема цифрового скремблирования
При аналоговом скремблировании непрерывные сообщения s(Z) источника
информации (ИИ) обычно подвергаются компандированию. Чаще всего это
частотная компрессия непрерывных сообщений на выходе ИИ, означающая
сжатие частотного диапазона спектра случайного процесса, представляющего
ансамбль S источника. Формируемый таким образом процесс в соответствии со
вторым вариантом стратегии кодирования непрерывного источника можно
представлять, как выборочное пространство некоторого виртуального непре-
рывного источника S , обладающего меньшей избыточностью. Сообщения s(t)
этого источника путем преобразований аналогового скремблирования (ПАС) по
закону, заданному элементами дискретного ансамбля К источника ключа (ИК),
преобразуются в криптограммы е(/) ансамбля криптограмм Е. Ансамбль крип-
тограмм в данном случае является непрерывным.
При дескремблировании производятся обратные преобразования аналого-
вого скремблирования (ОПАС) криптограмм в сообщения s(t), которые после
экспандирования (декомпрессии) поступают к получателю информации. Закон
обратных преобразований аналогового скремблирования задается ключами ан-
самбля К. При этом к криптограммам может получать доступ несанкциониро-
ванный пользователь (НП). Основная задача защиты информации в данном
случае состоит в установлении аналогового скремблирования источника, обес-
печивающего невозможность дескремблирования криптограмм при несанкцио-
нированном доступе к ним.
177
Нетрудно заметить, что основу решения данной задачи составляет выбор
методов преобразований аналогового скремблирования. К используемым для
этих целей методам ПАС принято относить:
1)	методы коммутируемой инверсии;
2)	методы частотных перестановок;
3)	методы временных перестановок;
4)	методы амплитудного скремблирования.
Методы коммутируемой инверсии состоят в формировании криптограмм
путем инверсии спектра исходного сообщения или без нее в зависимости от
значения символов ключевой последовательности.
Методы частотных перестановок заключаются в разбиении спектра ис-
ходного сообщения на полосы и их перестановке по частотному диапазону в
соответствии с алгоритмом, заданным ключевой последовательностью.
Методы временных перестановок предполагают разделение непрерыв-
ных сообщений на временные интервалы и их передачу в очередности, задан-
ной ключевыми последовательностями.
Методы амплитудного скремблирования состоят в преобразовании ам-
плитуды сообщения по закону, заданному ключом.
Часто в целях повышения эффективности аналогового скремблирования
применяют различные комбинации отмеченных методов в виде так называемых
комбинированных методов ПАС. Однако, как показала практика, все это не по-
зволяет обеспечить решение отмеченной основной задачи. Исходной причиной
данной проблемы является высокая избыточность непрерывных сообщений,
которую не удается устранить при формировании криптограмм. Так, например,
для речевых сообщений характерна почти двадцатикратная избыточность, ко-
торая в значительной мере сохраняется и после скремблирования. Следствием
этого является принятая стратегия аналогового скремблирования, основными
направлениями которой выступают:
1) обеспечение временной стойкости защиты информации;
2) выполнение условий однозначности дескремблирования.
178
Условия однозначного дескремблирования обеспечиваются идентичностью
ключевых последовательностей, используемых при скремблировании и деск-
ремблировании, а также полной идентичностью прямых и обратных частотно-
временных преобразований.
Цифровое скремблирование (см. рис. 5.11) в отличие от аналогового обес-
печивает более эффективное решение проблемы высокой избыточности непре-
рывных источников. Это достигается путем цифрового компандирования не-
прерывных сообщений s(Z) источника информации (ИИ). Полученные таким
образом кодовые последовательности можно рассматривать, как элементы ан-
самбля U , соответствующего некоторому виртуальному дискретному источни-
ку. С этих позиций последующие преобразования цифрового скремблирования
(ПЦС) и цифрового дескремблирования (ПЦЦС) выступают аналогами шифро-
вания и дешифрования при кодировании дискретных источников. Это во мно-
гом объясняет преимущественное применение в задачах цифрового скрембли-
рования подходов, используемых при шифровании. При этом требуется учиты-
вать особенности, свойственные цифровому скремблированию. Во-первых, на
эффективность цифрового скремблирования существенное влияние могут ока-
зывать потери информации, вызванные цифровым представлением. Во-вторых,
применение в нем компандирования открывает дополнительные возможности
для повышения качества защиты информации.
Первая особенность обычно учитывается путем оптимальной цифровой
фильтрации (ЦФ) результатов дескремблирования, вторая — путем подбора
методов компрессии и экспандирования, обеспечивающих максимальное
уменьшение избыточности для заданной точности восстановления непрерыв-
ной информации у получателя информации (ПИ). При цифровом скремблиро-
вании аудиоинформации к таким методам можно отнести методы вокодерных
преобразований, когда случайный процесс, соответствующий аудиосообщени-
ям ИИ, представляется в виде некоторой совокупности параметров, позволяю-
щей восстановить его с заданной точностью у ПИ. Таким образом, принятая в
179
настоящее время стратегия цифрового скремблирования включает следующие
основные направления:
1)	обеспечение гарантированной стойкости защиты информации;
2)	выполнение условий однозначности дескремблирования;
3)	обеспечение требуемой точности восстановления сообщений.
Следует обратить внимание, что данная стратегия за исключением третьего
направления аналогична принятой стратегии шифрования. Таким образом,
цифровому скремблированию в принципе свойственны те же проблемы, что и
шифрованию. Однако особенности цифрового скремблирования в значительной
мере усиливают эти проблемы, требуя специфичных подходов к решению ос-
новной задачи защиты информации, состоящей в данном случае в установлении
цифрового скремблирования источника, обеспечивающего невозможность де-
скремблирования криптограмм при несанкционированном доступе к ним. Пре-
жде всего это относится к проблемам абсолютной и теоретической недешиф-
руемости, которые при цифровом скремблировании приобретают специфику,
еще более затрудняющую решение данных проблем. Следует отметить, что при
аналоговом скремблировании эта специфика значительно усиливается, делая
это решение практически невозможным.
По аналогии с шифрованием условия обеспечения АНДШ и ТНДШ при
кодировании непрерывных источников могут быть определены из теорем для
скремблирования.
Теорема 5.1. Теорема аналогового скремблирования непрерывного ис-
точника. Пусть скремблирование непрерывного источника S определяется не-
которым дискретным ансамблем ключей К и непрерывным ансамблем крипто-
грамм Е. Тогда, если среднее количество взаимной информации равно
I[SK;E]=0,	(5.39)
то аналоговое скремблирование ФСА, будет обеспечивать невозможность деск-
ремблирования криптограмм при несанкционированном доступе к ним.
180
Доказательство. Невозможность дескремблирования криптограмм при не-
санкционированном доступе означает, что
J[s;(Z)k(z);е/(0] = 0, для всех i,	(5.40)
т.е. количество информации о сообщении s.(Z)h соответствующем ему z-m
ключе k(z), содержащееся в криптограмме e/f), должно быть равным нулю.
Среднее количество взаимной информации о сообщениях и ключах в крип-
тограммах определяется как
I[SK;E]=M[j[s((0k(0;e( (?)]],
где M[j[s,.(Ok(O;
ez(0]] — функция математического ожидания.
Так как количество информации всегда неотрицательная величина, т. е.
Дз^Ок^еД/)] >0, то равенство (5.39) всегда будет однозначно свидетельст-
вовать о выполнении (5.40). Что и требовалось доказать.
Криптограммы, формируемые при аналоговом скремблировании, с физи-
ческой точки зрения можно рассматривать, как результат искажения непрерыв-
ных сообщений источника некоторым гипотетическим непрерывным шумом
скремблирования, характеристики которого определяются элементами дис-
кретного ансамбля ключа. Исходя из этого, доказанная теорема позволяет оп-
ределить условия, при которых исключается возможность дескремблирования
криптограмм при несанкционированном доступе, т. е. когда среднее количество
информации о сообщениях в криптограммах будет стремиться к нулю.
Следствие 5,1. Пусть S, и Q случайные величины, составляющие выбо-
рочные пространства ансамблей сообщений и криптограмм, соответственно, и
пусть сгг2— дисперсия искажающего воздействия на сообщение в процессе
скремблирования. Тогда среднее количество информации о сообщениях в крип-
тограммах при аналоговом скремблировании будет стремиться к нулю, если
дисперсия сг2 будет стремиться к бесконечности, т. е. of->oo.
181
Доказательство. Введем ряд упрощений, не влияющих на общность дока-
зательства. Будем считать, что сообщения источника имеют гауссовский закон
распределения, а также, что сообщения и криптограммы статистически не свя-
заны с элементами дискретного ансамбля ключа. Таким образом, с учетом гаус-
совской аппроксимации сообщения можно представить, как гауссовскую слу-
чайную величину с нулевым средним значением, дисперсией ст2 и плотностью
вероятности вида:
(5.41)
Исходя из статистической независимости сообщений и криптограмм от
элементов дискретного ансамбля ключа, искажающее воздействие на сообще-
ние в процессе скремблирования можно считать аддитивным вида гауссовской
случайной величины с нулевым средним значением, дисперсией ст2. Тогда ус-
ловная плотность вероятности криптограмм при условии, что заданы сообще-
ния, имеет вид
(5.42)
Так как криптограммы в данном случае представляются, как сумма двух
гауссовских случайных величин, их также можно считать гауссовской случай-
ной величиной с дисперсией ст2 + ст2 и плотностью вероятности
Выражения (5.41) и (5.42) позволяют определить дифференциальную ус-
ловную энтропию для ансамблей S и Е:
h [E/S]= -	(s,.) Jp (e/s,. )logP (e(/s,. )deidsi =
2
(5.43)
- loge 67e.<is..
*
182
Учитывая, что
Ие'М
е2 - s2) б7е(. равен дисперсии условного распреде-
2
ления сгг , получаем
(5-44)
Аналогично на основании (5.43) можно определить выражение для диффе-
ренциальной энтропии криптограмм:
(5.45)
На основании (5.44) и (5.45) окончательно получаем выражение для сред-
ней взаимной информации:
1	(	(5.46)
l[S;E]=h[E]-h[E/S]=-log 1+-1- .
2	о, J
Из (5.46) следует, что среднее количество информации о сообщениях в
криптограммах стремится к нулю, когда дисперсия ст 2 стремится к бесконеч-
ности. Что и требовалось доказать.
Полученный результат может быть обобщен для случая, когда выборочные
пространства сообщений и криптограмм задаются случайными процессами. С
учетом этого доказанное следствие имеет принципиально важное практическое
значение. Оно показывает невозможность обеспечения условий ТНДШ при
аналоговом скремблировании и во многом объясняет непродуктивность поиска
подходов, практически исключающих возможность дескремблирования крип-
тограмм при несанкционированном доступе.
Теорема 5.2. Теорема цифрового скремблирования непрерывного источ-
ника. Пусть скремблирование непрерывного источника S определяется некото-
рыми дискретными ансамблями ключей К и криптограмм Е. Тогда, если сред-
нее количество взаимной информации равно I[UK;E]=0, то всегда существует
цифровое скремблирование ФСЕ), обеспечивающее невозможность дескремб-
лирования криптограмм при несанкционированном доступе к ним.
183
Доказательство. Теорема доказывается аналогично теореме 5.1 путем за-
мены в (5.40) непрерывного представления криптограмм е(0 на дискретное е(/).
Следствие 5.2. Пусть U дискретный ансамбль, элементы выборочного
пространства которого формируются в результате цифрового компандирования
сообщений ансамбля S непрерывного источника. Тогда, если при цифровом
скремблировании, заданном дискретными ансамблями ключей К и крипто-
грамм Е, средняя взаимная информация I[UK;E]=0, то всегда и только всегда
будет справедливо равенство I[SK;E]=0.
Доказательство. Как уже отмечалось, к особенности цифрового скремб-
лирования относится то, что преобразованиям цифрового скремблирования
подвергаются не сами непрерывные сообщения ансамбля S источника, а ре-
зультаты их цифрового компандирования, составляющие ансамбль U. Исходя
из этого, выражение для средней взаимной информации I[S К ;Е] может быть
представлено в виде:
l[SK;E]=I SUK;E =1 U;E +1 K;E/U +1 S;E/KU .
(5-47)
Отметим, что сумма двух первых членов правой части (5.47) соответствует
средней взаимной информации I[UK;E]=0. Исходя из этого выражение (5.47)
может быть приведено к виду
I[SK;E]=I UK;E +1 S;E/KU
(5.48)
Запишем выражение для второго члена правой части (5.48):
I S;E/KU =1 S;KUE -I S;KU .
(5-49)
Вследствие отмеченной особенности цифрового скремблирования средняя
взаимная информация о сообщениях ансамбля S источника в элементах ан-
самблей U, К и Е будет однозначно определяться средней взаимной информа-
цией о сообщениях ансамбля S в результатах их цифрового компандирования,
составляющих ансамбль U, т. е.
184
I S;KUE =1 S;KU =1 S;U .
Подставив (5.49) в (5.48), с учетом (5.50) получаем
(5.50)
(5.51)
Откуда следует, что для выполнения равенства I[S К; Е]=0 необходимо и
достаточно выполнение равенства I[UK; Е]=0. Что и требовалось доказать.
Данное следствие и его доказательство устанавливают взаимосвязь цифро-
вого скремблирования и шифрования. Так, выражение (5.51) дает основание
считать, что следствия теоремы шифрования будут однозначно справедливы и
для теоремы цифрового скремблирования. Это особенно важно при решении
проблем оценки эффективности скремблирования.
185
Глава 6
МЕТОДЫ СЖАТИЯ ИНФОРМАЦИИ ПРИ КОДИРОВАНИИ
НЕПРЕРЫВНЫХ ИСТОЧНИКОВ
6.1.	Принципы сжатия информации при кодировании непрерывных
источников
К основным принципам сжатия информации при кодировании непрерыв-
ных источников относятся:
-	эффективное кодирование результатов цифрового представления непре-
рывного источника;
-	компрессия спектральных и временных характеристик непрерывного про-
цесса, составляющего выборочное пространство ансамбля непрерывного ис-
точника;
-	параметрическое кодирование непрерывного источника;
-	разностное кодирование непрерывного источника;
-	адаптивное цифровое представление непрерывных сообщений.
Эффективное кодирование заключается в сжатии дискретной информа-
ции, формируемой при цифровом представлении информации непрерывного
источника. В основном для этих целей используются те же методы, что и при
эффективном кодировании дискретных источников.
Компрессия спектральных и временных характеристик сообщений не-
прерывного источника состоит в сжатии их амплитудных, частотных и времен-
ных диапазонов. Учитывая высокую избыточность реальных непрерывных ис-
точников, такая компрессия в ряде случаев может быть достаточно эффектив-
ной. Так, например, даже пятидесятипроцентное сжатие частотного и времен-
ного диапазонов речевых сообщений практически не отражается на качестве их
восприятия.
Параметрическое кодирование непрерывного источника предполагает
кодирование и передачу параметров сообщения, обеспечивающих его восста-
186
новление с требуемой точностью при декодировании. Преобразования пара-
метрического кодирования речевых сообщений получили название вокодерных
(от англ, voice+coder — буквально кодировщик голоса). К основным видам во-
кодерных преобразований относятся спектральные и речеэлементные.
При спектральных вокодерных преобразованиях выделяют 2 типа парамет-
ров, по которым при декодировании синтезируют исходные речевые сооб-
щения:
-	параметры, характеризующие вид спектра речевого процесса;
-	параметры, которые характеризуют огибающую спектра речевого процесса.
К параметрам первого типа относятся параметр тон-шум и частота основ-
ного тона. Параметр тон-шум характеризует вид спектра речевых сообщений:
дискретный (тон) или непрерывный (шум). Частота основного тона /от опреде-
ляет частотные составляющие дискретного спектра f
Рис. 6.1. Дискретный (а) и сплошной (б) спектры речевых сообщений
б
По принципу определения параметров огибающей спектра речевого про-
цесса различают полосные, формантные, полосно-формантные и ортогональ-
ные вокодерные преобразования. Принцип полосных вокодерных преобразова-
ний заключается в разделении спектра речи на полосы частот, называемые
спектральными каналами, и определении в каждом канале среднего значения
огибающей спектральных составляющих. Принцип формантных вокодерных
преобразований заключается в определении максимумов спектра речи (фор-
мант) и соответствующих им частот (рис. 6.1). Принцип полосно-формантных
187
вокодерных преобразований состоит в определении формант, разбиении спек-
тра речевого процесса на формантные области, формировании в каждой фор-
мантной области спектральных каналов и определении средних значений оги-
бающих спектральных составляющих в каналах. Принцип ортогональных воко-
дерных преобразований состоит в разложении огибающей мгновенного спектра
речи в ряд по выбранной системе ортогональных базисных функций и вычис-
лении коэффициентов этого разложения. Ортогональные вокодерные преобра-
зования, использующие разложение в ряд Фурье, получили название гармони-
ческих.
Необходимо отметить, что точность восстановления речевых сообщений
по принятым параметрам при декодировании определяется как точностью из-
мерения самих параметров, так и заданной частотой их измерения. Последнее
объясняется явной нестационарностью речевого процесса и изменениями вида
его спектра. Исследования статистических характеристик информационных па-
раметров речевого процесса показали, что для решения этой проблемы частота
измерения параметров должна быть не менее 40 Гц.
При речеэлементных вокодерных преобразованиях в качестве параметров
речи выступают логические формы информации источника. По принципу опре-
деления логических форм речеэлементные вокодерные преобразования подраз-
деляются на фонемные, слоговые и словесные. Принцип фонемных вокодерных
преобразований заключается в распознавании элементарных логических форм
речи (фонем) и присваивании им установленного номера. При декодировании
соответствующая принятому номеру фонема восстанавливается путем выбора
из заданного массива фонем или путем синтеза по правилам речеобразования.
Принципы слоговых и словесных вокодерных преобразований аналогично за-
ключаются в распознавании при кодировании и восстановлении при декодиро-
вании слогов и слов речевой информации источника, соответственно. При этом
предполагается возможность распознавания как слогов, так и слов блоками. Та-
кие вокодерных преобразования получили название w-слоговых и «-словесных.
Принципы речеэлементных вокодерных преобразований открывают возмож-
188
ность предельной компрессии речевых сигналов. Так, например, при общем
числе фонем 42 и формировании источником 10-ти звуков в секунду, что ха-
рактерно для реальных источников, фонемные вокодерные преобразования
способны обеспечить компрессию до 10 [log242]=60 бит/с. Однако при этом
возникает достаточно серьезная проблема, состоящая в потере индивидуальных
признаков речи, что характерно для речеэлементных вокодерных преобразова-
ний в целом.
Разностное кодирование непрерывного источника заключается в коди-
ровании разности значений случайного процесса, составляющего ансамбль ис-
точника, и результата предсказания этих значений sid. По принципу предсказа-
ния значений случайного процесса s принято различать следующие основные
виды разностного кодирования: разностное кодирование с предсказанием;
дифференциальная ИКМ (ДИКМ); комбинированная ДИКМ [46].
а	б	в
Рис. 6.2. Разностное кодирование непрерывных источников: разностное
кодирование с предсказанием (а); ДИКМ (б); комбинированная ДИКМ (в)
Принцип разностного кодирования с предсказанием (рис. 6.2, а) состоит в
формировании предсказанного значения из предыдущих значений сообщения.
Принцип ДИКМ (рис. 6.2, б) заключается в образовании предсказанного значе-
ния из предыдущих цифровых сообщений. Разновидность ДИКМ, когда кван-
тование осуществляется на 2 уровня, называется дельта-модуляцией. Принцип
комбинированной ДИКМ (рис. 6.2, в) составляет комбинацию первых двух
принципов.
189
Адаптивное цифровое представление непрерывных сообщений состоит в
изменении параметров дискретизации, квантования и кодирования в соответст-
вии с изменениями характеристик сообщения и его цифрового представления.
В зависимости от принципов изменения параметров цифрового представления
различают: адаптивную ИКМ, адаптивную ДИКМ, адаптивную дельта-
модуляцию, логарифмическую импульсно-кодовую модуляцию (с компандиро-
ванием по А- и р -закону).
При разработке методов сжатия информации непрерывных источников
рассмотренные основные принципы, как правило, реализуются комплексно в
соответствии с заданным вариантом стратегии кодирования.
6.2.	Информационное квантование
Одной из основных особенностей цифрового представления является воз-
можность формирования требуемых характеристик цифрового процесса путем
соответствующего подбора значений порогов и уровней квантования. Сущ-
ность информационного квантования составляет реализация этой возможности
применительно к критерию максимума среднего количества взаимной инфор-
мации исходного непрерывного сообщения и оценки, полученной путем обра-
ботки результатов его цифрового представления.
Пусть сообщения источника задаются случайной величиной s, которая
квантуется и в последующем воспроизводится в виде оценки s*. В данном слу-
чае с позиции информационного квантования ставится задача определения зна-
чений порогов и уровней квантования, обеспечивающих максимум среднего
количества взаимной информации I S;S
, где S и S*
ансамбли сообщений
и оценок соответственно.
Для решения поставленной задачи запишем выражение для среднего коли-
чества взаимной информации в виде
S;S*
= Н S* -Н S*/5
190
Учитывая детерминированность процедуры квантования
имеем
S /S =0),
(6Л)
№
где = j /?(s)ds.
Выражение (6.1) будет принимать максимальное значение, когда вероятно-
сти р(х^) одинаковы и равны /л x^) = l/L. Тогда
= log2 L.
(6.2)
Для определения оптимальных значений порогов квантования h^, обеспе-
чивающих (6.2), можно воспользоваться интегральным законом распределения
вероятностей F(s). Тогда исходя из требования равной вероятности сообще-
ний, следующего из (6.2), можно записать
F(s = /zW)- F(s =	=у.
При гауссовой плотности вероятности сообщений получаем
(6.4)

.(*) .(*-1)
где h и h — нормированные значения порогов квантования;
и
интегралы вероятностей
вида
Нормированные значения порогов квантования определяются из выраже-
ния
h
п -гп
S
191
где ms и os — математическое ожидание и среднее квадратичное отклонение
случайной величины s соответственно.
Оценка сообщения по кодовой последовательности х^ осуществляется
путем определения оценки для соответствующей к-й области квантования
1 h[k}	(6.5)
S* = S*^ = / f v f S • P(sps .
Значения s 7 присваиваются уровням квантования.
Выражения (6.3), (6.4) и (6.5) определяют общий алгоритм информацион-
ного квантования непрерывных источников. Формируемые в данном случае на
основании (6.5) уровни квантования s*^ будут нести максимальное среднее ко-
личество информации о квантуемых сообщениях s. Ввиду однозначности пред-
ставления s в х^, увеличение среднего количества информации в s при
неизменном числе уровней квантования L можно трактовать, как увеличение
, (*)
количества информации в символах хк что является свидетельством сжатия
информации. При этом оптимальный выбор значений и может обеспе-
чить максимально возможную степень сжатия информации.
6.3.	Дифференциальная импульсно-кодовая модуляция
Алгоритм преобразований непрерывного сообщения S(7) при ДИКМ в
общем виде представляется следующим образом:
-	определение разности As^Sj-s . результатов дискретизации сообщения
S(f) по времени S(/.) = s. и результатов экстраполяции s . значений s. по ко-
довым последовательностям х*, формулируемым при ДИКМ;
-	квантование As. по уровням, т.е. As,- As^, если < As^ < h^;
-	кодирование As^, состоящее в представлении As^ в виде кодовых после-
довательностей х^;
192
-	экстраполяция значении sz из кодовых последовательностей х;т.е. фор-
мирование snpz.
Экстраполяция (предсказание) значений s, может производиться как по те-
кущим кодовым последовательностям х;7 при j = 1, так и по предыдущим ко-
довым последовательностям при j = i- г, где г = 1...(/ -1).
Так как при ДИКМ квантованию и кодированию подвергаются не сами от-
счеты s., а разность As. = — snp., то длина (число символов) полученных в ре-
зультате кодовых последовательностей х^ будет существенно меньше, чем
при ИКМ. Отсюда следует, что каждый символ последовательности х^ будет
нести большее количество информации при равенстве суммарных количеств
информации JSbx = 1Еных до JSbx и после JSBbK ДИКМ. Это, несомненно, является
признаком сжатия информации в процессе ДИКМ. Однако остается неясным
вопрос: изменяется или нет суммарное количество информации при ДИКМ?
Ответ на этот вопрос дает следующая теорема.
Теорема 6.1. Пусть s1?s2... sR — последовательность, формируемая при
дискретизации непрерывного сообщения S(7). Пусть х(*) х^\..х^ — кодовые
последовательности, формируемые при ДИКМ сообщения S(f). Тогда, если s.
статистически независимы, то
т _ тГ 1 т	_ V тГ W"l — 1 *	(6*6)
— z Л1Х1 < Jshwx ~ z Д xi	—1..J.
/=1 1=1
Доказательство. Исходя из алгоритма ДИКМ, при доказательстве теоремы
необходимо учесть 2 варианта экстраполяции s.:
1)	формирование s . из текущих значений х^,т. е. j = i\
2)	формирование s . из предыдущих значений х^,т. е. j<i.
Докажем справедливость (6.6) для варианта j = i. Для этого определим вы-
ражение для суммарного количества информации после ДИКМ:
193
п
=ijtxi
г=1
п
7=1
В соответствии с алгоритмом ДИКМ вероятность p(xj может быть пред-
ставлена в виде
Тогда, подставив (6.8) в (6.7) и применив цепную формулу для вероятно-
сти, получаем:
п
п
п
п
(6.9)
Первое слагаемое правой части (6.9) представляет собой суммарное коли-
7=1
7=1
7=1
1=1
чество информации перед ДИКМ, т. е. Jza5 = ^J[sJ. Второе слагаемое харак-
г=1
теризует условное собственное количество информации в х) ’ при условии за-
данного значения s*. Принимая во внимание детерминированный характер
процедуры ДИКМ, значение s. однозначно определяет х)
Откуда J[x^ /s.] = 0. С учетом вышеизложенного, получаем
7	~7
(6.10)
7=1
7=1
Так как значения количества информации всегда положительны, из (6.10)
следует JSbmx > JSbx . Что и требовалось доказать.
Докажем справедливость (6.6) для варианта j <i, приняв j = i-1. Для это-
го, с учетом равенства р
,-s -xjY) ,определим выражение для сум-
марного количества информации после ДИКМ:
п
Хвых ^ВХ "I”
г=1
(6.11)
г-1
г=1
п
п
п
пр; j ;
Учитывая положительный характер значений количества информации, из
(6.11) следует JSbmx > JEbx . Что и требовалось доказать.
194
Сравнительный анализ выражений (6.10) и (6.11) показывает, что ДИКМ с
экстраполяцией по предыдущим значениям выхода хЦ обеспечивает более вы-
сокое сжатие по сравнению с ДИКМ, где экстраполяция производится по теку-
щим значениям х^\ Это следует из наличия в правой части (6.11) по сравне-
нию с (6.10) дополнительного суммарного количества информации х^ при ус-
ловии sf.
При комбинированной ДИКМ вероятность p(xj может быть представле-
на в виде рIx^) = р(Sj-s^-s^x^ 1. Откуда по аналогии с (6.11) суммарное коли-
чество информации выхода может быть представлено в виде
Евых
п |-	_ w _	_ и _
= JZbx + V J Х^ / sz- + V J S  / S,.x^ + У J S, J / SfS -X^
ZjBX	?—1 Z	Dp! Z Z—1	z—1	! npz Z“1
/=1	1=1	1=1
(6.12)
По сравнению с (6.11) правая часть (6.12) дополнительно включает сум-
марное количество информации s.4 при условии s., s . и x^J. Это при одина-
ковом числе символов в х^ свидетельствует о более высокой степени сжатия
информации, чем при обычной ДИКМ.
Таким образом, можно прийти к выводу, что ДИКМ обеспечивает сжатие
информации непрерывного источника путем:
-	сокращения числа символов в кодовых последовательностях выхода в ре-
зультате разностного кодирования;
-	увеличения суммарного количества информации о состояниях источника
за счет экстраполяции входа по кодовым последовательностям выхода.
При этом применение комбинированной ДИКМ позволяет обеспечить бо-
лее высокую степень сжатия.
6.4. Дискретные wavelet-преобразования
Идея дискретных wavelet-преобразований (Discrete Wavelet Transform или
DWT) заключается в том, что из сообщений х., полученных при дискретизации
195
и квантовании непрерывных сообщений s(/) источника S, формируется ин-
формация о математическом ожидании и среднем отклонении состояний этого
источника на интервалах дискретизации	Таким образом, информация
сообщений хг подвергается двум видам преобразований:
-	грубому g. = fr (хрх/+1), состоящему в определении информации о матема-
тическом ожидании состояний источника S на интервалах ;
-	дополнительному h. =£д(х.,х.+1), состоящему в формировании информа-
ции о среднем отклонении состояний источника S на интервалах дискретиза-
ции
Функции fr(x.,xj+1) и £д(хрх/+1) в каждом конкретном случае задаются
применяемым методом DWT и традиционно представляются, как характери-
стики некоторых соответствующих видов фильтров:
-	фильтров НЧ (Hear Low Pass Filter), реализующих грубое преобразование;
-	фильтров ВЧ (Hear High Pass Filter), осуществляющих дополнительное
преобразование.
Результат дополнительного преобразования может в последующем подвер-
гаться аналогичной обработке.
Таким образом, при wavelet-преобразовании в общем случае последова-
тельность x0,x1,x2,...,xf?, полученная в результате дискретизации и квантования
сообщения s(7), преобразуется в последовательность значений
g0,h0,g1,h1,...,gf?,hn. Значения g. и h. этой выходной последовательности при-
нято называть коэффициентами wavelet-преобразования.
Теорема 6.2, Если х^х^х^.^х.,...^ —последовательность, полученная в
результате дискретизации и квантования сообщения s(7) непрерывного источ-
ника S, то wavelet-преобразование этой последовательности будет приводить к
увеличению суммарного количества информации, т. е. JSbmx > JEbx , где JSbx и
196
JlKbix — суммарное количество информации до и после wavelet-преобразования
соответственно.
Доказательство. При wavelet-преобразовании последовательность
х0,хрх2,...,хл преобразуется в последовательность коэффициентов
g0, h0,g1; hj.g„, h„, которая определяется как g,. =fr(x,.,x,.+1) и
hf = f„(xpxM). Учитывая детерминированный характер функций f_ и fr, мож-
но считать, что p(g,.) = p(xj,xj+1) и p(h,) = p(x(,x(+1).
Тогда количество информации в g. и h. может быть определено как
Приведенные выражения позволяют получить систему уравнений, отра-
жающую информационный образ полученной последовательности коэффици-
ентов wavelet- преобразования:
(6.13)
Из системы уравнений (6.13) следует аналитическое выражение для сум-
марного количества информации после wavelet- преобразования:
1	п—1	п—1
J^=J[xol + 2yj[xil + yj[x,.+i/x,] + yj[x,/x,+i] + j[x 1.
ZjBbix l v j	l • J	L	• J	L * J L ” J
i=l	1=0	1=0
(6.14)
197
Учитывая, что JZbx =^J[xz , окончательно получаем
i=0
п—1	п—1	п—1
1=1	/=0	?=0
(6.15)
Учитывая, что значения количества информации не могут быть отрица-
тельными, из (6.15) следует неравенство JSbmx > JEbx. Что и требовалось дока-
зать.
Доказательство теоремы показывает, что при wavelet-преобразовании фор-
мируется дополнительная информация, потенциально способная обеспечить
повышение точности восстановления непрерывной информации. С физической
точки зрения это объясняется тем, что при вычислении коэффициентов wavelet-
преобразования определяются математическое ожидание и среднее отклонение
состояний непрерывного источника на интервалах дискретизации, что позволя-
ет в определенной степени компенсировать потери информации, возникающие
при дискретизации.
Анализ выражения (6.13) подсказывает правомерность практически важно-
го следствия.
Следствие 6.1. Если при wavelet-преобразовании формируются только
чётные коэффициенты g . и h , то суммарное количество информации выход-
ной последовательности будет не меньше суммарного количества исход-
ной информации JSbx , т. е. будет выполняться неравенство
(6.16)
всегда и только всегда, когда в состав формируемой последовательности коэф-
фициентов будет включено исходное сообщение хп.
Доказательство. При формировании только четных коэффициентов wave-
let-преобразования система уравнений (6.13) приводится к двум формам пред-
ставления, зависящим от четности числа сообщений гг.
1) если п — нечетное:
198
(6.17)
2) если п — четное:
(6.18)
На основании (6.17) и (6.18) выражение (6.15) для суммарного количества
информации после wavelet- преобразования принимает вид
+EJ[x«/x> т"	ieW ЕИ“ =K + ZJ[xw/x. t	i<=lV	] + J[x./х.+1], если «-нечетное, 1	г	1 г 1	(6.19) ] + ^Дх./х.+1]-J[xJ, если w-четное, ieW
где W = (0,2,4,6,...).
Из (6.19) следует, что неравенство (6.16) всегда выполняется при нечетных
значениях п. При четных п оно будет выполняться при следующем условии:
Е 4х>+1 /xJ+Е J[xi7 x-+i] - 4х»] •	(6-20)
ieW	i<=W
Таким образом, условие (6.20) накладывает определенное ограничение на
выполнение (6.16) в целом. Однако, учитывая высокую избыточность реальных
источников непрерывной информации, его можно считать несущественным.
При этом оно может быть достаточно просто устранено путём включения в со-
став формируемой последовательности коэффициентов g. и h. сообщения хп.
Что и требовалось доказать.
199
Следствие 6.2. Если при wavelet-преобразовании формируются только не-
чётные коэффициенты gy и hy, то суммарное количество информации выход-
ной последовательности JlKbIX будет не меньше суммарного количества исход-
ной информации JSbx, т. е.
Евх ’
(6.21)
всегда и только всегда, когда в формируемой последовательности коэффициен-
тов будут включены исходные сообщения хп и х0.
Доказательство. Аналогично доказательству следствия 6.1 нетрудно пока-
зать, что при формировании только нечетных коэффициентов wavelet- преобра-
зования система уравнений (6.13) приводится к двум формам в зависимости от
четности п'.
1) если п — четное:
(6.22)
2) если п — нечетное:
(6.23)
В результате, суммарное количество информации после wavelet-
преобразования, заданного системами уравнений (6.22) и (6.23), определяется
для =(1,3,5,7,...) как
200
^Евх + Х^[Х1+1^Х;. +	/Хг+1]	X0. >
т'	/г ол\
Jv = 5	„	„	(6.24)
JI»x + Z J[X>+1 /xi] + Z J[Xi /xi+l]- j[Xo] - J[XJ-
je^i
Из (6.24) следует, что (6.21) выполняется всегда при условии
Z J[x.-i /xJ+Е J[xi /хж] * 4хо]+J[x J >	(6,25)
ieFTj	zeFFj
причем для четного числа п данное ограничение ослабляется до
Z J[x>+i /xJ+Z J[xi7 x<+J - J[xo] •	(6-26)
Ограничения (6.25) и (6.26) могут быть сняты путём включения в состав
формируемой последовательности g. и h. исходных сообщений хп и х0. Тогда
(6.21) будет выполняться всегда и только всегда. Что и требовалось доказать.
Теорема 6.2 и её следствия показывают, что при wavelet-преобразовании
происходит увеличение суммарного количества информации о состояниях ис-
ходного непрерывного источника. При обычном DWT, как видно из (6.13), это
увеличение происходит более чем в два раза. Учитывая, что общее число сим-
волов (букв), используемых для передачи информации до и после преобразова-
ния, при этом не может возрасти более чем в два раза, можно считать, что сред-
нее количество информации на символ (букву) в данном случае будет возрас-
тать. При формировании только четных или нечетных коэффициентов DWT,
как следует из (6.19) и (6.24), суммарное количество информации возрастает на
сумму условных собственных информаций исходных сообщений х. и х/+1. При-
нимая во внимание высокую избыточность реальных источников непрерывной
информации, можно ожидать, что эта сумма будет значительной, т. е. увеличе-
ние суммарного количества информации DWT будет существенным. При этом
число символов (букв), используемых для передачи информации, в данном слу-
чае, по крайней мере, не будет увеличиваться. Отсюда среднее количество ин-
формации на символ (букву) будет возрастать. Известно, что увеличение сред-
него количества информации на символ (букву) в процессе какого-либо преоб-
разования является характерным признаком уменьшения избыточности и отсю-
201
да сжатия информации. С этих позиций можно сделать вывод, что wavelet-
преобразование обеспечивает сжатие информации, причем для реальных не-
прерывных источников это сжатие может оказаться существенным. Однако с
позиций традиционного представления о сжатии информации как уменьшении
числа необходимых для её передачи символов (букв) при неизменном объёме
информации, здесь наблюдается принципиальное отличие. Как следует из тео-
ремы 6.1, замечательным свойством wavelet-преобразования является увеличе-
ние суммарного количества информации о состояниях исходного непрерывного
источника. Причем это увеличение, как видно из следствий 6.1 и 6.2, наблюда-
ется даже при сокращении в 2 раза числа формируемых коэффициентов wave-
let-преобразования. Следует отметить, что в данном случае реализуется также
традиционное сжатие, выражающееся в уменьшении числа символов (букв),
используемых для передачи информации. Это сжатие обычно незначительно,
так как обеспечивается в основном за счет уменьшения длины коэффициентов
h. по сравнению с g. и х.. Видимо поэтому в большинстве практических при-
ложений методы wavelet-преобразования обычно используются в комплексе с
методами, осуществляющими традиционное сжатие, такими, как метод Хафф-
мана и т.п.
Таким образом, можно прийти к выводу, что wavelet-преобразование обес-
печивает сжатие информации непрерывного источника путем:
-	увеличения суммарного количества информации о состояниях источника;
-	сокращения числа символов, используемых для передачи информации.
Эта особенность выгодно отличает методы wavelet-преобразования и явля-
ется одной из основных причин их широкого применения на практике.
Метод DWTXapa является наиболее простым wavelet-преобразованием,
при котором информация о математическом ожидании состояний непрерывно-
го источника S' на интервале формируется путём определения среднего
арифметического значения квантованных выборок, соответствующих границам
202
этого интервала, а информация о среднем отклонении — путём определения их
полуразности.
Таким образом, при использовании методов DWT Хара исходная последо-
вательность х(«) = (х0,х1,х2,...,хл), представляющая собой результат дискре-
тизации и квантования выхода непрерывного источника S', подвергается:
- грубому преобразованию
X,. + х,.+1.	(6.27)
6/ Л ?
- дополнительному преобразованию
(6.28)
Выражения (6.27) и (6.28) задают общий алгоритм преобразований для
DWT Хара, из которого следует система уравнений
Нетрудно заметить, что в этом случае последовательность коэффициентов
g. и h. будет содержать избыточную информацию относительно исходной по-
следовательности. Так, здесь х. определяется как х. =gf -h^. Это можно трак-
товать как двойное увеличение количества исходной информации в процессе
преобразования х., что является подтверждением доказательства теоремы 6.1.
Отсюда часто при реализации DWT Хаара формируют только четные или толь-
ко нечетные коэффициенты g. и h.. Согласно следствиям 6.1 и 6.2 при этом не
происходит уменьшение суммарного количества информации. Таким образом,
формируемая часть коэффициентов g. и h. (четные или нечетные) содержит
полную информацию о всех х. исходной последовательности х(и):
- четные g. и h.
* *
- нечетные g. и h.
203
xi = Si— Ьр Х2 = Si Ьр х3 = g3 — ^3? Х4 = g3 + h3, ....
В более сложных методах DWT Хара предусматривается повторная обра-
ботка результата дополнительного преобразования h. по рассмотренному алго-
ритму. Общее число букв (символов), используемых для передачи информации,
при таком преобразовании уменьшается.
Пример. Пусть последовательность х(и) = (x1,...,xf?), представляющая со-
бой последовательность сообщений х. о выборках растра полутонового изо-
бражения, подвергается DWT Хара. Если длина каждого сообщения х. состав-
ляет 8 двоичных символов, то для формирования каждого коэффициента грубо-
го преобразования g. потребуется также 8 двоичных символов. При этом для
формирования коэффициентов h., как показала практика, будет достаточно уже
4-х двоичных разрядов. Таким образом, длина последовательности g. и h., по-
лученной в результате преобразования, будет на 2п двоичных разрядов меньше
длины исходной последовательности х(и) из п сообщений.
6.5.	Дискретные косинусные преобразования
Идея дискретного косинусного преобразования (ДКП) заключается в сле-
дующем. Если случайный процесс, представляющий непрерывные сообщения,
подвергнуть преобразованию Фурье (или какому-либо подобному линейному
преобразованию), разделив его на две составляющие (НЧ и ВЧ), и подвергнуть
каждую из них цифровому представлению, отбросив половину двоичных раз-
рядов только в составляющей ВЧ, то результирующие потери информации бу-
дут незначительными (в пределах 5 %). Данный эффект обусловлен тем, что
низкочастотные составляющие большинства случайных процессов, представ-
ляющих реальные сообщения, обычно гораздо более интенсивны и несут гораз-
до больше информации, нежели высокочастотные составляющие. Это в равной
степени относится как к аудиоинформации, так и к видеоинформации.
204
В отличие от преобразования Фурье, которое применяет для разложения
непрерывного сообщения синусные и косинусные частотные составляющие, в
ДКП используются только косинусные составляющие, что повышает эффек-
тивность сжатия. Дискретное косинусное преобразование позволяет перейти от
пространственного представления информации в виде матричных наборов
цифровых отсчетов (пикселов) к спектральному представлению в виде набора
частотных составляющих и наоборот. Таким образом, при применении ДКП
цифровые отсчеты непрерывных сообщений располагаются в виде некоторого
поля (изображения), которое разбивается на квадратные блоки, как правило,
размером 8x8=64 пиксела. Выбор такого размера блоков обусловлен тем, что
при меньшем размере эффект сжатия будет небольшим (при размере 1x1 — во-
обще отсутствовать), а при большем — свойства изображения (поля) в пределах
блока будут сильно изменяться, что может приводить к снижению эффективно-
сти кодирования. В дальнейшем эти блоки обрабатываются и кодируются неза-
висимо друг от друга.
Дискретное косинусное преобразование от изображения IMG ( х, у ) оп-
ределяется как
\	\ (2i + О'™	(2J +
DCT(u,v) = J-XlMG(Xl, ^)cos---——cos—,
где N=8, 0<i<7, 0<j<7, или в матричной форме
RES = DCTT * IMG * DCT
где DCT — матрица базисных (косинусных) коэффициентов.
Таким образом, в результате применения к блоку изображения размером
8x8 пикселов дискретного косинусного преобразования формируется двумер-
ный спектр, также имеющий размер 8x8 отсчетов. Другими словами, 64 числа,
представляющие отсчеты изображения, превратятся в 64 числа, представляю-
щие отсчеты его DCT-спектра.
Отметим, что при преобразовании Фурье спектр непрерывного сообщения
представляется в виде коэффициентов, с которыми соответствующие спек-
205
тральные составляющие входят в сумму, определяющую это сообщение. От-
дельные спектральные составляющие, на которые раскладывается непрерывное
сообщение, часто называют базисными функциями. Для преобразования Фу-
рье базисными функциями являются синусы и косинусы разных частот. Для
блока изображения размером 8x8 пикселов ЛСТ-система базисных функций
задается формулой
й(х, у) = cos
(2х + 1)ия
16
cos
(2у + \)ул
16
а сами базисные функции выглядят подобно приведенным на рис. 6.3.
Рис. 6.3. Система базисных функций ДКП
Дискретное косинусное преобразование вычисляется путем поэлементного
перемножения и суммирования блоков изображения 8x8 пикселов с каждой из
этих базисных функций. Необходимо отметить, что чем ниже и правее в матри-
206
це DCT его компонента, тем более высокочастотным составляющим она соот-
ветствует.
Для того чтобы получить исходное изображение по его DCT-спектру (вы-
полнить обратное преобразование), нужно базисную функцию с индексами
(0,0) умножить на спектральную компоненту с координатами (0,0), прибавить к
результату произведение базисной функции (1,0) на спектральную компоненту
(1,0)ит.д.
Особенностью формируемых £>СТ-спектров является то, что наибольшие
их значения соответствуют низкочастотным составляющим. При этом высоко-
частотным составляющим соответствуют относительно небольшие числа.
Обычно более половины полученных в результате ДКП коэффициентов нуле-
вые или имеют очень небольшие значения. Они могут быть безболезненно от-
брошены или, по крайней мере, округлены до ближайшего целого значения.
Эта особенность составляет основу процедуры сжатия DCT-спектров, которая
определяется, как квантование.
Квантование в данном случае заключается в делении каждого коэффици-
ента DCT на некоторое число в соответствии с матрицей квантования. Эта мат-
рица может быть фиксированной или, для более качественного и эффективного
сжатия, формироваться в результате анализа характера исходного изображения.
Чем больше числа, на которые происходит деление, тем больше в результате
деления будет нулевых значений, а значит, сильнее сжатие и существеннее по-
тери. Таким образом, от выбора таблицы квантования будет в значительной
степени зависеть как эффективность сжатия — число нулей в квантованном
спектре, так и качество восстановления исходного непрерывного сообщения.
Методы ДКП нашли широкое применение при решении задач сжатия ви-
деоинформации (изображений), позволяя получать более или менее искажен-
ный поблочный спектр изображения.
207
6.6.	Фрактальное кодирование
Идея фрактального кодирования (сжатия) основана на гипотезе, согласно
которой в любом изображении можно обнаружить локальное самоподобие раз-
личных его частей. Понятие фрактал (fractus — состоящий из фрагментов, лат.),
определяющее часть изображения, было предложено математиком Б. Ман-
дельбротом в 1975 г. для обозначения нерегулярных, но самоподобных струк-
тур. Одним из основных свойств фракталов является самоподобие, которое в
самом простом случае означает, что небольшая часть фрактала содержит ин-
формацию о всём фрактале. Фрактальные методы рассматривают самоподобие
как источник избыточности. Считается, что самоподобие является свойством
почти всех природных объектов и, следовательно, устранение этой формы из-
быточности может значительно уменьшить объём информации, необходимой
для описания природного объекта или его изображения.
Среди известного большого разнообразия фракталов наиболее примени-
мым видом фракталов являются фракталы на основе системы итеративных
функций IFS (Iterated Function System),которые представляют собой трехмер-
ные аффинные преобразования, переводящие одно изображение в другое (ко-
ордината точки изображения X, координата точки изображения У и яркость
точки 7). Методы IFS применительно к построению фрактальных изображений
заключаются в моделировании изображения несколькими меньшими его фраг-
ментами путем применения специальных уравнений (функций), позволяющих
переносить, поворачивать и изменять масштаб участков изображения таким об-
разом, чтобы эти участки служили компоновочными блоками формируемой
модели изображения. Исходя из этого, существующие методы фрактального
сжатия, как правило, придерживаются следующей схемы кодирования:
1.	Кодируемое изображение разбивается на множество неперекрывающих-
ся блоков (ранговых областей).
2.	Для каждой ранговой области в пределах этого же изображения, ищется
блок большего размера (домен), пикселы которого путём некоторого преобра-
208
зования, задаваемого несколькими коэффициентами, переводились бы в пиксе-
лы ранговой области.
3.	Из преобразований, переводящих домены в ранговые области, формиру-
ется отображение, переводящее изображение в модель изображения.
4.	Кодом изображения являются местоположение и размеры ранговых об-
ластей, а также коэффициенты преобразований, описывающих самоподобие
внутри изображения.
Для оценки эффективности фрактального кодирования, как правило, при-
меняется коэффициентом сжатия в виде отношения битового представления
изображения к битовому представлению кода.
Восстановление закодированного таким образом изображения производит-
ся на основе принципа сжатых отображений, который состоит в том, что
сжимающее отображение, действующее в полном метрическом пространстве,
имеет единственную неподвижную точку. Отображение, действующее на пол-
ном метрическом пространстве изображений, формируется из преобразований,
переводящих домены в ранговые области. Неподвижной точкой такого отобра-
жения (при условии, что оно является сжимающим) будет восстановленное
изображение.
Пусть изображение разбито на N ранговых областей Rh для каждой из ко-
торых найден соответствующий домен и преобразование w,, задаваемое ко-
эффициентами (сп,с/2,...,с^), такое, что для каждого r&Rj существует та-
кое, что r=Wi(d). Объединением отображений является W\
^(я)=ЦИ4).
i
Так как каждое преобразование переводит в гг, то ^(^) =	•
Преобразования должны являться сжимающими, т. е. такими, что для
всех di, d^Di выполняется неравенство
С; • \dk d) |;
где

0<с, <1.
209
Доказано, что если преобразования wz- являются сжимающими, то и ото-
бражение Wтакже является сжимающим.
Если представить изображение в виде функций двух переменных f (л; у), то
на множестве всех таких функций можно ввести метрику (расстояние между
изображениями), например, следующим образом:
5(/,g)=max(|/(x, y)-g(x, у)\\
х, у
Согласно теореме Банаха, существует определённый класс отображений,
для которых существует константа с< 1 такая, что для любых изображений / ng
выполняется неравенство 3 (W(/), W(g)) < с • 3 (f9 g).
Такие отображения называются сжимающими, и для них справедливо
следующее утверждение. Если к какому-то изображению Fo многократно при-
менять отображение Wтаким образом, что FJ+l =	> т0 в пределе,
»=1
при /, стремящемся к бесконечности, получается одно и то же изображение вне
зависимости от того, какое изображение было взято в качестве Fo. Таким обра-
зом, = F.
Это конечное изображение F называют аттрактором, или неподвижной
точкой отображения W. При этом следует учитывать, что преобразования
действуют только на соответствующие домены Dz изображения F
Таким образом, для компрессии изображения необходимо:
1.	Разбить изображение на ранговые области гг (непересекающиеся облас-
ти, покрывающие все изображение).
2.	Для каждой ранговой области найти область di (называемую домен-
ной) и отображение w,, с указанными выше свойствами.
3.	Запомнить коэффициенты аффинных преобразований W, положения до-
менных областей dh а также разбиение изображения на домены.
Для восстановления изображения, закодированного таким образом, необ-
ходимо запустить итерационный процесс, используя в качестве стартового лю-
210
бое изображение Fq (соответствующего размера). Согласно принципу сжатых
отображений, отображение W будет иметь единственную неподвижную точку
отображения (аттрактор), такую что F’=W(F’). Эта точка пространства изобра-
жений и будет восстановленным изображением, которое повторяет исходное с
некоторой точностью.
Соответственно, для декомпрессии изображения необходимо:
-	создать какое-то (любое) начальное изображение Fo;
—	многократно применить к нему отображение W (объединение wz);
-	после достаточного количества итераций, когда изображение перестанет
меняться, определить аттрактор.
Количество информации для полного представления модели ранговой об-
ласти может быть определено как J* = + Ja + J* + , где — количество ин-
формации о координатах доменов; Je — количество информации о типе аф-
финного преобразования; — количество информации о коэффициентах кон-
траста; JA — количество информации о коэффициентах яркости.
Количество информации о координатах доменов может быть представлено
в виде Jrf = log2AfZ¥J + Ll°g2 • Здесь и NdY - количества доменов, уме-
щающихся по горизонтали и вертикали, которые рассчитываются по формулам
где FY и Fx — вертикальный и горизонтальный размеры изображения,)^ —
размер доменного блока, — шаг поиска доменной области.
Обычно значения количеств информации Je, и JA находятся в пределах:
J =3 бита, L =9 бит и J, =7 бит.
* Л	fj
С учетом этого коэффициент фрактального сжатия определяется из выра-
жения Кф = Jr/J*, где J, — исходное количество информации до фрактального
кодирования.
211
Пример. Определим коэффициент фрактального сжатия изображения раз-
мером 256x256 пикселей с шагом исследования доменной области 4 пиксела.
Тогда = NdY = (256-8+1)/4 = 62,	=|_log262j + |_log262j = 12 и J,= 12+3+9+7=31.
Коэффициент сжатия S составляет ^ф=(8х8х8)/31=16,5.
Полученный в примере коэффициент сжатия может быть увеличен в разы
путем применения известных способов оптимизации фрактального кодирова-
ния. К одному из таких способов можно отнести идентификацию однотонных
блоков. Однотонным блоком называется ранговая область, у которой средне-
квадратичное отклонение от собственного среднего значения не превышает не-
которого установленного значения. При этом в выходной файл будет записана
только средняя яркость точки, за счёт чего для ранговых областей размером 8
может быть достигнут коэффициент сжатия ^ф=64. Однако необходимо пом-
нить, что увеличение степени сжатия может привести к существенным потерям
качества восстанавливаемого изображения. Информационные границы фрак-
тального сжатия для заданной точности восстановления изображения опреде-
ляются эпсилон-энтропией цифрового представления видеоинформации.
212
Глава 7
ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПЕРЕДАЧИ ИНФОРМАЦИИ
7.1.	Схема и общая математическая модель передачи информации
В классической теории информации процесс передачи информации опи-
сывается в терминах ансамблей сообщений и кодовых комбинаций. Ансамбли
отражают основные этапы преобразования информации в процессе ее передачи
и составляют основу представления схемы передачи информации (рис. 7.1).
Каждый ансамбль задается выборочным пространством, вероятностной мерой и
алфавитом, из букв которого составляются элементы выборочного пространст-
ва.
Дискретный канал
Рис. 7.1. Схема передачи информации
Ансамбль сообщений источника информации U задается выборочным
пространством	, и2,.. .u/W^ j ? элементами которого являются сообщения
u£ = I u\k"'uL.k I• Буквы сообщений выбираются из алфавита букв источни-
\ /
ка A = ^«1....«W3 j с определенными вероятностями р(а^ ...р[ат^. Заданному
выборочному пространству приводится в соответствие вероятностная мера,
213
представляющая собой конечное множество вероятностей его элементов
В результате кодирования ансамбль сообщений U преобразуется в ан-
самбль кодовых последовательностей на входе канала X, который задается
выборочным пространством (х рх 2 > • •
, где хА = xlk...xNk, вероятностной
мерой
алфавитом	) с вероятностями букв
При передаче в канале под воздействием искажающего влияния помех ан-
самбль X преобразуется в ансамбль кодовых последовательностей на выходе
канала Y. Данный ансамбль определяется выборочным пространством
(урУ2-Ум4 ), где yk =\yik—yN k ), вероятностной мерой ( рСу^-рСу^) ) и
\	Л /	'	*
идентичным с ансамблем X, алфавитом 0=^...^).
В ходе декодирования образуется ансамбль сообщений получателя ин-
формации V с выборочным пространством I vi?v2"*vm9 I, где — (vu...v£ fc),
\	2 /	k
вероятностной мерой I p(vi)-p(vm9 )) и алфавитом А - (av..a ) .
Таким образом, процесс передачи информации от источника к получателю
может быть представлен в виде цепи последовательного изменения ансамбля
сообщений источника: U - X - Y — V. Такое представление весьма удобно, как
основа последующего описания процесса передачи, учитывая, что информаци-
онными характеристиками, которые принято использовать для этого, являются
энтропия, условная энтропия и среднее количество информации. При этом об-
разуется фундаментальный потенциал для отображения динамики процесса пе-
редачи, которая в общем виде отражается следующей цепью преобразований
(рис. 7.2).
214
Кодирование
Рис. 7.2. Цепь преобразований процесса передачи информации
Искажения в	f1
п
канале Декодирование
(помехи)
Каждый z-й интервал времени Г источник информации формирует сооб-
щение u(7^) = u., соответствующее ансамблю сообщений источника U. В ре-
зультате кодирования f это сообщение преобразуется в кодовую последова-
тельность (кодовую комбинацию) х., соответствующую ансамблю X. При пе-
редаче кодовая комбинация х. подвергается воздействию искажений и преоб-
разуется в кодовую комбинацию У,, соответствующую ансамблю Y кодовых
комбинаций на выходе канала. Кодовая комбинация У/ подвергается декоди-
рованию I п , в результате чего формируется сообщение, относящееся к ан-
самблю V, которое выдается получателю информации.
Передача информации считается идеальной, если принятое сообщение v.
однозначно соответствует переданному и,, т. е. v, = и* для всех i. Если это ус-
ловие не выполняется, то для оценки степени приближения к идеальному вари-
анту передачи информации вводится вероятность Ре того, что и. и v. не совпа-
дут:
Ре = Z Z />(u,v) .
u v^u
Передача информации, обеспечивающая минимальное значение Ре при за-
данных условиях передачи, считается оптимальной.
Общая математическая модель передачи информации с позиций схемы
(рис. 7.1) определяется в виде
I[U;V] = H[U]-H[U/V],	(7.1)
215
где I[U;V] - - среднее количество информации о сообщениях ансамбля U, со-
держащееся в принятых сообщениях ансамбля V; н[и] — энтропия ансамбля
сообщений источника информации; H[U/V — условная энтропия, характери-
зующая среднее количество информации, которого не хватает для принятия од-
нозначного решения о переданном сообщении ансамбля U после получения со-
ответствующего ему сообщения ансамбля V.
Представление процессов передачи информации, где информация измеря-
ется в битах, называется двоичным представлением. В ряде теоретически
важных случаев возникает необходимость применения натуральных логариф-
мов, что означает измерение информации в натах. Представление процессов
передачи информации, где информация измеряется в натах, считается нату-
ральным представлением.
Условная энтропия H[U/V характеризует потери информации при её пе-
редаче от источника к получателю. Таким образом, задача оптимизации общей
математической модели (7.1) сводится к уменьшению значения H[U/V до ми-
нимальной величины, возможной при заданных условиях передачи информа-
ции. При этом обязательно устанавливается область определения значений
н[и/у для заданных условий передачи информации.
Теорема 7.1. Пусть UV является совместным ансамблем, в котором выбо-
рочные пространства V и U состоят из одних и тех же М2 элементов. Пусть
Реявляется вероятностью того, что переданные сообщения и. не равны приня-
тым V.. Тогда
i
H[U/V] < Pelog(M2 -1) + л-[Ре],	<7-2)
где Л-[Ре] = -Pelog Ре - (1 - Ре) log(l - Ре).
Из выражения (7.2) следует, что средняя неопределенность H[U/V имеет
две составляющие. Первая представляет среднюю неопределенность передан-
ного сообщения, в случае если произошла ошибка. Так как неопределенность в
216
этом случае состоит в выборе между (М2 -1) альтернативами, то эта состав-
ляющая ограничена сверху значением Pclog(A/2-l). Вторая составляющая
представляет среднюю неопределенность, относящуюся к тому, была соверше-
на ошибка или нет в принятом сообщении v,. Она ограничена сверху значени-
ем Vf[Pe], которое принято определять как среднюю неопределенность ошиб-
ки. Приведенная теорема устанавливает область определения значения H[U/V
и Ре (рис. 7.3). Эта область обозначена в виде заштрихованного участка, огра-
ниченного сверху кривой (7.2). Уменьшение площади этого участка можно
трактовать как уменьшение потерь информации при её передаче.
Рис.7.3. Область определения значений H[U/V]
Обеспечение требуемого минимального уровня потерь информации при ее
передаче определяется как помехоустойчивость. Задача обеспечения требуе-
мой помехоустойчивости передачи является основной задачей кодирования для
канала.
7.2.	Принципы кодирования для канала
Кодирование для канала fj можно представить как инъективное отобра-
жение вида fj : U —> X, где кодовая последовательность х. g X определяется
из сообщения (слова) источника u. g U как х.= fl (uz). Это означает, что со-
общения (слова) u. =(uil...uL_i) формируемые источником из букв алфавита
217
A = (ax...anh) и составляющие выборочное пространство ансамбля U источника,
в соответствии с определенным правилом (кодом) f преобразуются в соответ-
ствующие им кодовые последовательности (кодовые слова) х. = (^...х^.), со-
ставляющие выборочное пространство (кодовый словарь) ансамбля X и форми-
руемые из букв алфавита D = (Д
Приведенное представление кодирования для канала является достаточно
общим. Его дальнейшая конкретизация требует ответа на четыре вопроса:
1.	Каким путём должна решаться основная задача кодирования для канала
— задача обеспечения помехоустойчивости?
2.	Как должны соотноситься размерности выборочных пространств ан-
самблей U и X, а также длины составляющих их элементов L. и N. 1
i	I
3.	При каких условиях производительность источника будет оказывать
влияние на помехоустойчивость передачи информации?
4.	Что следует понимать под источником информации, принимая во вни-
мание предварительное кодирование источника?
Ответы на эти и производные от них вопросы определяют принципы коди-
рования для канала.
Согласно (7.1) максимальная помехоустойчивость обеспечивается при
H[U/V = 0. Такую помехоустойчивость называют абсолютной.
Теорема 7.2. Пусть UXYV является совместным ансамблем, в котором
выборочные пространства U и V состоят из одних и тех же М2 элементов.
Пусть при передаче информации обеспечивается абсолютная помехоустойчи-
вость. Тогда
H[V] = H[U] + H[V/U]	(7.3)
Доказательство: Используя известную формулу цепной вероятности, за-
пишем выражение для энтропии совместного ансамбля UXYV:
H[UXYV] = H[ul + H[V/U] + H[X/UV] + H[Y/XVU]	(7.4)
J 3
218
H[UXYV] = H[v] + H[U/V] + H[X/UV] + H[Y/XVU]
(7-5)
Из равенства правых частей выражений (7.4) и (7.5) с учетом, что при
обеспечении абсолютной помехоустойчивости H[V/U] = 0, имеем
H[v]=H[u]+H V/U]. Что и требовалось доказать.
Как уже отмечалось, понятие «энтропия ансамбля» имеет двоякий смысл.
С одной стороны, она рассматривается как средняя неопределенность элемен-
тов ансамбля, с другой — как среднее количество информации в этих элемен-
тах. Условная энтропия h[v/u] в (7.3) характеризует среднюю неопределен-
ность сообщения, формируемого в результате декодирования, при условии со-
ответствующего сообщения источника, которое подверглось кодированию. Эту
условную энтропию можно трактовать как среднее количество информации,
которого не хватает при кодировании известного сообщения источника для
принятия однозначного решения о том, какое сообщение будет сформировано у
получателя в результате декодирования. С этих позиций теорема 7.2 устанавли-
вает следующее.
При кодировании для обеспечения помехоустойчивости к информации со-
общения должна добавляться дополнительная (избыточная) информация, по-
зволяющая уменьшить (или снять) неопределенность о том, какое сообщение
будет сформировано в результате декодирования.
Отсюда следует, что для решения задачи обеспечения помехоустойчивости
кодирование для канала должно предусматривать введение избыточной инфор-
мации. Причем для обеспечения оптимальной помехоустойчивости среднее ко-
личество этой избыточной информации должно быть равно H[U/V . Введение
дополнительной информации при кодировании для канала возможно только
путём искусственного выбора кода fn (правила кодирования). Отсюда эта про-
цедура получила название введения искусственной избыточности.
Таким образом, можно прийти к выводу, что решение задачи обеспечения
помехоустойчивости при кодировании для канала достигается путём введения
219
искусственной избыточности. Вполне логично, что коды, используемые для
этих целей, получили название избыточных, или помехоустойчивых.
Из теоремы 7.2 следует, что эффективность избыточных (помехоустойчи-
вых) кодов определяется степенью приближения величины вводимой ими из-
быточности к некоторой абсолютной величине, обеспечивающей выполнение
условия H[V/U] = H[U/V . При этом величина вводимой избыточности опре-
деляется условной энтропией H[U/V , которая может быть представлена как
г	-I	М2М2
Н U/V =-Е Zp(utvr)logp(vr/ut).
L	J	£=1 г—1
Вероятности p(v/u£) составляют элементы так называемых стохастиче-
ских матриц, обычно используемых для задания помехоустойчивых кодов.
Это позволяет предположить существование идеальных стохастических
матриц, соответствующих кодам, обеспечивающим оптимальную помехо-
устойчивость. Степень приближения к ним стохастических матриц реальных
кодов будет характеризовать эффективность этих кодов.
Введение искусственной избыточности при кодировании источника требу-
ет соответственного преобразования выборочного пространства ансамбля U в
выборочное пространство ансамбля X. Прежде всего это преобразование долж-
но приводить к увеличению исходной избыточности, определяемой избыточно-
стью ансамбля источника В[и].
Принимая во внимание выражение B[U =Hmax[U] - H[U], можно прийти к
заключению, что такое увеличение может быть достигнуто путём увеличения
информационной ёмкости источника Hmax[U] t Из выражения Hmax[U] = logM2
следует, что для этого требуется увеличение числа элементов в выборочном
пространстве U. Таким образом, число элементов в выборочном пространстве
ансамбля X должно превышать число элементов выборочного пространства ан-
самбля U, т. е. М3 > М2.
220
Для характеристики предпочтительной степени этого превышения вос-
пользуемся представлением выборочных пространств ансамблей, участвующих
в процессе передачи информации, в виде некоторых полей, а кодирование и де-
кодирование — действиями над этими полями (рис. 7.4).
а
Рис. 7.4. Кодирование для каналов как действия над полями: обнаружение
ошибок (а); исправление ошибок (б)
Из приведенных выше рассуждений следует, что поля, соответствующие
ансамблям X и Y, должны содержать большее число элементов, чем поля, соот-
ветствующие ансамблям U и V. Тогда часть элементов полей X и Y однозначно
соответствует элементам полей U и V. Эти элементы называются разрешенны-
ми (обозначаются знаком Часть элементов не соответствует ни одному из
элементов полей U и V. Эти элементы считаются запрещенными (обозначают-
ся знаком Если при декодировании кодовая комбинация поля Y относится
к разрешенным (I), то она преобразуется в соответствующую комбинацию поля
V. Если при декодировании обнаруживается, что кодовая комбинация поля Y
является неразрешенной (II), то принимается решение об ошибке. Из рис. 7.4,а
видно, что для обнаружения ошибок число элементов поля X должно не менее
221
чем в 2 раза превосходить число элементов поля U, т. е. Af3 > 2М2. Естествен-
но, при этом сохраняется вероятность того, что при искажении разрешенная
кодовая комбинация преобразуется в другую разрешенную комбинацию и
ошибка не будет обнаружена. Однако, выбором метода кодирования эта веро-
ятность может быть доведена до сколь угодно малой величины. Для исправле-
ния обнаруженных ошибок необходимо, чтобы разрешенные элементы полей X
и Y разделяло не менее двух запрещенных (рис. 7.4,6). Этим в определенной
мере снимается неопределенность в принятии решения о том, какая разрешен-
ная комбинация была искажена. Так, если в процессе декодирования будет об-
наружено, что кодовая комбинация поля Y является запрещенной (III), то при-
нимается решение о том, что передавалась ближайшая к ней разрешенная кодо-
вая комбинация и формируется соответствующее ей сообщение поля V. Таким
образом, соотношение между числом элементов М2 поля U и числом элемен-
тов Л/3 поля X, позволяющее обеспечить исправление ошибок, определяется
как > 4 М2.
Представление процессов кодирования и декодирования в виде действий
над полями подсказывает целесообразность определения расстояний между
элементами поля. Это расстояние получило название кодового расстояния. Ко-
довым расстоянием между кодовыми последовательностями одинаковой дли-
ны считается число не совпадающих символов (букв) на соответствующих по-
зициях. Обычно кодовое расстояние называют расстоянием по Хеммингу, или
расстоянием Хемминга, и обозначают как </(х,- ,х .).
Пример. Определим кодовое расстояние (расстояние по Хеммингу) между
кодовыми последовательностями xt = (0110110) и х2 =(1101011). Для обнару-
жения числа несовпадающих символов проведем сложение этих комбинаций по
модулю 2:
222
X 1 : О 1 1 О 1 1 О
х ? : 1 1 О 1 О 1 1
Лх : 1 0 1 1 1 0 1
Сумма единиц в полученной последовательности Ах дает искомый ре-
зультат: расстояние по Хеммингу между х1 и х2 равно ^(хрх2)=5.
Сообщения (слова) и кодовые последовательности, участвующие в процес-
се передачи информации, могут иметь постоянную длину (одинаковое число
букв) и переменную длину (неодинаковое число букв). Это определяет сле-
дующие типы помехоустойчивого кодирования:
-	помехоустойчивое кодирование типа BV, при котором длина сообще-
ний (слов) источника Ц постоянная, Д = L = const, а длина соответствующих
им кодовых последовательностей х, - переменная, Nt Ф const;
-	помехоустойчивое кодирование типа ВВ, где фиксированы
L =L = const и N. =7V=const;
-	помехоустойчивое кодирование типа VB, при котором
Д ф const,=7V=const;
-	помехоустойчивое кодирование типа W, где Z. Ф const, а
TV. =7V=const.
Первые два типа кодирования BV и ВВ обычно определяют как блочное
кодирование. Основной особенностью этого вида кодирования является коди-
рование сообщений постоянной длины. При этом, если сообщения (слова) ис-
точника имеют произвольную длину, то из них формируются блоки постоянной
длины Л, которые затем подвергаются кодированию. Это во многом объясняет
название, которое получил данный вид кодирования.
Обычно при анализе процессов передачи информации в качестве основы
принимается блочное кодирование типа ВВ, с последующим обобщением по-
лученных результатов на другие типы кодирования. Этот прием достаточно
полно апробирован в учебных и научных источниках и хорошо зарекомендовал
223
себя как с методической, так и с научной точек зрения. Поэтому в дальнейшем
он будет использоваться в качестве основы и при необходимости будут делать-
ся обобщения на другие типы кодирования. Блочные коды обычно обозначают,
как (N,L) - - коды. Кроме этого, учитывая цифровую идеологию построения
современных систем передачи информации, будем считать, что алфавиты ан-
самблей U, X, Y и V являются двоичными (	= 2, w3 = 2 J . Из этого следует,
что число элементов в выборочном пространстве ансамбля U источника сооб-
щений будет определяться как М2 — 2L, а число элементов в ансамбле X кодо-
вых последовательностей — как М3 = 2N. Однако это не исключает рассмот-
рение при необходимости ансамблей с алфавитами, имеющими другое число
букв.
Нетрудно заметить, что рассматриваемое представление процесса переда-
чи информации пока еще остается статичным. Для придания ему динамики
обычно вводится понятие «скорость кодирования».
Скорость кодирования представляет собой отношение информационной
емкости источника на сообщение Hmax[U] к числу символов N в кодовых по-
следовательностях, формируемых в результате кодирования:
бит

.символ.
Подставив в (7.6) выражение для
Hmnx [U] ? с учетом того, что = 2 ,
получаем
log2 мз _ log21L _ L  log2 2
N N N
бит
символ
(7.7)
Скорость кодирования в данном
случае отражает максимальное среднее
количество информации источника, которое
в результате кодирования может
передаваться в символе кодовой последовательности.
Обозначим время поступления на вход кодера для канала одного символа
(буквы) сообщения как , а время передачи одного символа кодовой последо-
224
вательности — как . При этом будем считать, что кодирование производит-
ся без изменения масштаба времени Ntc=Lts, а отношение rs/^c является
целым числом. Тогда длина кодовой последовательности может быть опреде-
лена выражением
т	(7.8)
N=L—
*
к
Подставив (7.8) в (7.7), получаем:
/?=^lOg22
Л '	(7-9)
В этом случае скорость кодирования можно трактовать, как максимально
допустимое число двоичных символов (бит) информации, поступающих на
вход кодера для канала за время передачи в канал символа кодовой последова-
тельности. Тогда скорость передачи информации от источника ии при ко-
дировании fn со скоростью кодирования R, на основании (7.9) может быть оп-
ределена как
Vv=RUnK’ [бит/с],	(7.10)
где Ои — скорость передачи символов в канале [символ/с].
Скорость передачи информации от источника vu характеризует среднее
количество информации источника в секунду, поступающее в канал после ко-
дирования для канала, и зависит от параметров источника и используемого из-
быточного кода. Скорость передачи символов в канале (скорость передачи в
канале) определяется исключительно параметрами канала и не зависит от ин-
формационных характеристик системы передачи. Чтобы подчеркнуть это, от-
ношение символ/секунда часто обозначают как бод, т. е. 1символ/с=1 бод.
Учитывая, что кодированию для канала, как правило, предшествует коди-
рование источника, требует уточнения, что в данном случае понимается под ис-
точником. Это объясняется тем, что сообщения на входе кодера для канала
225
обычно представляют не что иное, как кодовые последовательности с выхода
кодера источника. Исходя из этого, под источником информации при кодиро-
вании для канала будем понимать некий виртуальный источник, ансамблем ко-
торого является ансамбль кодовых последовательностей, полученный в резуль-
тате кодирования реального источника.
7.3. Общая математическая модель каналов передачи информации
Основу представления каналов в теории информации составляет их описа-
ние в терминах ансамблей кодовых последовательностей на входе и выходе ка-
нала [1,2]. Это, как правило, позволяет получать достаточно простые и точные
модели реальных каналов передачи, применение которых приводит к нетриви-
альным подходам к задачам построения телекоммуникационных систем. Ис-
пользование той или иной модели часто является вопросом выбора. Этот выбор
обычно определяется целым комплексом причин, однако в любом случае в ос-
нове его лежит классификация канала по тому или иному признаку.
На основании анализа схемы рис. 7.1 можно прийти к выводу, что в зави-
симости от постановки задачи канал передачи информации (канал связи) может
быть дискретным или непрерывным.
Если основу задачи составляет анализ кодирования и декодирования для
канала, то целесообразно относить модуляцию и демодуляцию к каналу, и в
этом случае канал является дискретным. Общая математическая модель дис-
кретного канала передачи информации представляется как
I[X;Y] = H[X]-H[X/Y]	(7.11)
где н[х]- - энтропия ансамбля кодовых последовательностей на входе канала;
Н[х] — условная энтропия, характеризующая искажения последовательностей
хг- при передаче в канале
г И М3М3
H[X/Y] = -£ Ер(х*Уг)^Р(х*/уг).
кг
226
С другой стороны, если интерес представляет как кодирование, так и мо-
дуляция или если появляется потребность комплексного рассмотрения этих
этапов как единого целого, то соответствующий канал будет являться непре-
рывным (каналом с непрерывными параметрами).
Общая математическая модель непрерывного канала может быть пред-
ставлена в виде
I[XY] = h[X]-h[X/Y],	U Л2)
где X и Y — непрерывные ансамбли на входе и выходе канала с непрерывны-
ми параметрами, соответственно; ЬРП — дифференциальная энтропия ансамб-
ля на входе канала; h[X/Y] — дифференциальная энтропия, характеризующая
искажения в непрерывном канале:
h[X/Y] = - f p(x1(?)y1(z))logP(x1(?)/y1(/))6Zz
—СС	?
где р(х1(0у1(0) и Р(х1(0/У1(0)
плотности вероятностей.
В зависимости от характера поведения вероятностной меры совместного
ансамбля XY каналы принято разделять на стационарные и нестационарные.
Нестационарными называются каналы, вероятностная мера которых изменя-
ется во времени. Стационарными называются каналы, вероятностная мера ко-
торых не зависит от времени.
7.4. Представление кодов в виде многочленов
Представление кодирования для каналов с позиций действий над полями
рис. 7.4 позволяет рассматривать код как некоторое правило математических
(алгебраических) действий над определенным «полем», основу которого со-
ставляет алфавит ансамблей сообщений и кодовых последовательностей.
Именно это представление способствовало появлению алгебраической теории
кодирования, составляющей в настоящее время основу описания и исследова-
ния помехоустойчивых кодов.
227
Значительная часть теории алгебраического кодирования основана на тео-
рии конечных полей. Полем считается множество, по меньшей мере, двух эле-
ментов, замкнутое по двум операциям, называемым сложением (+) и умноже-
нием (•) и удовлетворяющее трем аксиомам:
1.	Множество элементов образует абелеву группу по операции сложения.
2.	Множество ненулевых элементов образует абелеву группу по операции
умножения.
3.	Выполняется дистрибутивный закон (а + Ь)-с = а*с + Ь- с для всех а,
Ь, с.
Приведенное определение поля содержит понятие «абелева группа». Дан-
ное понятие детально изучается в рамках теории групп и может быть сформу-
лировано на основе общего понятия «группа».
7.4.1.	Группы и подгруппы
Группой называется множество элементов а, £>, с с операцией, обозначае-
мой общим символом * , обладающей следующими свойствами:
Свойство 1. Для любых элементов а и Z?, принадлежащих множеству,
(а * 6) также принадлежит этому множеству.
Свойство 2. Для любых элементов а, Ь, с, принадлежащих множеству,
справедливо равенство а*(Ь*с) =(а*Ь}*с, определяющее свойство ассоциа-
тивности.
Свойство 3. В множестве обязательно имеется нейтральный элемент е, та-
кой что а*е = е*а = а для всех а, принадлежащих множеству.
Свойство 4. Для любого элемента а из множества существует принадле-
жащий множеству обратный элемент а-1, удовлетворяющий соотношению
а * а-1 = а-1 * а = е.
Абелевой группой называется группа, обладающая свойством коммутатив-
ности а * b = Ъ * а для всех а и Ь, принадлежащих множеству.
В качестве операции, обозначенной «*», могут выступать обычные опера-
ции сложения или умножения. Например, целые числа с операцией сложения
228
образуют группу. В этом случае 0 является нейтральным элементом, а обрат-
ным элементом для а служит - а.
В случае использования двоичного алфавита {0, 1} его элементы 0 и 1 об-
разуют группу, в которой операцией «*» является сложение по модулю два
«®».
Таким образом, при определении поля для двоичных кодов:
-	абелева группа по операции сложения представляет собой группу из 0 и
1 с операцией сложения по модулю два и нейтральным элементом 0;
-	абелева группа по операции умножения — группу 0 и 1 с обычной опе-
рацией умножения и нейтральным элементом 1.
Подгруппой группы G считается подмножество S элементов группы при
том же определении операций, что и в группе G.
Порядком группы или подгруппы называется число элементов в группе
или подгруппе.
7.4.2.	Поля и многочлены
Обычно при решении задач кодирования для канала принято применять
поля с конечным числом состояний, которые получили название полей Галуа.
Поле при этом принято обозначать, как GF(q) , где q является порядком поля.
Порядок поля Галуа q в соответствии с теорией групп равен числу элементов
поля. С этих позиций кодирование можно рассматривать, как преобразование
многочленов, определяемых используемыми кодами над полем GF(q).
Многочленом над GF(q) степени п называется выражение вида
если ап... а0 являются элементами GF(q) и если первый коэффициент ап —
ненулевой.
Символ х в многочлене F(x) называется неопределенным. Его нельзя ин-
терпретировать как переменную или неизвестный элемент поля. Это объясняет-
ся тем, что при операциях над полем:
229
во-первых, определяющую роль играет последовательность коэффициен-
тов, определяемая многочленом, а не сам многочлен, как функция;
во-вторых, часто вместо х необходимо подставлять элемент, не принадле-
жащий первоначальному полю.
Пример, Представим число 73, формируемое источником информации, в
виде многочлена, определяемого двоичным натуральным кодом:
73^F(2) = H^ + 0*25+0*24+P240*22 + 1 ->F(x) = x6+х3+1.
64	8
В данном случае F (х) рассматривается как многочлен над полем по моду-
лю два. Элемент 2 не принадлежит этому полю. Коэффициенты Cli при этом
могут принимать значения 0 и 1. Коэффициенты ai,= 0 и состоящие при них

X обычно при записи многочлена опускаются, однако при записи кодовой
комбинации они обязательно восстанавливаются (1001001).
Представление кодов в виде многочленов открывает возможность рас-
сматривать процесс кодирования как последовательность алгебраических пре-
образований. При этом основу данных преобразований составляют элементар-
ные операции сложения, вычитания, умножения и деления многочленов над не-
которым полем.
Сумма двух многочленов над данным полем есть многочлен над тем же
полем, определяемый по правилу
7=0
Над полем по модулю два операция сложения коэффициентов в правой
части выражения производится по mod 2.
Пример, (х2 + х +1 ] + (х2 +11 = (1 Ф 1)х2 + (1Ф0)х + (1Ф1) = х.
Произведение двух многочленов над данным полем есть многочлен над
тем же полем, определяемый соотношением
f(x)+g(x) = xfZ/^.-7
j \ .7=0	)
230
Умножение многочлена f(x) над некоторым полем на элемент этого
поля определяется соотношением
j
7.4.3.	Методика построения кодов. Алгоритм Евклида
Теорема 7.3. Алгоритм Евклида. Пусть f(x) и S(x) — многочлены над
полем GF(q) и пусть S(x) имеет степень, не меньшую 1. Тогда существуют
единственные многочлены g(x ) и г(х ) над полем GF(q), для которых
f(x) = S(x) g(x) + r(x),	(7.13)
где степень г(х) меньше, чем степень S(x).
Алгоритм Евклида (7.13), определяемый теоремой, является основопола-
гающим для понимания процесса помехоустойчивого кодирования с позиций
его представления в виде действий над многочленами.
Так, например, кодирование слов (сообщений) источника (А,£)-кодом при
его применении может быть представлено как
f (x) = u(x) g(x) + r(x),
где g(x) —порождающий многочлен степени (7V-Z).
Многочлен f (х) степени N соответствует разрешенной кодовой последо-
вательности, если г(х) = 0:
f;,(x) = u(x)g(x).	(7.14)
Все остальные многочлены, для которых выполняется условие г(х)^0,
будут соответствовать запрещенным кодовым последовательностям (рис. 7.4).
Исходя из (7.14), смысл порождающего многочлена g(x) состоит в том, что он
является делителем для всех кодовых слов.
Таким образом, декодирование можно рассматривать как результат деле-
ния многочлена f (х) на многочлен g(x’). При этом, если деление производится
231
без остатка (г(х) = 0), то это означает, что £(х) = £Дх) и декодирование осу-
ществляется без ошибок. Деление f(x) на g(x) более удобно представлять, как
произведение f(x’) на некоторый многочлен h(x), производный от g(x). Мно-
гочлен h(x) называется проверочным. Декодирование в данном случае будет
рассматриваться как результат произведения f (х) h(х).
Порождающие g(x) и проверочные h(x) многочлены определяют конст-
рукцию помехоустойчивого кода. Иначе говоря, подбором и определением мно-
гочленов g(x) и h(x), для конкретной постановки задачи можно конструиро-
вать соответствующие помехоустойчивые коды.
Многочлен называется приводимым, если существуют 2 многочлена
g(x) и h(x) над рассматриваемым полем GF(q), каждый из которых имеет
степень, не меньшую 1, удовлетворяющие условию
f(x) = g(x)h(x).	(7.15)
Другими словами, многочлен f (х ) является приводимым, если он делится
на g(x) и при использовании алгоритма Евклида (7.13) получаем г(х) = 0.
Многочлен считается неприводимым, если условие (7.15) не выполняется.
Таким образом, помехоустойчивое кодирование может быть представлено,
как добавление (присоединение) к L символам каждого сообщения источника
(TV-Z) проверочных символов и формирование над полем GF(q) многочленов
f(x), соответствующих кодовым последовательностям из N символов. При
этом задача состоит в определении для f(x) порождающих g(x) и провероч-
ных многочленов, позволяющих получить минимальную вероятность
ошибки декодирования при заданном множестве условий. Выбранные таким
образом многочлены g(x) и h(x) будут определять искомый помехоустойчи-
вый код.
232
7.5.	Представление кодов в виде матриц
При конструировании кодов, обнаруживающих ошибки, в кодовый сло-
варь необходимо ввести определенную структуру. Наиболее успешно исполь-
зуемая структура состоит в том, что символы кодовых последовательностей
считаются элементами некоторого конечного поля GF(q), а сами кодовые по-
следовательности образуют векторное подпространство последовательностей
длины /V над полем GF(q). Пусть и, и g/rj при l<n<Nявляются элементами по-
ля GF(q). Тогда если символы этих кодовых последовательностей определяют-
ся как
(7Л6)
/=1
то такие коды называются линейными -кодами.
Исходя из (7.16), на основании алгоритма Евклида формирование кодовых
последовательностей х. =(х1...хдг) из сообщений и. =(и1...и£) может быть
представлено как х. = и. G, где и. - вектор сообщения над полем GF(q); х. —
вектор соответствующей иг. кодовой последовательности над тем же полем; G
— матрица размерностью LxN, элементами которой gen являются состав-
ляющие векторов g., заданных над GF(q) порождающими многочленами.
Матрица G получила название порождающей (производящей) матрицы кода.
В общем случае при передаче вектора х. вектор у. на приеме может со-
держать ошибку, вызванную шумовой последовательностью z. Обнаружение
этой ошибки производится проверочной матрицей Н размерностью N х L, эле-
ментами которой являются составляющие проверочных векторов h, заданных
над полем GF(q) проверочными многочленами. Для двоичного кодирования
такой алгоритм обнаружения ошибки может быть представлен в виде
233
Если z .Н = 0, то принимается решение, что ошибки нет и производится де-
кодирование и.. Если z.H = S., где S > 0, то принимается решение об обнару-
жении или исправлении ошибки. При этом матрица Н строится таким образом,
что х.Н всегда является нулевым вектором, т.е. х.Н = 0. Видимо поэтому мат-
рицу Н иногда называют порождающей матрицей нуль-пространства и
представляют в транспонированном виде. Вектор-строка S. с {N-L} компо-
нентами
S^z.H	(7.17)
называется проверочным синдромом или просто синдромом.
Следует отметить, что соотношение (7.17) не позволяет точно установить,
какая шумовая последовательность действительно имела место при передаче.
Оно представляет собой соотношение, справедливое для всех М2 = 2£ возмож-
ных последовательностей ошибок, соответствующих М2 разрешенным кодо-
вым последовательностям. В связи с этим возникает задача нахождения реше-
ния уравнения (7.17), которое обладает минимальным весом. Один из путей
решения данной задачи основан на применении таблиц декодирования.
Принцип применения таблиц декодирования заключается в следующем.
Составляется список из 2N~L возможных значений S и каждому из них ставится
в соответствие последовательность z с минимальным весом, затем всех z, об-
ладающих единичным весом, затем весом 2 и т.д. Для каждого z вычисляется
синдром S = z Н и, если в дальнейшем списке появится уже вычисленный син-
дром S, то соответствующий ему новый вектор z опускается. Составление таб-
лицы заканчивается, как только все возможные 2N~L вектора S появятся в таб-
лице. На рис. 7.5,6 представлена такая таблица декодирования для системати-
ческого кода, приведенного на рис. 7.5,а.
234
U	X
ООО	OOOOOO
001	001110
010	010101
011	011011
100	100011
101	101101
110	110110
111	111000
a
S	z	H
ООО	OOOOOO	011
011	100000	101
101	010000	110
110	001000	100
100	000100	010
010	000010	001
011	000001
111	100100
6
Рис. 7.5. Принцип применения для систематического кода (а) таблиц
декодирования (б)
Если при использовании этого кода принята последовательность
у = 010011, то S=yH = 110. Согласно приведенной таблице (рис. 7.5,а)
z = 001000, откуда наиболее вероятное слово х = у Ф z=011011. Поэтому деко-
дируется сообщение и = 011. Это следует из того, что приведенный код являет-
ся систематическим, т. е. первые 3 символа кодовой последовательности х со-
ответствуют символам сообщения и, а остальные будут проверочными.
Приведенное в таблице множество шумовых последовательностей z точно
совпадает с множеством ошибок, которые будут исправлены независимо от пе-
реданной кодовой последовательности. В тех случаях, когда в канале появляет-
ся любая из этих шумовых последовательностей, декодер вычисляет соответст-
вующий синдром и отыскивает в таблице декодирования эту шумовую после-
довательность. В случае, когда появляется шумовая последовательность, не со-
держащаяся в таблице, результат декодирования получается ошибочным. Та-
ким образом, вероятность ошибочного декодирования для дискретного симмет-
ричного канала без памяти будет равна вероятности появления шумовой после-
довательности, не включенной в таблицу. Для кода, представленного на
рис. 7.5,а, и декодирующей таблицы (рис. 7.5,6) исправляются все одиночные
ошибки, а также одна из двойных ошибок.
Изложенное выше может быть обобщено на весь класс помехоустойчивых
кодов, из чего следует вывод: помехоустойчивый код может быть однозначно
определен порождающей и проверочной матрицами, а также при необходимо-
сти таблицей декодирования.
235
Представление кодов в виде порождающей и проверочной матриц нагляд-
но отражает процессы кодирования и декодирования, а также упрощает выход
на конкретные схемы решения при конструировании помехоустойчивых кодов.
Кроме этого оно имеет еще одну замечательную особенность. Оказывается,
большинство помехоустойчивых кодов может быть разделено на группы, у ко-
торых проверочные и порождающие матрицы имеют одинаковую конструкцию
и общие для всех кодов каждой группы принципы образования. Это во многом
упрощает изучение и исследование помехоустойчивых кодов, так как позволяет
проводить анализ их возможностей в целом для ансамбля кодов, имеющих ана-
логичные порождающие и проверочные матрицы. Кроме этого отмеченная осо-
бенность существенно облегчает отнесение исследуемого кода к тому или ино-
му ансамблю кодов из совокупности ансамблей, составляющих классификацию
помехоустойчивых кодов.
Так, например, порождающие матрицы G всех систематических
кодов с проверкой на четность имеют одинаковую конструкцию (рис. 7.6), пре-
дусматривающую разделение на подматрицу L х L и подматрицу (TV - Z) х Z.
Подматрица L х L, соответствующая первым L столбцам, является единич-
ной. Матрица (TV —Z)xZ включает дополнительные элементы gy.. Таким обра-
зом, если при исследовании какого-либо помехоустойчивого кода его порож-
дающая матрица окажется аналогичной рис. 7.5, то этот код с достаточной до-
лей уверенности может быть отнесен к ансамблю систематических (N,L}~ ко-
дов с проверкой на четность.
Представление кодов в виде многочленов и матриц составляет основу ал-
гебраической теории кодирования, которая является одним из самых эффектив-
ных «инструментов» исследования и синтеза помехоустойчивых кодов. Однако
в ряде случаев сложность математического аппарата этой теории приводит к
определенным затруднениям. Тогда применяются другие подходы, в основе ко-
торых, как правило, также лежат представления кодов в виде многочленов или
матриц. Так, представление кодов в виде многочленов над некоторым полем
236
позволяет рассматривать кодирование, как действие над векторами, со-
ответствующими кодовым последовательностям над этим полем. Это открыва-
ет возможность подхода, предполагающего спектральное представление про-
цесса кодирования. Представление кодов в виде матриц совместно с понятиями
абелевых групп, подгрупп и т.п. позволяет применить подход, основанный на
математическом аппарате теории конечных автоматов и так далее.
7.6.	Минимальное кодовое расстояние
Одним из наиболее часто употребляемых параметров эффективности при-
менения и конструирования помехоустойчивых кодов, при использовании рас-
смотренных выше представлений, является минимальное кодовое расстояние.
Минимальным кодовым расстоянием называется минимальное хэмминговое
расстояние между разрешенными кодовыми последовательностями, состав-
ляющими кодовый словарь. Хэмминговым расстоянием здесь считается число
соответствующих символов, которыми отличаются две кодовые последова-
тельности. Тогда, если d — минимальное кодовое расстояние, то считается, что
код будет исправлять до I ошибок, а также обнаруживать все кодовые последо-
вательности, содержащие более чем 7, но не более г = (б/ — 7 — 1) ошибок, когда
г > t + 7 +1.
Для линейных кодов определение минимального кодового расстояния мо-
жет быть упрощено. Минимальное кодовое расстояние для линейного кода
определяется как вес ненулевой разрешенной кодовой последовательности,
имеющей минимальный вес в кодовом словаре. Весом кодовой последова-
тельности принято считать число ненулевых компонент соответствующего
вектора над полем GF(q). С учетом этого определения, хэмминговое расстоя-
ние, разделяющее любые две кодовые последовательности линейного кода
хг и хк, равно весу вектора, представляющего собой разность векторов, со-
ставляющих хг и хк над полем GF(q). Таким образом, компонента (xr ~ хк)
237
не равна нулю, тогда и только тогда, когда соответствующие компоненты в хг
и в х£ различны. Но так как код является линейным, то последовательность
Ху =Ху -х* сама является словом кодового словаря и имеет вес, равный расстоя-
нию между х г и х k. Это объясняет определение для минимального кодового
расстояния линейного кода, приведенное выше.
При исследовании кодов, исправляющих и обнаруживающих ошибки, их
кодовые словари оцениваются путем сравнения соответствующих им мини-
мальных кодовых расстояний; наилучшим кодом при любых заданных пара-
метрах LmN считается тот, для которого это минимальное расстояние d макси-
мально. Однако следует отметить, что наилучший в этом смысле код не обяза-
тельно будет наилучшим в смысле обеспечения минимальной вероятности
ошибки. Эта мера, конечно, связана с хэмминговым расстоянием, но необяза-
тельно монотонно зависит от него ввиду своей зависимости от помех в канале
передачи информации, которые носят случайный характер. Таким образом, эф-
фективность любого кода в конечном итоге определяется каналом передачи,
для которого этот код применяется. Исходя из этого, анализ и решение задач
помехоустойчивого кодирования целесообразно осуществлять применительно к
конкретным моделям (видам моделей) каналов передачи информации.
В каналах, где каждый символ выхода канала обязательно идентифици-
руется с одним из символов входа, максимальное число ошибок гиах, при
котором факт искажения кодовой последовательности достоверно обнаружи-
вается, определяется равенством = d^ -1.
При числе ошибок г < dmm — 1 искаженная кодовая последовательность не
может совпасть ни с одной из разрешенных. Поэтому факт искажения обна-
руживается всегда. При г > dmm — 1 также могут быть случаи обнаружения
факта наличия ошибок, однако не всегда, а значит, недостоверно. При этом
максимальное число достоверно исправляемых ошибок определяется нера-
венством
238
7 Чпт-1	(7.18)
7	пгт_	V /
^тах
При выполнении условия (7.18) ближайшей к принятой по метрике Хэм-
минга обязательно будет переданная кодовая последовательность, и выбран-
ное правило декодирования обеспечит правильное исправление ошибок.
В каналах со стиранием достоверное восстановление переданной кодовой
последовательности при отсутствии трансформированных символов обеспечи-
вается при числе стертых символов s, удовлетворяющем условию:
s <<4^-1.
При этом для идентификации принятой кодовой последовательности с
переданной достаточно ввести в рассмотрение укороченный код, исключив как
в принятой, так и во всех разрешенных кодовых последовательностях пози-
ции, содержащие стертые символы в принятой кодовой последовательности.
Переданная кодовая последовательность будет соответствовать той разрешен-
ной кодовой последовательности, которая совпадает с принятой в укороченном
коде. Кодовое расстояние для укороченного кода меньше исходного на число
исключенных позиций, но не менее dmm—s. Поэтому при наличии s стертых
символов появляются дополнительные возможности обнаружения и исправ-
ления ошибок кроме восстановления стертых символов. Эти возможности оп-
ределяются :
- максимальным числом достоверно обнаруживаемых ошибок
---- d 1 S 1 ,
max min	7
— максимальным числом достоверно исправляемых ошибок
— -у —1)/2;
max х mm	/	"
- максимальным числом достоверно обнаруживаемых ошибок при ис-
правлении t ошибок
г —d — s — I
max min	*
/<(^-5-1)72.
239
Необходимо понимать, что применение помехоустойчивых кодов для ис-
правления ошибок повышает вероятность имитации разрешенных кодовых по-
следовательностей, что может привести к снижению имитостойкости канала.
При этом снижение имитостойкости будет тем большим, чем выше кор-
ректирующая способность кода, исправляющего ошибки.
При полном использовании корректирующей способности такого кода, ко-
гда любая принятая кодовая последовательность идентифицируется с одной из
разрешенных, для имитационного воздействия на канал достаточно воспроиз-
водить в любой последовательности символы алфавита канала без учета
структуры кода. Поэтому полная реализация способности помехоустойчивого
кода исправлять ошибки не всегда целесообразна.
В высоконадежных каналах с относительно малой вероятностью иска-
жения отдельных символов для повышения имитостойкости целесообразно ис-
кусственно ограничивать число исправляемых ошибок I значением, меньшим
(d -1)/2. При этом отождествление принятой кодовой последовательности с
одной из разрешенных производится только в случае, когда расстояние
между ними не более I. В этом случае, при исправлении до I ошибок, можно
достоверно обнаружить факт искажения кодовой последовательности при
числе ошибок, большем I, но не превышающем значения , если выполняют-
ся2условия: ^=^-/-1 и l< (d^—1)/2.
Таким образом, в данном случае возможны следующие варианты иденти-
фикации кодовой последовательности:
1)	при числе ошибок г <1 они достоверно исправляются;
2)	при числе ошибок I <r <d — I -1 достоверно обнаруживается факт ис-
кажения принятой кодовой последовательности;
3)	при r>d —1-1 может иметь место ложная идентификация принятой
кодовой последовательности.
240
Глава 8
КОДИРОВАНИЕ ДЛЯ ДИСКРЕТНЫХ КАНАЛОВ
8.1. Дискретные каналы
Дискретные каналы принято разделять на дискретные каналы с памятью и
дискретные каналы без памяти.
Дискретным каналом с памятью называется канал, у которого выход в
каждый момент статистически зависит как от текущего входа, так и от предше-
ствующих входов и выходов. Память в дискретных каналах объясняется целым
рядом причин, действующих в реальных каналах. Одна из них заключается в
межсимвольной интерференции. В этом случае выходная последовательность
Ji статистически зависит от нескольких входных Ху = (ху..^.) и её условная
вероятность будет определяться, как ^(у/Ху). Другой причиной являются
замирания в реальных каналах. Так, например, при передаче двоичных симво-
лов в канале с замираниями, относительно медленными по сравнению со скоро-
стью передачи, ошибки будут группироваться вместе. Таким образом, под
влиянием замираний канал обладает памятью в том смысле, что он помнит, ко-
гда он находился в плохом состоянии, и имеет тенденцию оставаться в этом со-
стоянии в течение определенного интервала времени.
Дискретным каналом без памяти принято считать канал, выход которо-
го в каждый момент времени зависит только от текущего входа. В данном ка-
нале вероятность У& при условии, что последовательность хг определяется
условной вероятностью вида Р\Д k^r) • При этом каждая буква выходной по-
следовательности
у к =(,У1к-уД
зависит только от соответствующей буквы
входной последовательности и условная вероятность
р(Ук/хг)
задается равен-
ством
241
р(у^хг) = Пр(^/л.,.).
/=1
(8.1)
При таком представлении дискретный канал является каналом без памяти,
если существуют такие переходные вероятности
ливо для всех N, всех Уj G Y и всех х. е X
Условные вероятности Р
Ьк/Хг
характеризуют вероятностную меру ка-
нала и составляют так называемую канальную матрицу
\ е X, у е Y.
ч-F
Отметим, что в отличие от стохастической матрицы кода
p(V /иу) , кото-
рая зависит как от параметров кода, так и от параметров канала, канальная мат-
рица определяется только параметрами канала.
Общая математическая модель ошибок для дискретного канала без памяти,
исходя из теоремы 8.1, может быть представлена как
Н[Х/У]<РеЛ^(мз-1) + 7Г[РеЛ],
где — вероятность ошибки при передаче кодовой последовательности в
канале.
Средняя неопределенность	вероятности Рс,у рассчитывается по
формуле
] =	- (1 - ^c,;V ) 1°ё - ^с,\ ) •
Симметричными каналами называются каналы, у которых
Р (у) = Р (Х/Уj ) . Вероятности Р (\/х/) при i=j называются вероятно-
стями правильного приема, а при bfy — вероятностями ложного приёма.
242
Двоичными каналами называются каналы, ансамбли входа X и выхода Y
которых имеют двоичные
алфавиты А = (а1°2 ) • Обычно буквы таких алфави-
тов представляются как - 0, а2 = 1.
Наиболее часто используемой моделью канала в задачах передачи инфор-
мации является двоичный симметричный канал без памяти (ДСКБП). В основ-
ном это объясняется тем, что данная модель довольно хорошо согласуется с
большинством реальных каналов связи телекоммуникационных систем.
8.2. Пропускная способность и скорость передачи
Пропускной способностью С дискретного канала считается наибольшее
среднее количество информации, которое может быть передано в символе ко-
довой последовательности. Обычно число переданных символов называют
числом использования канала. Так, передача одного символа обозначается как
одно использование канала, двух символов — как два использования и так да-
лее.
На основании общей математической модели канала (7.11) пропускная
способность С представляет собой максимальное среднее количество информа-
ции, которое может содержаться в букве yk е Yt кодовой последовательности
на выходе канала о букве xr е Х] кодовой последовательности на входе канала
при его однократном использовании:
«з тз / ч .2 (X /у, )
С = maxipCpYJ = max^ £ log' V / J	(8.3)
r=l Л=1	p [xr ) ’
где Xt и Yt — ансамбли входа и выхода канала, соответствующие одному ис-
пользованию канала.
Принимая во внимание, что
выражение (8.2) может быть приведено к виду
243
\ /	\ Р\х^Ук)
С = тахЪЪ р\хг) p{yk/xr) log	\	7	(8.4)
г=и=1	^Р\.Хг)Р\.Ук1Хг)
к
Максимизация в (8.3) и (8.4) производится по всем хг е с двумя ограни-
чениями:
1. р {хг ) > О для всех хг G X] ;
2. Хр(хг)=1,
г=1
Пропускная способность С измеряется в битах на символ, является функ-
цией только канала и характеризует максимальный объём информации, кото-
рый может быть передан без потерь при одном использовании канала.
Скоростью передачи информации для канала будем считать максималь-
ное количество информации в секунду, которое может передаваться в канале
«ик =	,	(8.5)
С
где ^пк — скорость передачи символов в канале.
Так же, как и пропускная способность, скорость передачи информации для
канала является функцией только канала и определяет границу для скорости
передачи информации в канале от источника информации , превышение ко-
торой повлечет за собой потери информации. Отсюда следует, что оптимальное
кодирование для канала будет возможно только при выполнении условия
< Чж	(8.6)
*
Подставив в (8.6) выражение (7.10) для и выражение (8.5) для , по-
лучаем
Р < С.	(8.7)
Выражение (8.7) определяет базовое условие возможности оптимального
решения задачи избыточного (помехоустойчивого) кодирования: скорость ко-
дирования должна быть меньше пропускной способности канала.
244
Скорость передачи информации от источника (производительность ис-
точника) может быть определена через энтропию ансамбля источника
°и = Щ [U]-^, бит/с,	(8.8)
где Hz [U] - - энтропия источника на символ (букву) сообщения [бит/символ];
^пи — скорость передачи символов источника [символ/с].
Подставив (8.8) совместно с (8.5) в (8.6), имеем Н£ [и]1>пн -	. Откуда
получаем
Н£ [и] < КтС,	(8-9)
где ^пс = ипк / ипи — безразмерный коэффициент, величина которого из (7.9)
определяется как = 1 / R ,
Неравенство (8.9) является уточнением известного утверждения о том, что
если энтропия источника больше, чем пропускная способность, то при кодиро-
вании для канала нельзя достичь произвольно малой вероятности ошибки. Из
(8.9) видно, что это утверждение справедливо при АГПС =1, т. е. при Я = 1. Од-
нако согласно принципам кодирования для канала, скорость кодирования все-
гда меньше единицы (Я<1) и, следовательно, АГПС > 1.
Теорема 8.1. Пусть HZ[U] — энтропия дискретного источника информа-
ции U на символ, формирующего символы (буквы) сообщений длиной L со
скоростью Ч.и • Пусть R — скорость кодирования fn, а Си — пропуск-
ная способность и скорость передачи символов в канале соответственно. Тогда,
если
нди]<с+1^с	<8“»
или
Н£ [U]< С + Н£ [U](l-7?),	(8.11)
245
то существует оптимальный избыточный код, обеспечивающий достиже-
ние произвольно малой ошибки передачи.
Доказательство. Для доказательства условия (8.10) перепишем неравенст-
во (8.9), определяющее условие существования оптимального кодирования для
канала, в виде
ПИ
(8.12)
Прибавив и вычтя ^пи в числителе дроби правой части (8.11), имеем
Учитывая, что Я = Ц1И /? из (8.12), получаем Щ [U] < С + С, чт0
и требовалось доказать.
Для доказательства условия (8.11) перепишем (8.9) в виде
Н£[и]<с
Прибавив и вычтя в числителе левой части неравенства Цж, получим
v —V
ПК пи
н£[и]<с.
Откуда, принимая во внимание, что скорость кодирования — ^пи Цш, име-
ем
HL [и] < С +	[и] = С + (1 - Т?)Н£ [и].
^пк
Теорема доказана.
Согласно теореме 8.1, уменьшение скорости кодирования R приводит к
расширению границ области существования оптимальных избыточных кодов,
что можно трактовать, как возрастание возможности достижения меньших зна-
чений вероятности ошибки при передаче информации. Уменьшение R может
246
быть достигнуто уменьшением скорости поступления символов от источника
^пи. Одним из основных путей такого уменьшения является эффективное ко-
дирование источника. Это объясняет и доказывает целесообразность предвари-
тельного кодирования источника при решении задачи кодирования для канала.
8.3. Влияние помех на передачу информации
Целью передачи информации, исходя из схемы рис. 8.1, является получе-
ние сообщения vf = (vu.. ,vLi), воспроизводящего переданное сообщение
uz - (wh" wzz) • Несовпадение v, и uz считается ошибкой и носит случайный ха-
рактер. Поэтому для его оценки используется вероятность Ре того, что случай-
ные величины v, и uz не равны друг другу. Вероятность Ре определяется, как
вероятность ошибки, и её величина зависит от целого ряда факторов, к которым
можно отнести помехи при передаче информации, применяемый метод поме-
хоустойчивого (избыточного) кодирования; выбор правила декодирования и
т.п.
Основной причиной несовпадения v, и uz, т. е. ошибки при передаче ин-
формации, являются помехи. Под помехами обычно понимаются искажающие
воздействия различного характера, которым подвергается информация в про-
цессе передачи. Обычно несовпадение v;h uz вызывается несовпадением от-
дельных букв Уц * ии ? стоящих на соответствующих позициях I. Это несовпа-
дение определяется как ошибка в Z-м переданном символе (букве) сообщения и
оценивается вероятностью • Тогда средняя вероятность ошибки Ре £ в со-
общении из L букв определяется следующим образом:
РеЛ=7,?^-	(8ЛЗ)
/ J I —1
Выражение (8.13) характеризует вероятность искажения символа (буквы)
сообщения длиной L при передаче.
247
Применительно к введенным понятиям и обозначениям общая математи-
ческая модель передачи информации (8.1) приводится к виду
|i[u;v] = Hz[u]-7H[u/v],	<814>
.Lt	х/
1 Г 1 Г 1
где —1| U;V| = Iz |U;V| — среднее количество информации о символе сооб-
Z
щения источника в символе соответствующего ему сообщения у получателя;
1 Г 1 Г 1
— НIU/V = НL IU/VI — условная энтропия, представляющая среднюю
L
неопределенность о символе сообщения длины L, которая остается после деко-
дирования.
Помехи при передаче приводят к потерям информации. Выражение для
оценки величины этих потерь определяется теоремой 7.1 с учетом введенных
выше обозначений и представляется как
Н£ [U/V] =1h[U/V] < Pe>£log(m2 -1) + К [pj.	(8.15)
Ху
Энтропия U/V
в (8.15) характеризует среднюю величину потерь ин-
формации на символ сообщения при передаче. Из (8.15) следует, что средняя
вероятность ошибки, вызывающей эти потери, определяется совместным ан-
самблем UV.
С учетом (8.14) неравенство (8.15) может быть приведено к виду
н£ [и] - у1 [и; V] < Pe<£log(m2 -1) + |>е£ ].	(8.16)
Хе
Принимая во внимание, что l[U; v] < l[X; y]; перепишем (8.16) как
H£[u]-yl[X;Y] ^P^log^ -1) + %[P,>£],	(8.17)
X,
Если для передачи информации используется двоичный канал без памяти
(ДКБП), то I [X;Y] < NC . Откуда получаем
248
Г 1 N
Нл [и] - -
J-J
с < Pe>/J°g(»i2-I) + 5f|_pe/
(8.18)
Отношение NIL в левой части (8.18) соответствует обратной величине
скорости кодирования 1/R и на основании (7.9) равно отношению , что
позволяет привести (8.18) к виду
1-10	Г -I	(8.19)
Н£ [и] - -J2- С < Pe.L10g(W2 -1) + %[pj ,
^ПИ
где Ч,и и Ч.к — скорости передачи символов от источника и в канале соответ-
ственно.
Проведенные преобразования позволяют сформулировать следующую
теорему.
Теорема 8.2. Пусть дискретный стационарный источник с алфавитом объ-
ема имеет энтропию H^fU] = limH£[U] и производит буквы со скоростью
одна буква за rs секунд. Пусть последовательность букв (символов) источника,
образующая сообщение длины L, передается получателю путем N использова-
ний канала, где N - |_^Ts ^тс J. Тогда для любого L вероятность ошибки на бу-
кву (символ) сообщения источника Ре / удовлетворяют неравенству
Ре,Jog( ^2 -1) + Я-[РеЛ ] > нДи] - С.
т „
(8.20)
Доказательство. С учетом неравенства H^[U] <limH£[U] выражение
(8.20) является непосредственным следствием (8.19).
Для того чтобы дать соответствующую интерпретацию приведенной тео-
реме, рассмотрим Ltc ? как общее время, в течение которого ведется передача.
В течение этого времени производится кодирование для канала. Из теоремы
следует, что какое бы кодирование не производилось, средняя вероятность
ошибки на символ источника должна удовлетворять (8.20) и, таким образом,
249
она будет всегда отлична от нуля, если НДи] (среднее количество информа-
ции в символе источника) будет больше, чем — С (пропускная способность
Те
канала на букву источника).
Хотя теорема в виде, каком она сформулирована, приложима лишь к дис-
кретным каналам без памяти, можно заметить, что это ограничение было ис-
пользовано только при переходе от (8.17) к (8.18).
Ошибка при передаче сообщения uz является следствием ошибки переда-
чи соответствующей ему кодовой последовательности х,. Эта ошибка пред-
ставляется в несовпадении переданной xz и принятой удодовых последова-
тельностей, т. е. у, х. ? является случайной и зависит только от характеристик
канала. Причиной такого несовпадения обычно является несовпадение отдель-
ных символов кодовых последовательностей, стоящих на соответствующих по-
зициях у in ^xin. Это несовпадение считается ошибкой в /?-м переданном симво-
ле кодовой последовательности и оценивается вероятностью • Тогда вероят-
ность ошибки Реу в кодовой последовательности из N букв равна
1 £
р =_____У р
геЛ , т .
2V И=1
Приведенное выражение характеризует вероятность искажения символа
кодовой последовательности длины L при передаче. Данная вероятность зави-
сит только от вида и характеристик помех в канале передачи информации.
С этих позиций общая математическая модель канала передачи (7.11) мо-
жет быть приведена к виду
ll[X;Y] = Hjv[x]-
h[x/y]
250
1
где
среднее количество информации о переданном
символе кодовой последовательности длины N в соответствующем символе
принятой кодовой последовательности;
средняя неопределенность символа кодовой по-
следовательности длины N;
- Н [x/Y] = Н v [X/Y]
условная энтропия, представляющая среднюю
неопределенность в принятии решения о переданном символе кодовой после-
довательности длины N, которая остается после приема соответствующего ему
символа на выходе канала.
Тогда пропускная способность канала на основании (9.3) может быть оп-
ределенна как
С = maxlv [X;Y] = maxHv [х]-Н„[Х/У].
В приведенном выражении maxH^fX] представляет собой информацион-
ную ёмкость алфавита ансамбля X и определяется как шахНд, IXJ = log2m3 . С
учетом этого имеем
С = 10^ -Н„[Х/У].	(8.21)
Условная энтропия HV[X/Y] характеризует искажения, вносимые поме-
хами в канале. Величина HV[X/Y] в терминологии, введенной К. Шенноном,
получила название ненадежности канала. При отсутствии помех НДХ/Y] и
выражение (8.21) принимает вид
С = log2w3 .	(8.22)
251
Анализ выражений (8.21) и (8.22) показывает, что возрастание искажаю-
щего влияния помех в канале, проявляющееся в увеличении НДХ/Y], приво-
дит к снижению пропускной способности канала.
С учетом (8.21) и на основании (8.5) скорость передачи информации для
канала ^ик представляется в виде
Цж = Цж (log2™3 -	[х/Y])>
где упк — скорость передачи символов кодовых последовательностей в канале.
Из (8.22) следует, что возрастание искажающего влияния помех (увеличе-
ние) приводит к уменьшению допустимого среднего количества информации в
секунду, которое может быть передано в канале. При отсутствии помех
(HV[X/Y] = O) скорость передачи информации для канала принимает макси-
мальное значение и определяется как
и =u
ик пк &2 3 •
В случае, когда НДХ/ Y] = log2w3, т. е. когда наблюдается так называемое
полное забитие канала помехами, С и ^пк равны нулю. Таким образом, в за-
висимости от уровня помех (ненадежности канала) пропускная способность и
скорость передачи для канала могут изменяться в пределах: 0 < С < log2^2;
° °ик * UnKloS2W3 •
8.4.	Правила декодирования
Принимая во внимание схему передачи информации (см. рис. 7.1) и приня-
тое представление кодирования для канала (см. рис. 7.4), декодирование можно
определить формально как отражение по некоторому правилу выборочного
пространства ансамбля Y в выборочное пространство ансамбля V и выход, со-
ответствующий обнаруженной ошибке. Причем в V отражается только часть Y,
в которую входят разрешенные используемым кодом fn кодовые последова-
252
тельности. Обозначим ее как Yp. Остальную часть Y;i (дополнение) составля-
ют запрещенные кодовые последовательности. Таким образом, выборочное
пространство ансамбля Y представляется в виде двух частей: основной части
? в которую входят разрешенные кодовые последовательности, и дополни-
тельной части ? включающей запрещенные кодовые последовательности.
Если при декодировании принятая кодовая последовательность уг относится к
разрешенным у r е Y , то производится формирование сообщения vr, соответ-
ствующего этой разрешенной кодовой последовательности. При нулевой веро-
ятности ложного приема это сообщение будет однозначно соответствовать со-
общению ur, переданному источником, т. е. vr = ur. В противном случае, когда
принимается кодовая последовательность У„, относящаяся к запрещенным
у„ g Yfl, считается, что произошла ошибка. Вероятность этой ошибки при усло-
вии, что была передана кодовая последовательность хг, соответствующая со-
общению ur, будет равна
е/
д
Тогда общая вероятность ошибочного приема равна
м2
ez •
Отображение выборочного пространства Y в выборочное пространство V
при декодировании производится по определенному правилу, которое относит-
ся к правилам декодирования. Наиболее широко применяемыми правилами де-
кодирования являются:
правило декодирования по максимуму апостериорной вероятности;
- правило декодирования по максимуму правдоподобия.
Первое правило заключается в том, что при поступлении кодовой последо-
вательности у у вычисляются апостериорные вероятности ) Для всех
253
g U. Декодирование производится путем их сравнения по следующему пра-
вилу: определяется апостериорная вероятность, имеющая наибольшее значе-
ние
plur/y )>p(u./y .) для всех zVr,
(8.23)
и из выборочного пространства V выбирается сообщение Vr, соответствующее
передаче сообщения источника ur . Знак равенства в неравенстве (8.15) под-
черкивает возможность существования нескольких равных наибольших значе-
ний апостериорной вероятности, что может приводить к неопределенности это-
го выбора.
В ряде случаев применяют правило, эквивалентное (8.23). Оно следует из
выражения для апостериорной вероятности
i \ р(ч)р(уЛ,)
Р(и,./у,) =----Л4—-.	(8.24)
Так как знаменатель в (8.24) не зависит от u г , то эквивалентное правило
состоит в следующем: следует декодировать У у в vr, соответствующее u г,
для которого
Р (иг )р (уф) > р (и;.) р (у/и,.) для всех /Ф г.	(8.25)
Это правило несколько сложнее (8.24), так как требует вычисления апри-
орных вероятностей /7(иг ), что неудобно при нестационарных источниках.
Однако эквивалентность соотношений для р(у/и/) и р(уу/х/) открывает
возможность использования при его применении канальных матриц.
Второе правило основано на вычислении условных вероятностей
РI У j^ui J для всех и, g U при поступлении кодовой последовательности У у .
254
При этом декодирование производится по правилу: при заданном У у выбира-
ется Уг9 соответствующее ur, для которого
р(уА <p(y./uj для всех /V г.
\ «У	J	V 1Z	X
(8.26)
Очевидным преимуществом такого декодирования является то, что оно
может быть применено, когда априорные вероятности сообщений не определе-
ны. Присутствие в названии правила слов «максимум правдоподобия» является
отчасти дезориентирующим, так как это правило не обязательно приводит к де-
кодированию сообщения, которое наиболее вероятно (правдоподобно) при за-
данной У/. Вместо этого выбирается сообщение, для которого данная кодовая
последовательность У, наиболее вероятна при заданном u. г .
Нетрудно заметить, что в частном случае, когда сообщения имеют равные
априорные вероятности, правила (8.25) и (8.26) становятся идентичными.
При блочном помехоустойчивом кодировании типа ВВ для обнаружения и
исправления ошибок при случайном независимом характере искажений от-
дельных символов целесообразно использовать правило декодирования, со-
ответствующее критерию максимального правдоподобия. В случае, когда
распознавание отдельных символов ведется без учета корреляционных свя-
зей между ними (так называемый посимвольный прием), а распознавание ко-
довых слов (декодирование) производится без учета корреляционных связей
между отдельными словами, составляющими сообщение, это правило может
считаться оптимальным. Однако при реализации приема сообщения в целом,
когда принятие решения производится с учетом не только условных вероят-
ностей искажений отдельных разрешенных кодовых слов, приводящих к их
трансформации, но и априорных вероятностей тех или иных реализаций со-
общения в целом, оптимальное правило декодирования должно основываться
на критерии максимума апостериорной вероятности сообщения. Естественно,
что прием в целом, когда при декодировании учитываются все статистиче-
ские свойства источника сообщений, обеспечивает более высокую достовер-
255
ность. Например, при чтении неразборчивой рукописи, используя для распо-
знавания отдельных слов контекст, человек эвристически реализует «прием в
целом». Однако в связи с технической трудностью реализации приема в целом
наиболее часто используется посимвольный прием и декодирование по крите-
рию максимального правдоподобия.
8.5.	Прямая и обратная теоремы кодирования Шеннона
Фундаментальную теоретическую основу кодирования для канала состав-
ляют теоремы Шеннона. Они позволяют получить ответ на основной вопрос
кодирования для канала: возможно или нет оптимальное кодирование при за-
данных условиях передачи информации? Содержание данного вопроса объяс-
няет разделение теорем Шеннона на прямые и обратные. Прямые теоремы оп-
ределяют условия, когда существование оптимального кодирования возможно,
обратные — когда это невозможно. При этом рассматриваются 2 основных вари-
анта: 1) канал без помех; 2) канал с помехами.
Теорема 8.3. Теорема кодирования Шеннона для канала без помех. Если
энтропия источника на единицу времени меньше, чем пропускная способность
канала на единицу времени, т. е. выполняется условие
1>ШН JU] < umlog2^,
(8.27)
то существует кодирование fa, обеспечивающее сколь угодно малую вероят-
ность ошибки.
Доказательство. Для доказательства теоремы воспользуемся теоремой 8.2,
обозначив, согласно рис. 7.3, левую часть неравенства (8.20) как верхнюю гра-
ницу средней вероятности ошибки
=PJog^ -1)+тс [РеЛ ],
где 7Г[Ре1] = -PeZlogPeI -(l-Pe^)log(l-PeI).
С учетом этого получаем
Р£ > H„[U]- —с,
(8.28)
256
где Н JU] - - энтропия источника на букву (символ).
Разделив обе части неравенства (8.28) на rs и принимая во внимание, что
14и = 1/г8 и 14к = 1/гс ? а также что для канала без помех С = log2 т3, получаем
—P=L * t>raH»[U] -DnKlog2w3.	(8.29)
Физический смысл множителя 1/ts при Ре/ вполне объясним и состоит в
том, что ошибка происходит на длительности символа (буквы) сообщения. Так
как Ре£ может иметь только положительные значения (Р^ >0), то отрицатель-
ное значение правой части (8.29) при ^HJU] < log2 т3 будет означать
стремление или равенство Ре/ нулю. Причем достижение Ре/ предельно малой
величины всегда может быть обеспечено подбором параметров кодирования
(выбором кода 4), так как отношение согласно (7.9) соответствует ско-
рости кодирования R. Отсюда следует, что при выполнении условия (8.27) все-
гда существует кодирование, обеспечивающее сколь угодно малую вероятность
ошибки. Что и требовалось доказать.
Из доказательства теоремы видно, что при отсутствии помех в канале воз-
можны ошибки. Причиной данных ошибок является несовершенство приме-
няемых кодов. Отсюда следует определяющее значение выбора метода кодиро-
вания при решении задач кодирования для канала.
Теорема 8.4. Обращение теоремы кодирования Шеннона для канала без
помех. Если энтропия источника на единицу времени больше чем пропускная
способность на единицу времени, т. е. удовлетворяется условие
ошН JU] > log2 т.,	(8.30)
то при любом кодировании fn, нельзя достичь произвольно малой вероятности
ошибки.
Доказательство. Обратимся к неравенству (8.29). При выполнении усло-
вия (8.30) правая часть этого неравенства всегда будет положительной величи-
ной, не равной нулю. Это означает, что Ре/ всегда будет отличной от нуля и ог-
раничена снизу конечной положительной величиной. Отсюда следует, что не
257
существует кодирования fn, способного обеспечить сколь угодно малую веро-
ятность ошибки. Что и требовалось доказать.
Теорема 8.5. Теорема кодирования Шеннона для канала с помехами. Для
дискретного канала с помехами всегда существует кодирование , при кото-
ром может быть обеспечена безошибочная передача информации, если его про-
пускная способность на единицу времени больше производительности источ-
ника, т. е. выполняется условие
-НЛГ[Х/¥])>ипиН„[и].	(8.31)
Доказательство. Подставив в (8.28) выражение для С согласно (8.21) и
произведя преобразования, аналогичные переходу от (8.28) к (8.29), получим
и РЛ>г> Н [U1-и (log.^-HJX/Y]).	(8.32)
пи ei пи оо L J пк>- 02	3	№-
Из полученного неравенства следует, что при выполнении (8.31) нижняя
граница возможных значений Ре/ будет стремиться к нулю. При этом ее равен-
ство нулю всегда может быть обеспечено путем подбора параметров кодирова-
ния . Что и требовалось доказать.
Приведенная теорема показывает, что помехи в канале могут оказывать
определяющее влияние на эффективность кодирования для канала. Так, возрас-
тание условной энтропии H[X/Y], в результате увеличения искажающего влия-
ния помех, может привести к тому, что правая часть неравенства (8.32) примет
положительное значение. Это будет свидетельствовать о том, что Рс/ принима-
ет только конечные положительные значения, не равные нулю, т. е. присутст-
вуют потери информации. Таким образом, происходит обращение теоремы 8.5.
Теорема 8.6. Обращение теоремы Шеннона для канала с помехами. Ес-
ли пропускная способность на единицу времени дискретного канала с помеха-
ми меньше, чем производительность источника, т. е.
^K(log2 -НДХ/Y]) <(8.33)
то любое кодирование £ будет приводить к потерям информации.
Доказательство. Если условие (8.33) выполняется, то правая часть нера-
венства (8.32) будет положительной величиной. Таким образом, при любом ко-
258
дировании Ре£ будет принимать только конечные положительные значения, от-
личные от нуля, т. е. будет происходить потеря информации. Что и требовалось
доказать.
Приведенные теоремы Шеннона являются базовыми для всего класса задач
кодирования для канала. Их замечательной особенностью является неиссякае-
мый потенциал адаптации к различным условиям передачи и кодирования ин-
формации. Свидетельством этого является значительное число их модифика-
ций, применительно к различным задачам передачи информации, появившееся
за время их существования.
Для того чтобы дать соответствующую интерпретацию приведенным тео-
ремам, заметим, что пропускная способность в секунду представляет собой ни
что иное, как максимально допустимую скорость передачи информации для ка-
нала ^ик, а производительность источника — скорость поступления информа-
ции от источника в бит/с. Таким образом, теоремы Шеннона констатируют
наглядный с физической точки зрения факт: если скорость поступления инфор-
мации от источника будет меньше максимально допустимой скорости её пере-
дачи для канала, то кодирование без потерь информации возможно, если нет —
то невозможно.
Следствие 8.1. Пусть R — скорость кодирования для дискретного канала с
пропускной способностью С. Тогда, если R<C, то существует кодирование,
обеспечивающее произвольно малую вероятность ошибки.
Доказательство. На основании приведенной выше интерпретации теоре-
мы Шеннона, условием существования кода, обеспечивающего сколь угодно
малые вероятности ошибки, является
и < и	(8.34)
И ик	v 7
*
Подставив в (8.33) выражения (8.8) для ии и (8.5) для ь>ик, получаем R < С.
Что и требовалось доказать.
Принимая во внимание, что R — L/N, можно считать, что уменьшение R
при постоянном L свидетельствует об увеличении N. При этом увеличение N
259
означает увеличение избыточности, следствием чего является уменьшение ве-
роятности ошибки при декодировании. Таким образом, можно прийти к логи-
чески обоснованному выводу о том, что уменьшение скорости кодирования R
означает уменьшение вероятности ошибки при передаче информации.
8.6.	Кодирование для дискретных каналов при передаче
информации непрерывных источников
При передаче информации непрерывных источников ансамбль U общей
математической модели передачи информации формируется как результат ко-
дирования непрерывного источника S, основу которого составляет цифровое
представление непрерывных сообщений s(7) в кодовые последовательности
и.. С учетом этого, условия существования оптимального помехоустойчивого
кода для данного случая могут быть определены следующими теоремами.
Теорема 8,7. Теорема кодирования для дискретного канала при передаче
информации непрерывного источника. Если эпсилон-энтропия цифрового
представления непрерывного источника меньше, чем пропускная способность
дискретного канала, т. е. выполняется условие
Cs < иш (log	[X/Y]),
то существует помехоустойчивое кодирование , обеспечивающее сколь угод-
но малую вероятность ошибки.
Доказательство, Для доказательства теоремы воспользуемся неравенст-
вом (8.17), подставив в него выражение для l[X;Y].
В результате получим:
Н£ [и] -|н[Х] +1h[X/Y] < Р ,1 og(m2 -1) +%[Р,
Ху	Ху
(8.35)
Правая часть неравенства (8.35) на основании теоремы 7.1 является верх-
ним граничным значением Н£ [U/V].
Умножим обе части неравенства (8.35) на L/N, находим:
260
± Н£ [и] - Н ¥ [X] + H v [X/Y] < (Рlog (т2 -1) +%	.
Откуда с учетом, что R=L/N, имеем
AHZ [U] - Ну [X] + Н„ [X/Y] < R (Ре/ log (m2 -1) +Х [РеЛ ]).	<8-3 6)
Учитывая, что ансамбль U является результатом квантования непрерыв-
ного источника S и что R на основании (7.9) соответствует отношению оии/ипк,
неравенство (8.36) может быть преобразовано к виду
^Не -Hy[X] + Hy[X^]<^(Per£log(/n2 -1) +Л-[РеЛ]),	(8,37)
^пк	^пк
где Не — эпсилон-энтропия квантования непрерывного источника.
Так как H v[X]<logw3, то соответствующая замена не нарушит неравен-
ства (8.37). Умножив с учетом этого левую и правую часть неравенства (8.37)
на 14к, получим
Cs - (log + Н£ [х/Y]) < (РеЛ log (m2 -1) +Л[РеЛ ]).	(8-38)
Так как
(8.39)
т. е. верхняя граница Н£ [U/V > 0 может иметь только положительные значе-
ния, то отрицательные значения правой части (8.38) при
C.^log^-H^X/Y])	(8.40)
будут означать стремление или равенство (8.39) нулю, что обеспечивается
стремлением или равенством Ре£ нулю. Откуда следует, что при выполнении
условия (8.40) всегда существует кодирование, обеспечивающее сколь угодно
малую вероятность ошибки.
Эпсилон-энтропия цифрового представления Се определяет минималь-
ное количество информации о непрерывных сообщениях, которые необходимо
передать в единицу времени, чтобы восстановить их на приеме с требуемой
точностью £. Исходя из этого теорема 8.7 накладывает достаточно жесткие ог-
раничения на параметры цифрового представления непрерывного источника
261
при передаче непрерывных сообщений в дискретных каналах. При этом, как
следует из (8.40), определяющее влияние на обеспечение требуемой точности е
могут оказывать помехи в канале. Так, возрастание НЛГ[ХЛГ] в результате ис-
кажающего влияния помех может привести к тому, что значения Се, необходи-
мые для обеспечения заданной точности е , не будут соответствовать условию
(8.40). Отсюда следует возможность выбора метода кодирования.
Теорема 8.8. Обращение теоремы кодирования для дискретного кана-
ла при передаче информации непрерывных источников. Если пропускная
способность канала меньше, чем эпсилон-энтропия цифрового представления
непрерывного источника
um(logW3-H„[X/Y])<Cs,	(8.41)
то любое кодирование £ будет приводить к потерям при передаче информа-
ции.
Доказательство, Если условие (8.41) выполняется, то правая часть (8.38)
всегда будет положительной величиной. Таким образом, при любом кодирова-
нии Ре/ будет принимать только конечные положительные значения, отличные
от нуля, т. е. будет происходить потеря информации при передаче, что и требо-
валось доказать.
Приведенная теорема вводит ограничения на выбор параметров помехо-
устойчивых кодов в зависимости от параметров цифрового представления не-
прерывных источников.
8.7.	Стратегия кодирования для каналов. Общая методика
помехоустойчивого кодирования
Как следует из изложенного выше, стратегической целью кодирования для
канала является обеспечение безошибочной передачи путем помехоустойчиво-
го (избыточного) кодирования. Опыт научных исследований в этом направле-
нии показывает, что оптимальные решения задач помехоустойчивого кодиро-
вания не являются однозначными и зависят от целого ряда факторов таких, как
262
информационные характеристики источника и канала, модель канала, парамет-
ры кодирования, правило декодирования и т. п. Однако можно сформулировать
общую стратегию, определяющую основные направления и условия оптималь-
ного решения задач данного класса:
-	обеспечение значений скорости кодирования, меньших значения
пропускной способности канала;
-	достижение предельно допустимых минимальных значений вероят-
ности ошибки при передаче информации.
Конечным этапом реализации данной стратегии для каждой конкретной
постановки задачи выступает определение кода, обеспечивающего минималь-
ную ошибку передачи информации. Как правило, это определяется результатом
случайного выбора из некоторого ансамбля кодов, обеспечивающего среднюю
вероятность ошибки в границах, определенных для данной постановки задачи.
В связи с этим выработка каких-то конкретных методов реализации приведен-
ной стратегии весьма проблематична. Однако вполне реально определение эта-
пов реализации этой стратегии общих для всех задач помехоустойчивого коди-
рования. Последовательность этих этапов назовем общей методикой помехо-
устойчивого кодирования'.
1.	Выбор модели канала и определение его пропускной способности С.
2.	Определение основных параметров кодирования, с учетом ограничений,
накладываемых каналом на скорость кодирования (Я<С) и производитель-
ность источника.
3.	Определение возможного диапазона значений изменения (верхней и
нижней границ) вероятности ошибки при передаче информации.
4.	Выбор ансамбля кодов, средняя вероятность ошибки которого находится
в границах полученного диапазона.
5.	Выбор из кодов, составляющих ансамбль, кода, обеспечивающего ми-
нимальную вероятность ошибки передачи.
Приведенная методика не является обязательно единственной и тем более
оптимальной. Однако с методической точки зрения она достаточно наглядно
263
отражает основные этапы решения задач помехоустойчивого кодирования и во
многом объясняет структуру большинства учебников по теории информации в
части кодирования для каналов.
Первый пункт стратегии включает конкретизацию модели канала и вычис-
ление его пропускной способности. Частично его содержание уже раскрыто,
однако более подробно он будет рассматриваться далее. Второй пункт, в пер-
вую очередь, предусматривает конкретизацию типа и вида кодирования (на-
пример, блочное или неблочное), правила декодирования, а также допустимой
длины кодовой последовательности с учетом ограничения R<C. Содержание
этого пункта уже в основном рассмотрено, однако частично ему будет уделять-
ся внимание и в последующем. Как правило, определение границ вероятности
ошибки, предусмотренное третьим пунктом, осуществляется относительно пе-
редачи слов (последовательности символов) источника, при этом используется
натуральное представление процесса кодирования для канала. Четвертый пункт
состоит в выборе определенного ансамбля кодов (например, циклические ко-
ды), соответствующего установленным параметрам кодирования с последую-
щим определением для него средней вероятности ошибки. Из этого ансамбля,
согласно пятому пункту, путем выбора определяется код, позволяющий обес-
печить наименьшую вероятность ошибки. Необходимо подчеркнуть, что разде-
ление пунктов в приведенной методике является условным. На практике они
могут пересекаться друг с другом, а также неоднократно повторяться, до полу-
чения приемлемого результата.
В основе реализации приведенной стратегии кодирования для канала мо-
жет лежать как двоичное, так и натуральное представление процесса передачи
информации. С практической точки зрения более удобным является двоичное
представление. Однако в ряде теоретических задач более предпочтительным
оказывается натуральное представление. Примером этого может служить сле-
дующая теорема, представляющая собой модификацию натурального представ-
ления теорем кодирования для канала.
264
Теорема 8,9. Если скорость кодирования R меньше, чем пропускная спо-
собность канала С, то можно при фиксированном R , увеличивая N, найти коды,
для которых Ре экспоненциально убывает с ростом N.
В приведенной теореме скорость кодирования R определятся как
R = (1пЛ/2 //V) и измеряется так же, как и пропускная способность в натураль-
ных единицах на символ. При данном представлении блочные коды задаются
длиной кодовой последовательности и скоростью кодирования, например, (N,R)
-код. Если рассматривать ансамбль блочных кодов, при условии применения
правила декодирования по максимуму правдоподобия, то можно прийти к след-
ствию теоремы 8.9 следующего вида.
Следствие 8.2. При любом положительном целом значении N и положи-
тельном числе R<C средняя по ансамблю блочных кодов вероятность ошибки
декодирования по максимуму правдоподобия будет удовлетворять неравенству
Ре<ехр[-ЛВД)],
где Ег (А) — показатель экспоненты случайного кодирования.
Под случайным кодированием в приведенном следствии подразумевается
случайный характер выбора конкретного кода, входящего в ансамбль. Значение
Ег(Я) определяется моделью канала, параметрами кодирования и ансамблем
рассматриваемых кодов.
265
Глава 9
МЕТОДЫ ПОМЕХОУСТОЙЧИВОГО КОДИРОВАНИЯ
9.1.	Общая характеристика методов помехоустойчивого
кодирования
Базовым понятием, характеризующим реализацию стратегии кодирования
для канала, принято считать метод помехоустойчивого кодирования. Как пра-
вило, это понятие объединяет: применяемый помехоустойчивый код, правила
передачи и приема кодовых последовательностей в канале, правило декодиро-
вания. Эти составляющие метода помехоустойчивого кодирования находятся в
тесной взаимосвязи и являются определяющими друг для друга. Ведущую роль
среди них, как источник вводимой избыточности, играет применяемый помехо-
устойчивый код. Поэтому возможные пути реализации стратегии кодирования
для канала обычно рассматривают применительно к помехоустойчивым кодам.
Помехоустойчивое кодирование имеет задачей путем введения избыточно-
сти обеспечить с достаточно высокой вероятностью либо обнаружение факта
наличия ошибок в принятых кодовых последовательностях, либо обнаружение
и исправление этих ошибок. Соответственно различают коды с обнаружением
ошибок и коды с исправлением ошибок.
Код с обнаружением ошибок обеспечивает стирание или особую отметку
той части кодовой последовательности, в которой обнаружены ошибки. Такой
код эффективен при реализации правил передачи и приема в канале, которые
предусматривают наличие обратных информационных связей, когда имеется
возможность повторно запросить часть кодовой последовательности, в которой
обнаружены ошибки. При отсутствии обратных информационных связей код с
обнаружением ошибок эффективен лишь при таких правилах передачи и
приема в канале, которые менее критичны к пропуску (стиранию) части кодо-
вой последовательности, чем к неверному ее приему.
Коды с исправлением ошибок позволяют восстанавливать искаженные
при передаче кодовые последовательности, в пределах своей корректирующей
266
способности. Не существует помехоустойчивых кодов конечной длины, позво-
ляющих обнаружить и, тем более, исправить все возможные ошибки.
По форме внесения избыточности различают систематические и несистема-
тические коды. В систематических кодах символы исходной последователь-
ности входят в кодовую последовательность без изменения, занимая в ней от-
веденные им позиции, а введение избыточности сводится к внесению допол-
нительных (избыточных) символов, связанных определенной зависимостью с
символами исходной последовательности. В несистематических кодах сим-
волы исходной последовательности в явном виде в кодовую последователь-
ность не входят, а устанавливаются по известным зависимостям, связы-
вающим их с символами кодовой последовательности.
По способу кодирования различают блочные и непрерывные коды.
При блочном кодировании исходная информационная последователь-
ность источника разбивается на блоки символов фиксированной длины L, ка-
ждому из которых ставится в соответствие определенная кодовая последова-
тельность из 7Vсимволов. Код при блочном кодировании определяет закон
формирования кодовой последовательности, отвечающей данному блоку ин-
формационных символов.
При непрерывном кодировании каждый символ кодовой последователь-
ности определяется рекуррентными соотношениями, связывающими его с со-
ответствующими символами исходной информационной последовательности.
Рекуррентными соотношениями производится свертка соответствующего участ-
ка информационной последовательности таким образом, что на каждом шаге
кодирования очередному символу исходной информационной последователь-
ности ставится в соответствие X символов кодовой последовательности.
Таким образом, на каждый символ исходной информационной последова-
тельности приходится символов передаваемой кодовой последовательности,
что соответствует коэффициенту избыточности помехоустойчивого кода
рПК =	“ 1/• Поэтому непрерывные помехоустойчивые коды часто называ-
ют сверточными.
267
Блочные помехоустойчивые коды могут быть случайными и регулярны-
ми.
Случайный помехоустойчивый код, как правило, реализуется в виде
таблицы разрешенных кодовых последовательностей, составленной любым
способом (например, подбором). Обнаружение и исправление ошибок при этом
сводится к сравнению принятой кодовой последовательности со всеми раз-
решенными кодовыми последовательностями, хранящимися в памяти. Несов-
падение принятой кодовой последовательности ни с одной из разрешенных
свидетельствует о наличии ошибок. Исправление ошибок сводится к иденти-
фикации принятой кодовой последовательности с ближайшей к ней по мет-
рике Хэмминга разрешенной кодовой последовательности. Однако такая
процедура достаточно громоздка и практически эффективна лишь при реали-
зации малоинформативных правил передачи и приема в канале, предусматри-
вающих небольшое число различных кодовых последовательностей.
Для высокоинформативных правил передачи и приема в канале более
приемлемы так называемые регулярные помехоустойчивые коды. В таких
кодах процедуры отбора разрешенных кодовых последовательностей, обнару-
жения и исправления ошибок определяются регулярными правилами коди-
рования и декодирования и в памяти хранятся только эти правила. Для по-
строения регулярных блочных кодов успешно используется аппарат линей-
ной алгебры. При этом блоки информационных символов и кодовые после-
довательности отождествляются с соответствующими математическими образ-
ами в виде векторов и полиномов, а операции кодирования и декодирования
сводятся к их алгебраическим преобразованиям по определенным законам. К
наиболее широко применяемым регулярным помехоустойчивым кодам отно-
сятся линейные коды.
9.2.	Линейные коды
Блочные помехоустойчивые коды, символы кодовых последовательно-
стей которых в соответствии с (8.16) определяются как
268
L
Xn = ^jUlSl,n , \<n<N,
/=1
принято относить к линейным кодам. Исходя из этого, обычно применяет-
ся следующее определение линейных кодов.
Линейным называется блочный помехоустойчивый код, у которого лю-
бая линейная композиция кодовых последовательностей (двух или более),
принадлежащих множеству разрешенных кодовых последовательностей, да-
ет разрешенную кодовую последовательность.
Рассматривая исходные информационные последовательности источника
U; и кодовые последовательности х/? как вектор-строки, кодирование линей-
ными кодами может быть представлено в виде
xi= •
При двоичных алфавитах т2 = т3 = 2 произведение u.G представляет со-
бой матричное произведение, использующее сложение по модулю 2. Тогда, ес-
ли Ц = и* ® иу ? то
х.=х. ®x.=u.G®u.G = (u, ®u.)G = u.G.
/ JV	J гС	J	'Л	J '	7
Из приведенного равенства следует, что сумма по модулю 2 двух разре-
шенных кодовых последовательностей линейного кода равна другой разрешен-
ной кодовой последовательности этого кода.
Если в информационной последовательности имеется только один символ
на Z-й позиции, то результирующая кодовая последовательность равна 7-й
строке g i матрицы G. Таким образом, любая разрешенная кодовая последова-
тельность линейного кода может быть представлена в виде х = uiSi . Отсю-
i
да множество разрешенных кодовых последовательностей линейного кода яв-
ляется пространством строк матрицы G, представляющим совокупность ли-
нейных по модулю 2 комбинаций строк данной матрицы.
269
Если кодовую последовательность на выходе канала передачи у7 рассмат-
ривать как вектор-строку, то декодирование линейных кодов можно предста-
вить в виде 8= у.Н Здесь синдром S , представляющий собой вектор-строку
(5\,...,5^_7) с N-L компонентами, определяется как
L
s.
1=1
Проверочная матрица Н находится из условия хН=0 .
Если х, является какой-либо разрешенной кодовой последовательностью,
то
(у7 Фх.)Н=ууНФх.Н=8.	(9-1)
При этом, если х, — переданная кодовая последовательность, а у7 — при-
нятая, то последовательность у7 © х. содержит 0 на тех позициях, где х. и у,
совпадают, и 1 на тех позициях, на которых они отличаются. Эта последова-
тельность является шумовой и из (9.1) определяется как
z.H=S.
Если х, — разрешенная кодовая последовательность, то х.Н = 0. Откуда
следует, что для выполнения соотношения zH=S необходимо и достаточно,
чтобы z, относилась к определяемым синдромом S шумовым последователь-
ностям.
Алгоритм декодирования линейных кодов при заданной принятой кодовой
последовательности у7:
1.	Декодирование у7 по правилу максимального правдоподобия и вычис-
ление синдрома S—уН .
2.	Определение среди последовательностей, удовлетворяющих соотноше-
нию S=zH ? последовательности z, с минимальным весом;
270
3.	Декодирование разрешенной кодовой последовательности x.=z. ®уу в
исходную информационную последовательность uz.
Для определения уравнения S = zH ? обладающего минимальным весом,
может быть применен подход (см. рис. 7.5), основанный на построении таблиц
декодирования.
9.3.	Коды Хэмминга
К одним из наиболее часто применяемым линейным кодам относятся коды
Хэмминга. Идея построения кодов Хэмминга состоит в следующем. Если шу-
мовая последовательность zo определяемая соотношением S = zH , содержит
только одну ошибку на Z-й позиции, то z;H совпадает с Z-й строкой матрицы Н.
Когда все строки матрицы Н ненулевые и различны, то безошибочная кодовая
последовательность и все последовательности, содержащие одну ошибку, име-
ют различные синдромы и код может исправлять все единичные ошибки. При
этом для N—L проверочных символов возможно 2ЛГ £-1 различных ненулевых
последовательностей, которые могут быть выбраны в качестве строк матрицы
Н. Отсюда, при N <2N~L —1 строки матрицы Н можно задавать ненулевыми и
различными.
Коды Хэмминга — это линейные коды, у которых строки матрицы Н
включают все ненулевые различные последовательности длины N—L и опре-
деляются соотношением
7V = 2*’£-1.
Так как таблица декодирования для кодов Хэмминга не будет содержать
ничего, кроме безошибочной последовательности и всех последовательностей с
единичными ошибками, то любая принятая кодовая последовательность будет
рассматриваться при декодировании либо как разрешенная, либо как лежащая
на расстоянии 1 от одной и только одной разрешенной кодовой последователь-
ности.
271
В коде Хэмминга, исправляющем ошибки, двоичное число, составленное
из контрольных сумм (синдром кода), должно определять порядковый номер
искаженного разряда кодового слова. Для этого контрольные суммы составля-
ются так, чтобы в сумму входили символы кодового слова, имеющие еди-
ницу в z-м разряде в двоичной записи их порядкового номера. При этом
символы, порядковый номер которых в двоичной записи выражается едини-
цей z-ro разряда (равен 2;!), войдут только в одну контрольную сумму
Именно на этих позициях (1-й, 2-й, 4-й, 8-й и т. д.) в коде Хэмминга и рас-
полагаются проверочные символы. Соответствующим выбором все контроль-
ные суммы обращаются в нуль. При отсутствии искажений все контрольные
суммы остаются равными нулю. Одиночная ошибка (искажение Z-ro разря-
да кодового слова) приводит к обращению в единицу контрольных сумм,
номера которых соответствуют номерам разрядов двоичной записи числа Z,
содержащих единицы. Запись значения контрольных сумм в порядке убывания
их номеров, т. е. запись синдрома --.*S'4*S'3*S'2S'1, дает в двоичной записи номер Z
искаженного разряда.
В целях наглядности в табл. 9.1 приведена двоичная запись номеров раз-
рядов кодовой последовательности длиной N = 15 (15-разрядной кодовой по-
следовательности).
Контрольные суммы в соответствии с таблицей имеют вид
51 = gi Ф Ь3 © Ь5 ® Ь] Ф Ь9 Ф Ai Ф Аз ©Д5,
= S) ©А ©А ©А ©До © Д, ©Ад ©А<;>
2	02	3	о	7	1U 11	14	15’	хл
s3 = g4 ® ь5 ® ь6 © ь7 ® ьп © Аз © Ад © As>
s4=® ь9 © д0 © Ai © А2 ® Аз ® Ад ® As>
где А — значения информационных символов кодовой последовательности;
gj— значения проверочных символов.
272
Таблица 9.1
Порядковый но- мер разряда кода в десятичной записи	Значения разрядов двоичной записи порядкового номера разрядов кода			
	1 (младший)	2	3	4
1 (младший)	1	0	0	0
2	0	1	0	0
3	1	1	0	0
4	0	0	1	0
5	1	0	1	0
6	0	1	1	0
7	1	1	1	0
8	0	0	0	1
9	1	0	0	1
10	0	1	0	1
11	1	1	0	1
12	0	0	1	1
13	1	0	1	1
14	0	1	1	1
15	1	1	1	1
Значения проверочных символов обращающие в нуль контрольные
суммы (9.2), определяются следующим образом:
g. = b. Ф be ФА7 Ф Aq Ф Ьи ФЬ„ ФА„
g7 =b. ФАЙ ФА7 ФА0 ФА, Ф А14 ФАИ,
э 2	3 О 7 1U 11	14	15"	у-л ах
g4 = Ь5 Ф А6 Ф А7 Ф А12 Ф А13 ф а14 ф А15,
= Ьа Ф Ап Ф Ап Ф А17 Ф Ап Ф Ад Ф As.
—* Q	Jr	IV	11	1^	1*Т	J. J
Таким образом, алгоритм формирования кода Хэмминга предполагает:
-	расположить информационные символы в порядке возрастания разря-
дов с сохранением незанятыми разрядов с номерами 2; 1, т. е. 1-го , 2-го,
4-го, 8-го и так далее;
273
-	вычислить проверочные символы, занимающие разряды с номерами
2м, в соответствии с (9.3).
Тогда алгоритм декодирования кода Хэмминга включает:
-	вычисление контрольных сумм в соответствии с (9.2);
-	определение порядкового номера искаженного символа, если не все
контрольные суммы равны нулю, и исправление его на другой двоичный
символ;
-	выделение информационной части кодовой последовательности путем
исключения разрядов с номерами 2; 1.
Пример. Пусть исходная информационная последовательность имеет вид
1001101 (запись двоичных символов последовательности приводится в поряд-
ке убывания номеров разрядов слева направо). Тогда ее символы располага-
ются в кодовой последовательности кода Хэмминга в следующей последова-
тельности: 100£8110^41 g2 £i- Определение согласно (9.3) значений провероч-
ных символов gi, g2 5 £4 >	приводит к следующей кодовой последовательно-
сти: 10071100101 (проверочные символы выделены курсивом). Если, при
приеме 5-й разряд этой кодовой последовательности будет ошибочно принят
как единица, то при вычислении контрольных сумм, получаем
= 1;52 = 0;53 = 1;54 = 0 . Таким образом, значение синдрома, определяю-
щего номер искаженного разряда в двоичной записи, равно S4S3S2S1 =0101.
Для исправления ошибки требуется изменить значение символа в пятом разря-
де на противоположное.
При использовании кода Хэмминга правильное исправление кодовой по-
следовательности имеет место только для одиночных ошибок, что находится в
полном соответствии с кодовым расстоянием, которое в данном случае равно
трем (<7min =3). Действительно, если в кодовой последовательности изменить
информационный символ, двоичная запись порядкового номера которого со-
держит минимальное число единиц, а именно, две единицы (одну единицу в
двоичной записи имеет только порядковый номер контрольного символа), то
274
одновременно изменятся 2 контрольных символа, входящие в те же контроль-
ные суммы. Таким образом, ближайшая к каждой передаваемой кодовой по-
следовательности разрешенная кодовая последовательность отличается тре-
мя символами.
Если этот код Хэмминга использовать для обнаружения ошибок, то он
при	= 3 позволит достоверно обнаруживать и две ошибки. Так, номера
двух искаженных символов в двоичной записи отличаются хотя бы одним
разрядом, а это значит, что хотя бы в одну контрольную сумму войдет
только один из искаженных символов и она изменится.
Нетрудно заметить, что для образования кода Хэмминга, исправляюще-
го ошибки, требуется: при одном информационном символе — 2 проверочных
символа (в двух младших разрядах); при числе информационных символов от
2-х до 4-х — 3 проверочных символа (в 1, 2, 4-м разрядах); при числе ин-
формационных символов от 5-ти до 11-ти — 4 проверочных символа (в 1,
2, 4 и 8-м разрядах) и так далее.
Способность кодов Хэмминга как обнаруживать, так и исправлять ошибки
позволяет использовать комбинированный код, исправляющий одиночные
ошибки и достоверно обнаруживающий двойные ошибки. Для этого кодовая
последовательность кода Хэмминга, исправляющего ошибки, дополняется еще
одним младшим разрядом, равным сумме (по модулю 2) всех ее разрядов.
Тогда при приеме составляются контрольные суммы исправляющего кода без
учета младшего разряда и, кроме того, сумма всех разрядов принятой кодовой
последовательности (по модулю 2). Если часть контрольных сумм равна
единице, то исправление принятой кодовой последовательности по приве-
денным правилам производится только при условии, что сумма всех символов
также равна единице. Если же сумма всех символов равна нулю, что свидетель-
ствует о наличии двух или четного числа ошибок, то кодовая последова-
тельность не исправляется (так как правильно исправляются только одиноч-
ные ошибки), а лишь устанавливается факт наличия двух (или четного чис-
ла) ошибок. Таким образом, при числе ошибок не более двух данный код
275
достоверно исправляет одиночные и обнаруживает двукратные ошибки (при
большей кратности возможны пропуск или неверное исправление ошибок).
Кодовое расстояние для этого кода равно четырем, d^ = 4. Действительно,
как было показано, без учета младшего разряда разрешенные кодовые по-
следовательности отличаются не менее, чем тремя символами. Но кодовые
последовательности, отличающиеся в остальных разрядах тремя символами,
обязательно отличаются и младшими разрядами, т. е. разрешенные кодовые
слова в целом отличаются не менее чем четырьмя символами. Таким обра-
зом, имеет место предельная корректирующая способность (исправление од-
ной и обнаружение двух ошибок), соответствующая кодовому расстоянию
d = 4
mm •
9.4.	Циклические коды
Циклические коды относятся к блочным, линейным, систематическим ко-
дам. Идея построения циклических кодов состоит в следующем. Из определе-
ния линейных кодов следует, что любая линейная композиция их кодовых
последовательностей, принадлежащих множеству разрешенных кодовых по-
следовательностей, дает разрешенную кодовую последовательность. Отсюда
логично предположить, что при определенных условиях кодовая последова-
тельность, полученная в результате циклического сдвига какой-либо разрешен-
ной кодовой последовательности линейного кода, будет представлять результат
линейной композиции двух или более других разрешенных кодовых последо-
вательностей, т. е. также являться разрешенной. Теоретически реализовать дан-
ную идею позволяет представление линейных кодов в виде многочленов эле-
ментами алгебры полиномов. Это позволяет помимо операций суммирования
кодовых последовательностей и умножения их на символ, использовав-
шихся в алгебре векторов при матричном представлении, дополнительно
ввести операции умножения и деления, в результате чего получить дополни-
тельные признаки разрешенных кодовых последовательностей.
276
Исходя из этого, кодовую последовательность циклического кода обычно
представляют в виде полинома степени и-1, коэффициентами которого явля-
ются символы кодового последовательности:
f(x)=awlx"’' +ап_2хп'2 +...+alx +cz0	(9.4)
При этом, для того чтобы в результате операций, используемых для фор-
мирования циклических кодов, получались полиномы, описывающие данный
код, при всех операциях над полиномами должны выполняться два условия.
Условие L Действия над коэффициентами полиномов (сложение, вычита-
ние, умножение на символ К) производятся по модулю .
Условие 2. Умножение полиномов производится по модулю хп—1. Таким
образом, за результат умножения принимается остаток от деления обычного
произведения полиномов на двучлен хп -1.
Первое условие вводится для того, чтобы коэффициенты получаемых по-
линомов принадлежали алфавиту входа и выхода канала передачи, второе —
чтобы степень этих полиномов соответствовала длине кодовых последователь-
ностей данного кода п. Обычно во всех случаях, кроме специально оговаривае-
мых, выполнение этих условий подразумевается.
При двоичном кодировании	=т = 2) коэффициенты Ц в (9.4) мо-
гут принимать одно из двух значений: 0 или 1. Так, например, кодовая последо-
вательность циклического кода 10111001 может быть записана в виде полино-
ма следующим образом:
f(x)—1х7 + Ох6 + 1х5 + 1х4 + 1х3 + Ох2 + Ох+1 = х7 + х5 + х4+х3 +1
Таким образом, единицам кодовой последовательности соответствует на-
личие членов полинома, а нулям — их отсутствие. Степень каждого присутст-
вующего члена равна уменьшенному на единицу порядковому номеру элемен-
та, отсчитанному справа.
В качестве разрешенных кодовых последовательностей циклического кода
принимаются те, для которых полином, их отображающий, делится без остатка
на некоторый, заранее выбранный порождающий (образующий) полином g(x).
277
Исходя из этого, циклический код обычно задается порождающим полиномом
g(x) таким образом, что разрешенные кодовые последовательности цикличе-
ского кода соответствуют полиномам, кратным порождающему полиному
g(x). Для этого порождающий полином должен удовлетворять двум условиям:
1)	быть неприводимым, т. е. не делиться ни на какой другой полином;
2)	на него должен делиться без остатка двучлен вида хп -1 (в данном
случае имеется в виду обычная операция деления).
Необходимо подчеркнуть, что с введением операции деления полиномов
появляется действие вычитания коэффициентов по модулю т. В случае,
когда обычная разность коэффициентов положительна, никаких затруднений
с получением ее значения по модулю т не возникает. Для получения же
значения по модулю т от отрицательного числа к нему нужно прибавлять
(один или несколько раз) величину т до получения первого положительно-
го значения или нуля, которые и принимаются за результат.
При двоичном кодировании операция вычитания коэффициентов ис-
ключается, так как операции сложения и вычитания по модулю 2 эквива-
лентны. Это позволяет в случае двоичного кодирования при всех операциях
над полиномами (включая и деление) пользоваться только суммированием
коэффициентов по модулю 2 (двучлен хп-1 при этом заменяется соответст-
венно двучленом хп +1).
Линейность циклических кодов подтверждается тем, что любая линейная
композиция двух разрешенных кодовых последовательностей, делящихся на
порождающий полином g(x), будет обязательно делиться на тот же порож-
дающий полином, т. е. будет принадлежать к числу разрешенных кодовых по-
следовательностей данного циклического кода. При этом на множество раз-
решенных кодовых последовательностей в этом случае, по сравнению с обыч-
ными линейными кодами, накладывается дополнительное ограничение: дели-
мость на порождающий полином.
278
С позиций приведенного представления алгоритм формирования кодо-
вых последовательностей циклического кода может быть определен как
f(x)=u(x)g(x)	(9.5)
где u(x) — многочлен степени Z-1, отображающий исходную информацион-
ную последовательность первичного кода; g(x) — порождающий полином сте-
пени г = n—l\ f(x) — полином степени п -1, отображающий формируемую ко-
довую последовательность циклического кода.
Цель кодирования циклическим кодом состоит в определении многочлена
f(x) по известным многочленам и(х) и g(x). При этом многочлен f(x) должен
обязательно делиться на g(x) без остатка. Однако выполнение этого условия
при формировании кодовых последовательностей согласно (9.5) сталкивается
с проблемой, состоящей в том, что при прямом умножении многочленов g(x) и
и(х) образуется неразделимый код, декодирование кодовых последовательно-
стей которого затруднено. Для решения данной проблемы на практике приме-
няют следующий способ. Каждая Z-элементная последовательность и(х) пер-
вичного кода умножается на хг, что эквивалентно приписыванию справа к ко-
довой комбинации г нулей. Далее произведение u(x)xr делится на порождаю-
щий полином g(x). При этом получается частное Q(x) и остаток R(x), т. е.
= (9'6)
g(x)	g(x)'
Умножая обе части равенства (9.6) на g(x), получаем
u(x)xr = Q(x)g(x) ® R(x)	(9 • 7)
*
Поскольку сложение и вычитание по модулю 2 дают одинаковый резуль-
тат, то выражение (9.7) можно записать следующим образом:
u(x)xr Ф R(x) = Q(x)g(x)	(9-^)
*
Многочлен в левой части равенства (9.8) и есть кодовая последователь-
ность, т. е.
279
f(x)=u(xX®R(x).	(9-9)
Видно, что f(x) делится без остатка на g(x), так как правая часть равенства
(9.8) делится на этот многочлен. В этом случае коэффициенты при х со степе-
нью г-1 и ниже отображают проверочные элементы в кодовой последователь-
ности на входе канала передачи.
Таким образом, если кодовая комбинация циклического кода f(x) принята
без ошибок, то она обязательно должна делиться на образующий полином g(x)
без остатка. Анализируя выражение для кодовой последовательности (9.9),
можно отметить, что первое слагаемое u(x)xr имеет нулевые коэффициенты в
г членах низшего порядка, а степень второго слагаемого меньше г. Таким об-
разом, коэффициенты остатка R(x) соответствуют проверочным элементам, а
коэффициенты степени г и выше — информационным элементам.
Пример. Пусть для помехоустойчивого кодирования исходных информа-
ционных последовательностей первичного кода длиной I = 12 используется по-
рождающий полином g(x)=x5 4-х4 4-х2 +1. Тогда число проверочных элементов в
кодовой последовательности циклического кода будет равно пяти (г = 5 ). Оп-
ределим значения проверочных элементов для кодовой последовательности
первичного кода 01 000 1011001, которой соответствует полином
u(x)=XW +х6 +х4 +х3 +1.
Помножим многочлен сообщения и(х) на хг = х5 и полученное произведе-
ние разделим на g(<). Путем последовательного деления найдем частное
Q(x) = х10 ч- х9 4- х8 4-1 и остаток R(x)=x4 4- х2 4-1.
Кодовая последовательность f(x) формируется сложением остатка R0-) с
и (х )х 5 : f(x) =Х15 +Х11 +х9 4-Х8 4-Х5 +х4 4-Х2 4-1 .
Отсюда передаваемая в канал кодовая последовательность циклического
кода, состоящая из семнадцати информационных и проверочных элементов,
будет иметь вид: 01000101100110101.
280
Под влиянием помех в канале принятая последовательность единичных
элементов может отличаться от переданной, т. е. многочлен f(x) преобразуется
в некоторый многочлен у(х). В связи с тем, что многочлены складываются по
модулю 2, то у(х) можно представить как сумму двух многочленов
у(х) = f(x) © Е(х).	(9.10)
где Е(х) -многочлен ошибок, содержащий столько членов, сколько элементов в
принимаемой кодовой последовательности не совпадает с переданной. В дво-
ичном представлении полином Е(х) рассматривается, как полином, соответ-
ствующий некоторому «коду ошибки», имеющему единицы на месте иска-
женных символов и нули на остальных позициях.
Основным критерием наличия в принимаемой кодовой последовательно-
сти ошибки является ее неделимость без остатка на порождающий полином
g(x). Если у(х) делится на g(x) без остатка, то принятая кодовая последова-
тельность рассматривается как разрешенная, даже если произошла ошибка
(случай необнаруживаемой ошибки). Неделимость у(х) на gO-) в соответствии с
(9.10) определяется тем, что Е(х) не делится на g(x).
Обнаруживающие и исправляющие способности циклических кодов пол-
ностью определяются видом порождающего полинома g(x). Поэтому правиль-
ный выбор порождающего (образующего) полинома является основной зада-
чей, решаемой при конструировании такого кода.
Как уже отмечалось, циклический сдвиг разрешенной кодовой последова-
тельности циклического кода приводит к формированию новой разрешенной
кодовой последовательности этого же кода (отсюда и название циклических
кодов). Таким образом, если кодовая последовательность 01000101100110101
является разрешенной, то кодовые последовательности 10001011001101010,
00010110011010101 ит. п. также принадлежат к числу разрешенных.
Остановимся на основных свойствах циклических кодов.
Циклический код, порождающий полином которого содержит больше од-
ного члена, обнаруживает все однократные ошибки. При однократной ошибке в
281
z-м элементе кодовой последовательности многочлен ошибок будет иметь вид
Е(х)=У и для обнаружения ошибки не должен делиться без остатка на g(x).
Поскольку одночлен не делится без остатка на многочлен, то одиночная ошиб-
ка всегда будет обнаружена.
Циклический код, образованный порождающим многочленом g(x)=x+l,
обнаруживает не только все однократные ошибки, но и любые ошибки нечет-
ной кратности. Для обнаружения ошибок при порождающем полиноме х+1
многочлен кодовой последовательности f(x) должен делиться на х+1 без остат-
ка, т.е. f(<) - (x+l)Q(x) = xQ(x)+Q(x). Если Q(x) содержит к членов, то xQ(x)
также содержит к членов. Из общего числа 2к членов в Q0-) и xQ(x) есть со-
ответствующие пары к} членов, имеющих одинаковые степени, которые при
суммировании по модулю 2 дадут нули. Тогда в кодовом многочлене f(x) оста-
ется Цк—ку) членов, т. е. четное число. Отсюда следует, что кодовый много-
член любой комбинации циклического кода, образованного порождающим по-
линомом х+1, содержит четное число членов. При нечетном числе ошибок
многочлен ошибок Е(х) будет содержать нечетное число членов и, следова-
тельно, никогда не будет делиться на g(*). Поэтому все искажения кодовых по-
следовательностей циклического кода на нечетном количестве позиций будут
обнаружены.
Циклический код, образованный порождающим полиномом g(x), обнару-
живает все однократные и двукратные ошибки, если общее количество элемен-
тов в кодовых последовательностях меньше или равно степени к двучлена
х*+1, где к — наименьшее число, при котором х*+1 делится на g(x) без остат-
ка. Для обнаружения двойных ошибок необходимо, чтобы многочлен ошибок
Е^^х'+х7 не делился на g(<) при любом i, j<n. Полагая i< j, преобразуем
Е(х) следующим образом:
Е(х) = х;(1+х7/).
282
Так как j-i<n<k, то х7 г+1 не делится на g(x) и, следовательно, код бу-
дет обнаруживать все двукратные ошибки. Все однократные ошибки обнару-
живаются в соответствии со свойством 1.
Циклический код, образованный порождающим полиномом степени г, об-
наруживает все групповые ошибки длиной в г элементов и менее. Любая груп-
повая ошибка, состоящая из г элементов, описывается многочленом ошибок
степени г вида Е^^х7 ч-...+x1) при j—i = r—l. Вынося за скобку х\ получим
Е(х)=х'(х 1 + ...+1). Поскольку степень многочлена, стоящего в скобках, меньше
Г, то полином ошибок Е(х) не делится на g(x), степень которого г, что и обес-
печивает обнаружение циклическим кодом любой групповой ошибки длиной г
и менее.
9.5.	Коды Боуза-Чоудхури-Хоквингема
К одним из наиболее эффективных циклических кодов, обнаруживающих
и исправляющих независимые ошибки, относятся коды Боуза-Чоудхури-
Хоквингема (коды БЧХ). Порождающий полином кода БЧХ определяется за-
данным кодовым расстоянием и необходимой длиной кодовых последователь-
ностей. Длина кодовой последовательности циклических кодов БЧХ может
быть определена из выражения
w = 2'-l,
где t —любое целое число.
Таким образом, кодовая комбинация кода БЧХ может содержать 3, 7, 15,
31, 63, 127, 255 и так далее элементов.
Количество проверочных элементов в кодовой комбинации кода БЧХ не
должно превышать величины /(<7min-1)/2. Следовательно, количество инфор-
мационных элементов в кодовой последовательности определяется следующим
соотношением:
283
Порождающий полином g(x) циклического кода БЧХ определяется как
наименьшее общее кратное (НОК) так называемых минимальных полиномов
М;(х) нечетных степеней:
g(x) = НОК[М1(х)М3(х)...М^_2(х)].
Минимальные полиномы для t < 7 представлены в табл. 9.2. Отметим, что
все они неприводимые, т. е. не раскладываются на простые множители.
Алгоритм построения кодов БЧХ наглядно отражается следующим приме-
ром. Пусть необходимо построить код БЧХ, имеющий кодовое расстояние
dmm =5 и 7 = 31 элементов в кодовой комбинации. В этом случае порождающий
полином может быть определен по формуле
g(x)=M1 (х)М3 (х) .	(9.11)
Поскольку в данном случае t = log2 (п+1) = 5, то значения минимальных по-
линомов необходимо выписать из пятого столбца табл. 9.2. Тогда можно запи-
сать
М т (х)=х5 +х3 +1, М3 (х)=х5 +х4 +х3 +х2 + 1.
284
Подставляя значения минимальных полиномов в формулу (9.11) для поро-
ждающего полинома, получим
g(x) = х10+х9+х8+х6+х5+х3 +1.
Коды БЧХ обладают нечетными значениями кодового расстояния dwn.
При необходимости кодовое расстояние можно еще увеличить на единицу,
применив порождающий полином, равный произведению порождающего поли-
нома исходного кода БЧХ на двучлен х+1. Так, в рассмотренном выше примере
для кода с d^ = 5 кодовое расстояние можно повысить до 6, если использовать
порождающий полином следующего вида:
§(%) = (х + 1)(х10+х9+х8+х6+х5+х3 +1) = хп+х8+х7+х5+х4+х3 + х + 1.
Алгоритм построения кодов БЧХ позволяет при заданных dwn и п строить
коды с соответствующим числом информационных элементов I в кодовых ком-
бинациях. В этом случае с увеличением кодового расстояния d^m и при
п = const число информационных элементов I уменьшается. Однако конкрет-
ные требования, предъявляемые к телекоммуникационным системам, часто не
позволяют строить циклические коды с необходимыми параметрами.
9.6.	Псевдоциклические коды
Во многих случаях на практике более удобен способ построения цикличе-
ских кодов, при котором количество информационных элементов в кодовых
комбинациях поддерживается постоянным, а с увеличением кодового расстоя-
ния возрастает общее количество элементов п кодовой комбинации за счет уве-
личения числа проверочных. При этом код может потерять свойство циклично-
сти. Такие коды определяют как псевдоциклические коды.
Рассмотрим один из способов построения псевдоциклического кода. Пусть
f(x) = (хпАхпЛ +ап_2хп'2 +...+<х1х1 +а0 является кодовой комбинацией циклического
кода с порождающим полиномом g/*) и кодовым расстоянием d^. Выберем
новый порождающий полином g(x) так, чтобы произведение g2 00 = g(jv)g1 (х)
285
было бы порождающим полиномом «-элементного циклического кода с кодо-
вым расстоянием d^ > d^n. Закодируем остаток от деления R(x)=f(x)/g1 (х)
систематическим блочным кодом, имеющим кодовое расстояние
- ^2mm “ ^imm и количество элементов в кодовой комбинации, равное п .
Пусть полиномом кодовой комбинации данного кода является многочлен f* (х).
Рассмотрим теперь новую кодовую комбинацию, отображаемую полиномом
fn(x)=f(x) + x"f*(x).
Видно, что первые п коэффициентов этого полинома совпадают с соответ-
ствующими коэффициентами полинома f(^). В связи с этим можно считать, что
полученный псевдоциклический («+«*,/)-код имеет кодовое расстояние не ме-
нее d2^.
Укороченные циклические коды. Электронно-вычислительные машины,
являющиеся источниками или потребителями информации в телекоммуника-
ционных системах, обмениваются с внешними устройствами либо непосредст-
венно так называемыми машинными словами, т. е. кодовыми комбинациями,
содержащими 16, 24, 32 и т. д. элементов, либо байтами, т. е. кодовыми комби-
нациями, содержащими 8 элементов. Поэтому информационная часть кодовой
последовательности циклического кода, используемого для передачи информа-
ции по каналам передачи данных, должна быть равна или кратна длине машин-
ного слова или длине байта. Между тем возможности циклического кода не
обеспечивают свободного варьирования числом информационных элементов в
блоке при заданном кодовом расстоянии и при определенном количестве про-
верочных элементов. В связи с этим на практике часто прибегают к использо-
ванию так называемых укороченных циклических кодов.
Укороченным циклическим кодом называется такой код, у которого оп-
ределенное число к первых информационных элементов в кодовых блоках при-
нимается равным нулю и в канал не передается. На практике укорочение цик-
лического кода заключается в том, что для передачи информации используются
не все разрешенные кодовые последовательности (кодовые комбинации) пол-
286
ного циклического кода, а только те, которые содержат слева к нулей, причем
эти нули в канале не передаются.
В каждой передаваемой разрешенной кодовой последовательности укоро-
ченного циклического кода общее количество элементов равно nf = п—к, а чис-
ло информационных элементов V = 1—к.
Из полного циклического кода всегда можно построить укороченный код с
таким же или большим кодовым расстоянием.
Если f(x) является полиномом, отображающим блок полного циклического
кода с порождающим многочленом g(x), то полином, отображающий блок уко-
роченного циклического кода, может быть представлен следующим образом:
fy(x) = xf(x) - а„мТ(х).
В этом выражении Т(х) есть полином степени п', без остатка делящийся
на g(x). Таким образом, построение укороченных циклических кодов сводится
в основном к выбору полинома Т(х). Рассмотрим один из способов выбора по-
линома Т(х). Пусть полином кодовой комбинации полного циклического кода
описывается выражением
f(x) = xru(x) ® R(x),
где u(x) — полином, отображающий блок первичного кода (полином сообще-
ния) длиной I информационных элементов; R(v) — остаток от деления много-
члена и(х ) на порождающий полином g(v ) .
При укорочении кода необходимо к старших информационных элементов
кодовой комбинации f(x) приравнять нулю. При этом кодовая комбинация дли-
ной п =п-к может быть записана следующим образом:
f^) = ru'CO®R'W,
где и'(х) — полином информационных элементов степени Г = 1—к; R'C-) оста-
ток от деления многочлена x ru'(x) на порождающий полином g(x).
287
Для однозначного декодирования информационных элементов блока уко-
роченного циклического кода необходимо, чтобы все коэффициенты полинома
Т(х) с номерами и'-1,и'-2,...,г-1 равнялись нулю. Тогда
^.)=/-^-+Zg(x)
g&)
где у — коэффициент, принимающий значения 0 или 1.
Обнаруживающие и исправляющие способности укороченного цикличе-
ского кода, по крайней мере, не хуже, чем у исходного полного циклического
кода. Техника декодирования и кодирования в обоих случаях одна и та же. Од-
нако циклический сдвиг кодовой комбинации укороченного кода не всегда
приводит к образованию новой разрешенной кодовой комбинации. В связи с
этим укороченные циклические коды также относятся к группе псевдоцикличе-
ских кодов.
9.7.	Кодовые последовательности максимальной длины
В теории и технике кодирования, защиты информации, а также образова-
ния широкополосных систем передачи широкое применение находят псевдо-
случайные (квазислучайные) двоичные кодовые последовательности. Каждый
элемент такой последовательности формируется путем суммирования по мо-
дулю 2 определенных элементов, выбранных по заданному правилу из преды-
дущих п элементов, где п определяет период последовательности N = Т -1, т. е.
число элементов, входящих в блок максимальной при заданном п длины. В
этом случае элемент последовательности может быть определен по рекуррент-
ной формуле
х. . ©ад 9
Z	1 J—1	2 1—2	И l—fl *
(9.12)
где коэффициенты czy равны нулю или единице.
Начальные п элементов могут выбираться произвольно. Однако при этом
должна быть исключена последовательность, содержащая только одни нули.
288
Полученные последовательности называются, последовательностями макси-
мальной длины или периода.
Алгоритм формирования кодовых последовательностей максимальной
длины может быть наглядно представлен на примере реализации (9.12) в рекур-
рентной линии задержки (РЛЗ), состоящей из сдвигового регистра, охваченного
обратной связью в соответствии со значениями коэффициентов а (рис. 9.1).
Число разрядов регистра равно п. Тогда число возможных различных состояний
регистра при двоичном кодировании равно 2”. Однако из всех возможных со-
стояний регистра запрещено одно, соответствующее кодовой комбинации, со-
стоящей из п нулей, которое приводит к обращению в нуль единичных элемен-
тов во всех других комбинациях. Поэтому число возможных состояний регист-
ра, обеспечивающее его нормальную работу, равно 2"-1 = У. После N тактов
состояние регистра периодически повторяется.
Рис. 9.1. Схема алгоритма формирования кодовых последовательностей
максимальной длины
В схеме, изображенной на рис. 9.1, элементы и сумматоры по модулю 2
(М2) образуют цепь обратной связи. Установлено, что рассматриваемая схема
обеспечивает формирование последовательностей максимального периода
N = 2" -1 не при любых значениях czy. Поэтому для получения такой последо-
вательности необходимо выполнить определенные условия по выбору элемен-
тов cCj, При математическом описании РЛЗ обычно применяется ее представ-
289
ление в виде полинома gO-) степени п, который называется образующим поли-
номом. Для того чтобы обеспечить максимальную длину формируемой после-
довательности, этот полином должен быть:
1) неприводимым, т. е. неразложимым на множители;
2) примитивным, т. е. являться делителем полинома х*+1 только при
k = N и не быть при к < N.
Образующий полином в рассматриваемом примере (рис. 9.1) определяется
как
g(x) = х3 + х+1.	(9-13)
Коэффициенты соответствующие полиному (9.13), будут в этом случае
равны: «0=1,<^=1,а2= 0,с^=1. Выбирая соответствующее начальное состоя-
ние регистра (например, 010), можно определить, что последовательность мак-
симальной длины, обеспечиваемая полиномом (9.13), имеет вид 0100111,
0100111... .
Рекуррентное выражение, соответствующее полиному (9.13), может быть
записано в виде = xi Ф xi-3. Эта формула обеспечивает необходимые преоб-
разования последовательностей в цепи обратной связи РЛЗ.
В рассмотренном примере длина (период) формируемой последовательно-
сти N = 7. Увеличивая длину регистра п, можно значительно увеличить это
значение. Например, при я = 40, У»240 «1012. Учитывая, что в году примерно
3. 107 с, нетрудно определить, что при скорости генерации двоичной последо-
вательности 1 кбит/с период последовательности составит около 30 лет. Таким
образом, РЛЗ, построенная по правилу примитивного неприводимого полино-
ма, позволит получить практически не повторяющиеся двоичные последова-
тельности максимальной длины. При изменении начального заполнения реги-
стра происходит только циклический сдвиг последовательности.
Таким образом, к основным свойствам кодовых последовательностей мак-
симальной длины относятся:
290
1.	Символы кодовой последовательности максимальной длины 7V распре-
делены по случайному закону. Символы двух и более последовательностей
максимальной длины статистически взаимосвязаны. Исходя из этого, кодовые
последовательности максимальной длины считаются псевдослучайными (ква-
зис лучайными).
2.	При реализации алгоритма формирования кодовых последовательностей
максимальной длины на базе РЛЗ максимальный период N обеспечивается, ес-
ли порождающий (образующий) полином РЛЗ является неприводимым и при-
митивным.
3.	Начальное заполнение п РЛЗ однозначно определяет формируемую ко-
довую последовательность максимального периода 2V.
4.	Каждое увеличение начального заполнения РЛЗ на 1 (увеличение на 1
длины регистра РЛЗ) обеспечивает двукратное увеличение периода 2V кодовых
последовательностей максимальной длины.
5.	Циклический сдвиг кодовой последовательности максимального перио-
да А7, формируемой при каком-либо одном начальном заполнении РЛЗ, являет-
ся кодовой последовательностью максимального периода N, формируемой при
соответствующем этому циклическому сдвигу другом начальном заполнении
РЛЗ.
Отмеченные свойства определили широкое применение кодовых последо-
вательностей максимального периода при решении задач защиты информации в
телекоммуникационных системах. Так, алгоритмы формирования кодовых по-
следовательностей максимальной длины на базе РЛЗ составляют основу прак-
тически всех известных способов защиты информации в части формирования
ключевых последовательностей. Начальное заполнение РЛЗ в данном случае
определяется ключевыми данными, а формируемая последовательность макси-
мальной длины рассматривается как исходная ключевая последовательность.
291
9.8. Коды с постоянным весом
Коды с постоянным весом относятся к виду блочных, неразделимых и не-
систематических кодов. Код с постоянным весом это код, в котором каждая
разрешенная кодовая последовательность содержит одинаковое число единиц.
Отношение числа единиц g к числу нулей п—g называется весом кода. Число
разрешенных последовательностей в таких кодах определяется как количество
сочетаний из п элементов по g и равно
и’
N=C‘ =---------
Типичным примером кода с постоянным весом является получивший ши-
рокое распространение семиэлементный двоичный код МТК-3, в котором из
Мп —2п — 27 - 128 возможных кодовых последовательностей используются для
передачи информации только содержащие 3 единицы и 4 нуля. Известен код
«Дальность», в каждой разрешенной кодовой последовательности которого со-
держатся 4 единицы и 3 нуля. Число разрешенных кодовых комбинаций в при-
веденных кодах равно N = C^ = €$ = 35. Коэффициент избыточности кода с по-
стоянным весом 4/3 определяется как
Р-ПК ~ 1
= 0,277
Кодовое расстояние данных кодов равно двум = 2 5 т. е. такой код дол-
жен обнаруживать все однократные ошибки. Однако замечательная особен-
ность кодов с постоянным весом состоит в том, что они могут обнаруживать
также и двойные, тройные и так далее ошибки, при которых нарушается весо-
вое соотношение единиц и нулей. Такими кодами не обнаруживаются только
ошибки, при которых количество единиц, перешедших в нуль, равно числу ну-
лей, перешедших в единицу.
Определим помехоустойчивость кода с постоянным весом. Необнаружи-
ваемая ошибка произойдет тогда, когда одновременно одна единица перейдет в
нуль и один нуль перейдет в единицу, или произойдет ошибка в двух единицах
292
и двух нулях, и так далее. Пусть Ре — вероятность искажения символа кодовой
последовательности при передаче. Тогда вероятность ошибочного приема од-
ной из g единиц равна С^Ре(1 — РеУ\ вероятность ошибочного приема двух
единиц С21* (1- Pe)s~2, вероятность ошибочного приема одного нуля
Cn-gPe О-^)”~ё1 и т. д. Пренебрегая весьма малой вероятностью ошибочного
приема двух и более единиц и нулей, выражение для вероятности необнаружи-
ваемой ошибки перепишется в следующем виде:
40 =cjpe(i-pe)g"1ci_gpe (1 -	« g{n - g)P?.
Для семиэлементного кода (п=7) с постоянным весом 4/3 найдем Рио ,
Вероятность обнаруживаемой ошибки определим как разность
Р — Р —Р «пР — g(n — g)P2	(9«14)
оо ош но е о \ * о 7 е ?
где ?ош = 1 ~ (1—Ре)” ~ пРе — вероятность искажения кодовой последовательно-
сти.
С учетом (9.14) для коэффициента обнаружения ошибок по знакам кода с
постоянным весом можно записать следующее выражение:
Обычно на практике для KB-каналов связи 7^=102. Тогда &обн =0,985.
Основным достоинством кодов с постоянным весом является их достаточно
высокая помехоустойчивость в асимметричных каналах связи, т. е. в каналах, в
которых вероятности перехода единицы в ноль и обратно не равны между со-
бой. Недостатком этих кодов является относительно высокая сложность алго-
ритмов кодирования и декодирования.
293
Глава 10
КОДИРОВАНИЕ ДЛЯ НЕПРЕРЫВНЫХ КАНАЛОВ
10.1.	Взаимная информация для непрерывных каналов
Непрерывным каналом, как следует из общей модели (7.12) и схемы пере-
дачи (см.рис. 7.1), является канал с непрерывными параметрами, вход X и вы-
ход Y которого представляются непрерывными ансамблями. Выборочные про-
странства этих ансамблей определяются случайными процессами и в некоторых
случаях могут рассматриваться как случайные величины. На основании этого
описание непрерывных каналов обычно проводится в 2 этапа. На первом этапе
рассматривается случай дискретного времени, когда передается последова-
тельность непрерывных случайных величин, которые считаются имеющими
одинаковое распределение и независимыми. Таким образом, при вычислении
пропускной способности С достаточно ограничиться какой-либо одной из этих
величин. На втором этапе рассматривается случай передачи реализаций не-
прерывных случайных процессов и определяется пропускная способность в
единицу времени	где 7^=1/ 7].
Предположим, что шум в канале является гауссовским, имеет нулевое
среднее и дисперсию а2п, а его взаимодействие с входом канала сводится к тому,
что они, будучи взаимонезависимыми, просто складываются. Таким образом,
на выходе канала наблюдается величина
= Xi -I- п.
Для вычисления средней взаимной информации I(X; Y), принимая во вни-
мание ее симметричность относительно X и Y, воспользуемся формулой
7W
-h Y/X
(10.1)
где X и Y
непрерывные ансамбли на входе и выходе канала с непре-
рывными параметрами, соответственно; h Y
дифференциальная энтропия
ансамбля на выходе канала.
294
Условная энтропия h Y/X
может быть определена как
h [ Y/x] = - |р(^) |Р(Л / jq )фА.	(Ю-2)
При независимом сложении входа канала и шума то или иное значение у1
(при известном у), как это видно из рис. 10.1, формируется только тогда, ко-
гда шум принимает значение п = ух—хх
Рис. 10.1. Сложение входа непрерывного канала и шума при формировании
выхода
Поэтому условная вероятность P(yJx^dyx того, что у (при фиксирован-
ном х) примет значение из интервала [ух; у} +4^], совпадет с безусловной
вероятностью P(n)dn того, что значения шума будут заключены в интер-
вале [и; п + dn\, где п = уг -a dn = dyx. Тогда из (10.2) следует
т. е. условная энтропия h Y/X
совпадает с безусловной энтропией шума
h N
Таким образом, второе слагаемое в формуле (10.1) определяется только
шумом, и для того, чтобы найти пропускную способность, достаточно макси-
мизировать по всем возможным распределениям слагаемое h Y . Как уже бы-
ло установлено, энтропия
будет максимальной, когда у имеет гауссов-
скую плотность вероятности с нулевым средним. Отсюда следует, что сообще-
295
ние х, которое может рассматриваться в виде суммы двух гауссовских случай-
ных величин Tj и (-и) с нулевыми средними, тоже должно иметь гауссово рас-
пределение с нулевым средним. Поскольку вход канала и шум независимы, то
откуда ЬШЯ1[¥] = |1п2ле(о2 + а2„
. Кроме того, h N = —1п27гео^.
Следовательно,
(10.3)
Таким образом, пропускная способность достигается, когда вход канала
имеет гауссовское распределение с нулевым средним. Это согласуется с фи-
зическими объяснениями, которые приведены ранее.
Определим физический смысл полученного результата. Для этого обра-
тимся к материальной форме представления сообщений, т. е. к сигналам.
Можно показать, что при заданной пропускной способности С канала сущест-
вует конечное число М<2С'Т' реализаций сигнала установленной длительно-
сти Тх, которое может быть передано по каналу при исчезающе малой вероят-
ности их опознавания. Причем безошибочная передача большего, чем 2С|Г|
числа различных значений случайной величины невозможна. Введение ко-
нечного числа реализаций сигнала означает квантование случайной величи-
ны, определяющей выборочное пространство ансамбля X. Однако, прибегая
к квантованию непрерывной случайной величины со все убывающим шагом,
нельзя одновременно добиться того, чтобы все уровни передавались безоши-
бочно, поскольку должно выполняться ограничение Л/<2С|7'. Выбирая же
число уровней квантования конечным, меньшим 2 е'7', неизбежно вводим в пе-
редаваемые сообщения ошибку квантования. Таким образом, неискаженная
передача аналоговых величин по каналу с помехами невозможна.
По порядку возникающая ошибка будет равна —- = о2‘ 11,
ким образом, можно считать обоснованной следующую теорему.
296
Теорема 10,1. Пусть вход канала является случайной величиной с дис-
персией сГ и пусть производится блоковая передача независимых значений
этой случайной величины. Тогда при достаточной длительности блоков 7] и
пропускной способности канала С возможна передача значений случайной
величины со среднеквадратической ошибкой, сколь угодно мало отличающей-
ся от и 2’С|.
Л
Данная теорема и выражение (10.3), связывающее пропускную способ-
ность с отношением сигнал/шум в канале, позволяет в новом свете взглянуть
на проблему передачи в нем дискретных сообщений. Поскольку логарифм лю-
бого числа, большего единицы, является положительной величиной, из фор-
мулы (10.3) следует, что безошибочная передача дискретных сообщений по
каналу связи с помехами возможна при любом, а не только достаточно боль-
шом отношении сигнала к шуму. Отношение сигнал/шум влияет только на
скорость, а не на сам факт передачи информации.
Этот фундаментальный результат впервые получен К. Шенноном, кото-
рый и вывел формулу(Ю.З).
10.2.	Пропускная способность непрерывных каналов с аддитивным
гауссовским шумом и ограничениями на полосу частот и
по мощности
Определим пропускную способность каналов, по которым передаются реа-
лизации непрерывных случайных процессов. Для этого примем следующие
предположения.
1.	Непрерывный канал имеет ограниченную полосу F.
2.	Шум в канале является гауссовским с нулевым средним и имеет
равномерную в полосе F энергетическую спектральную плотность .
3.	Шум не зависит от входа канала и взаимодействует с ним аддитивным
образом.
297
4.	Вход канала в данном случае представляется реализациями стационар-
ного случайного процесса, средняя мощность которого равна а2х.
Существует доказательство того, что при независимости от входа канала
наибольшим искажающим воздействием при заданной мощности (в данном
случае она равна NQF) обладает гауссовский шум с равномерным спектром.
По известной теореме дискретизации В.А. Котельникова процесс, спектр
которого ограничен полосой F, однозначно характеризуется совокупностью
отсчетов, взятых через интервалы времени длиной 1/F. Содержащаяся в них
информация примет наибольшее значение, когда каждый из них будет иметь
гауссовское распределение с нулевым средним и все они будут взаимонеза-
висимыми.
С учетом этого можно прийти к заключению, что процесс х (7) на входе
канала должен быть гауссовским и иметь нулевое математическое ожидание.
Теперь покажем, что отсчеты процесса у (/) будут независимыми, когда
спектр сигнала х(7) равномерен в полосе F. В самом деле, поскольку сиг-
нал и шум независимы, то спектр их суммы, то есть спектр процесса у (7)
равен сумме спектров входа канала и помехи. Следовательно, он тоже будет
равномерным в полосе F. Его функция корреляции определяется выражени-
ем
2 sin 2лFt
2л Ft ’
которое показывает, что отсчеты процесса, взятые через интервалы времени
1/ 2F, некоррелированы и, поскольку речь идет о гауссовском процессе,
независимы. Таким образом, рассматривая сообщения достаточно большой
длительности Т, можно считать, что каждое из них характеризуется 2FT
независимыми отсчетами.
Отсюда, вычисляя информацию процесса, как информацию его независи-
мых отсчетов, и учитывая формулу (10.3) получим
298
IJX;Y =F71og
Черта над Tz(X;YJ указывает на то, что речь идет о наибольшем возмож-
ном количестве информации.
Соответственно для пропускной способности непрерывного канала в еди-
ницу времени имеем
(10.4)
=Flog 1+
Формула (10.4) выведена К. Шенноном и носит его имя. Из нее следует,
что наибольшее количество информации, которое можно передать по непре-
рывному каналу с помехами, растет с увеличением отношения сигнала к шу-
му, времени передачи Т и расширением полосы занимаемых частот F. По-
следнее означает, что недостаток мощности входа канала можно скомпенсиро-
вать надлежащим расширением полосы канала. Системы передачи, в которых
спектр входа канала X значительно превосходит по своей ширине спектр сооб-
щения, принято называть широкополосным. Хорошим практическим способом
формирования широкополосных сигналов является использование частотной
модуляции с достаточно большим индексом.
Следует, однако, заметить, что возможности увеличения пропускной
способности, связанные с расширением полосы, небезграничны. Дело в том,
что у шума ограничивается обычно не мощность, как таковая, а спек-
тральная интенсивность Yo. С учетом этого, преобразовав выражение
(10.4) к виду
С =Fln 1+
можно сделать вывод, что в указанных условиях пропускная способность ка-
нала с ростом F будет стремиться к некоторому пределу. Действительно, с
ростом полосы F величина ------ уменьшается. Тогда, учитывая, что при
299
малых х имеет место соотношение 1п(1 + х)«х (можно также воспользо-
ваться правилом Лопиталя), получим
нат
(10.5)
Общий вид зависимости пропускной способности от полосы F показан на
рис. 10.2. Из нее следует, что при заданных значениях мощности сигнала о2
и спектральной интенсивности шума 7V0 получить пропускную способность
канала связи большую, чем С1оо, нельзя.
0,5
3 7V0F/cr2
Рис. 10.2. Пропускная способность непрерывного канала, как функция его
полосы
Пусть С1оо =1нат/с. Как следует из формулы (10.5), для обеспечения такой
пропускной способности необходимо иметь источник сигнала, мощность кото-
рого в месте его сложения с шумом численно равна 7\Г0 Вт (как обычно, речь
идет о мощности, рассеиваемой в сопротивлении 1 Ом). Так как передача од-
ного ната информации длится в таком канале 1 с, то при этом расходуется
энергия, численно равная 7V0 джоулей.
300
10.3.	Эффективность помехоустойчивых кодов при кодировании
для непрерывных каналов
В качестве критерия эффективности корректирующих кодов при кодиро-
вании для непрерывных каналов можно использовать обеспечиваемую ими
достоверность передачи информации при фиксированных скорости передачи,
средней мощности сигнала и помехах.
Для этого необходимо прежде всего ввести меру достоверности передачи
информации, обеспечивающую возможность сравнения по этой характеристике
различных кодов. Для блочных корректирующих кодов в качестве такой меры
удобно использовать предложенную Л.М. Финком эквивалентную вероят-
ность ошибки PfL, характеризующуюся значением вероятности ошибочного
приёма элементарного символа примитивного кода (L, L), при котором послед-
ний обеспечивает ту же достоверность передачи информации, что и рассматри-
ваемый блочный корректирующий код (N, L). Поскольку для примитивного ко-
да вероятность ошибочного приема символа при случайных независимых ис-
кажениях отдельных символов однозначно характеризует достоверность пере-
дачи информации, то величина Рэ£ является однозначной характеристикой дос-
товерности корректирующего кода, т. е. Р,£ = Рэ.
Если оцениваемый код (N, L) в рассматриваемом канале характеризовать
вероятностью ошибочного приема Р£, то вероятность Рэ£ ошибочного приема
символа, при которой обеспечивается та же достоверность передачи информа-
ции для примитивного кода (L, L\ определяется из равенства (I-Рз£)л =1-Р7.
Откуда Рэ£ = 1 —(1 —Р7)1Л и при Рл «1 имеем
Р£*Р£/1.
Если корректирующий код (У, L) имеет кодовое расстояние ? т. е. спо-
собен достоверно исправить Z = (tZmin-l)/2 ошибок, то при случайных независи-
мых искажениях его символов, характеризуемых вероятностью Ре, получим:
301

j=/+l
Рэ1=1-(1-Р£)1/£
(10.6)
N . .
В случае, когда Ре«1 и Р£ = £ C^PjQ-PJ* 1 «1, сохраняя в (10.6)
г=/+1
лишь первый член суммы, имеющий наименьший (7+1)-й порядок относительно
малой величины Ре, получаем:
Для сравнения двух кодов (Дг.,Д) и (У, ,//) можно воспользоваться отно-
шением
(Ю.7)
где rj, /;. — коэффициент, характеризующий выигрыш j-го кода по отношению к
/-му; Z; и — число достоверно исправляемых ошибок, соответствующее кодо-
вым расстояниям сравниваемых кодов <7min( и ; Рет и Р^ — вероятности
искажений элементарных символов сравниваемых кодов при одинаковых зна-
чениях скорости передачи информации, средней мощности канала и характери-
стиках помех.
Если в качестве z-го кода используется примитивный код, то коэффициент
(10.7) определяется как коэффициент эффективности помехоустойчивого кода:
Л ПК
Эпк
(10.8)
где Репк — вероятность ошибочного приема символа корректирующего кода;
Репр — вероятность ошибочного приема символа соответствующего прими-
тивного кода при тех же помехах и тех же значениях скорости передачи ин-
формации и средней мощности канала.
302
Представим помеху в непрерывном канале в виде аддитивного белого шу-
ма со спектральной плотностью #0. Скорость передачи информации за-
фиксируем числом т информационных символов, передаваемых в 1 с (исход-
ный информационный код считается безызбыточным). Энергию обоих симво-
лов двоичного кода (0 и 1) принимаем одинаковой. Исходя из этого вероятно-
сти трансформации символов могут быть определены как
01 — 1 10
Тогда, используя последнюю формулу, получаем:
Реу = Ф (-JIEj/nA = Ф	/(N.mNj/Lj),
(Ю.9)
где ^ск — фиксируемая средняя мощность канала; mN, !Lj — общее число сим-
волов, передаваемых за 1 с при применении кода (), отвечающее условию
передачи т информационных символов в 1 с; Ф(г) =
интеграл вероятностей;
коэффициент различимости
1 7
Е о
символов.
С учетом (10.9) выражение (10.8) приводится к виду
(10.10)
где Ес — энергия символа помехоустойчивого кода EcN / L — энергия
символа примитивного кода при тех же значениях скорости передачи информа-
ции и средней мощности сигнала; R — L/N — скорость кодирования.
В качестве примера на рис. 10.3 приведен график зависимости коэффици-
ента эффективности ?/ш-от отношения Ec/N0 для 15-разрядного кода Хэммин-
га, исправляющего одиночные ошибки ( W = 15, Z = 11,7 = 1). График построен для
303
Л — 2 в области достаточно больших значений EJN^, когда применима при-
ближенная формула (10.10). Эффективность корректирующих кодов растет с
увеличением достоверности приема отдельных символов.
Рис 10.3. График зависимости коэффициента эффективности г}пк от
отношения Ес /NQ и разрядности N кодовых последовательностей
При низкой достоверности приема символов (малых значениях Ec/N„)no-
вышение корректирующей способности кода может привести к отрицательным
результатам, так как при этом превалирующим может оказаться увеличение ве-
роятности ошибочного приема символов из-за снижения их энергии при увели-
чении избыточности.
304
Глава 11
ИНФОРМАЦИОННЫЙ ПОДХОД К ОЦЕНКЕ ЭФФЕКТИВНОСТИ
ЗАЩИТЫ ТЕЛЕКОММУНИКАЦИЙ
11.1. Возможности информационного подхода к оценке качества
телекоммуникаций
Фундаментальную теоретическую основу информационного подхода к
оценке качества функционирования телекоммуникационных систем составляет
система математических моделей передачи и защиты информации:
l[U;V] = l[U]-l[U/V];
I[UK;E] = I [U;E] + l[K;E/U],
(Н-1)
(П-2)
где l[U] — среднее количество информации в сообщениях ансамбля U, соот-
ветствующее его энтропии H[U]; I[U/V] - среднее количество информации
сообщений, потерянное при передаче, соответствующее условной энтропии
H[U/V]; I[U;E]
среднее количество информации сообщений в криптограм-
мах; l[K;E/U] — среднее количество информации о ключах в криптограммах
при условии защиты информации сообщений.
Решение уравнения (11.1) составляет основу информационной оценки ка-
чества телекоммуникаций. Данное решение будет оптимальным при выполне-
нии условия l[U/V] = 0.
Основным подходом к достижению данного условия является введение
искусственной избыточности при кодировании для канала путем помехоустой-
чивого кодирования. С этих позиций избыточность помехоустойчивого кодиро-
вания выступает в роли определяющего критерия качества телекоммуникаций.
Решение уравнения (11.2) составляет основу оценки эффективности защи-
ты телекоммуникаций. Базовое условие оптимальности этого решения опреде-
ляется как I[UK;E] = O.
Основные подходы к достижению данного условия определяются теоре-
мами шифрования и скремблирования. С этих позиций определяющими пара-
305
метрами оценки качества защиты информации являются эффективность и стой-
кость шифрования и скремблирования.
Базовым понятием, определяющим возможности информационного подхо-
да, является количество информации.
С позиций теории информации общую основу подхода к оценке качества
телекоммуникаций составляет схема коммуникации, приведенная на рис. 1.1.
При этом система связи, ее объекты, элементы, узлы или происходящие в ней
процессы выступают здесь в роли источника информации, а технические сред-
ства и специалисты, производящие оценку - в роли ее получателя.
С этих позиций можно считать, что основной задачей получателя инфор-
мации в ходе оценки объекта является создание некоего информационного об-
раза источника информации. В терминах теории информации основу этого об-
раза составляет понятие «ансамбль», составляющими которого являются выбо-
рочное пространство и его вероятностная мера. При этом, если выборочное
пространство дискретное, то вероятностная мера представляет собой совокуп-
ность вероятностей. Если же оно непрерывное, то вероятностная мера соответ-
ствует плотности вероятностей непрерывного случайного процесса, состав-
ляющего выборочное пространство.
Необходимо подчеркнуть, что абсолютное большинство реальных объек-
тов при их включении в ходе оценки в схему коммуникации представляют со-
бой непрерывные источники информации. Таким источникам соответствует
непрерывный ансамбль, основу которого составляет непрерывное выборочное
пространство. Вследствие этого, количество собственной информации об объ-
екте во времени может рассматриваться как некий векторный непрерывный
случайный процесс J(Z) с математическим ожиданием, равным вектору диффе-
ренциальных энтропий исследуемых параметров объекта.
Главной особенностью реальной коммуникации (как непосредственной,
так и технической) является то, что этот процесс воспринимается получателем
информации об объекте квантами. Это объясняется целым рядом причин, к ко-
торым, прежде всего, следует отнести специфику функционирования органов
306
чувств человека, а также всегда существующие ограничения на точность и на-
дежность синхронизации измерительных приборов. Образно говоря, исследова-
тель объекта анализирует (наблюдает) не сам процесс J(Z), а результат его свое-
образного цифрового представления Jv/ (z). Эта ситуация является типичной для
современных подходов к обработке информации об объектах исследования
практически во всех областях знаний. Вполне понятно, что в данном случае
происходит искажение истинной информации об объекте, вызванное ошибками
квантования и дискретизации исходного процесса J(Z) при коммуникации. По-
следствия этого вполне очевидны: это неточности в теоретических построени-
ях, а иногда и полная их несостоятельность. К сожалению, эти последствия
обычно проявляются только через некоторое время, по мере развития научного
знания. Учитывая вполне прогнозируемое увеличение возможных масштабов
этих последствий в условиях научно-технического прогресса, становится по-
нятной опасность сложившейся ситуации.
Ставится задача определения подхода, позволяющего получить оценку
J*(0 исходного процесса J(Z), обеспечивающего минимально допустимую вели-
чину информационных потерь e(t)=S(t) -
Сразу отметим, что решение данной задачи в прямой постановке не пред-
ставляется возможным. Это связано с особенностью определения компонент
J„(Z) вектора J(Z), основу которого составляют информационные характеристики
параметров исследуемого объекта. Особенность в данном случае заключается в
том, что основу определения случайного значения J„(Z) составляет вероятност-
ная характеристика Pn(t) другого случайного значения — значения w-ro пара-
метра исследуемого объекта. Образно говоря, понятие количества собственной
информации выступает здесь в роли некоего виртуального понятия.
С этих позиций поставленную задачу можно рассматривать как реальную
проекцию некоторого виртуального образа в виде задачи определения подхода,
позволяющего получателю свести к минимуму потери от квантования субстан-
ции, формируемой источником.
307
Среди возможных реальных проекций данного виртуального образа наи-
больший интерес в нашем случае представляет собой задача минимизации
ошибки квантования в цифровых системах связи. Трансформация апробиро-
ванных решений этой задачи через виртуальную область применительно к ре-
альной проекции, составляющей поставленную задачу, позволяет получать дос-
таточно оригинальный подход к ее решению.
Для простоты изложения данного подхода воспользуемся представлением
процесса J(Z) в скалярном виде, учитывая при этом возможность последующего
обобщения полученных результатов на его векторное представление. Скаляр-
ное представление J(/)> с учетом отмеченной выше трансформации через вирту-
альную область, может быть определено как
J(Z) =
2я
(11-3)


где J(Z) — количество собственной информации некоторого определяющего
параметра объекта; Sj(^) — спектральная плотность J(Z); G) =2nf— частота;
ф(со) —фаза.
Необходимо подчеркнуть, что представление (11.3) отражает реализации
стационарного процесса, удовлетворяющие условиям Дирихле.
Преобразовав (11.3) в тригонометрическую форму имеем
1 “	i “	(11.4)
J(f) = j— 8j (®) cos[6oZ - <p(a))]da) + J- Sj (o) sin[^ - (p(a))]da)
2/r J	J
—00	—00
Спектральная плотность 5j(d>) в выражениях (11.3) и (11.4) показывает
плотность распределения значений количества информации, приходящихся на
бесконечно малый частотный интервал. В случае стационарности J(Z) эта спек-
тральная плотность не зависит от времени и ее так называемая энергетическая
форма представления G(f)=2S2(f) может быть определена как
Gj(/) = J j (т) cos(2n- fz)dt - j f Aj(т)sin(2^ft)dt ?
11.5
где (t) — корреляционная функция J(z).
308
Это свойство вполне логично позволяет рассматривать спектральную
плотность, как некий информационный образ исследуемого объекта. Причем,
логичность такого представления сохраняется и при нестационарности }(t), так
как вызванное этим изменение данного информационного образа во времени
будет незначительным по сравнению с }(t).
В случае, когда J(t) присущи элементы квантового периодического изме-
нения во времени, выражение (11.4) может быть приведено к виду
£=1
00
£=1
(11.6)

где ho — энтропия источника; к£2=к2л/Т — частоты, вблизи которых сосредо-
точен спектр процесса J(t); Т* = arctg(Jk/7k) — фаза; JA. и — ортогональные
случайные компоненты процесса:
T
2
JA = — f J(z) cos k£ltdt
T i
5
2
T
2
2
Из (11.6) видно, что может быть представлена, как совокупность ин-
формационных квазигармонических колебаний с частотами, кратными частоте
Q, соответствующей периоду Т. Если каждую из этих гармоник условно счи-
тать информационным каналом, то информационный анализ объекта исследо-
вателем предстает как многоканальная схема коммуникации. Отсюда следует,
что в данном случае наиболее полное представление об определенном парамет-
ре объекта дает его исследование по некоторому множеству параллельно ис-
пользуемых информационных каналов. Этот вывод остается справедливым и
при переходе к случаю непериодического изменения }(t), т. е. при переходе от
(11.6) к (11.4) путем устремления значения периода Т к бесконечности. При
этом, как следует из (11.4), в роли информационного канала будет выступать
полоса информационных частот da).
309
Необходимо подчеркнуть, что полученный выше вывод в принципе не яв-
ляется новым. Сама природа пришла к нему гораздо раньше. Примером этому
может служить процесс восприятия человеком звуков, когда их спектр разбива-
ется в его слуховом аппарате приблизительно на 6000 полос (каналов) и ин-
формация о значениях средних интенсивностей сигналов в этих каналах парал-
лельно поступает в мозг. Отсюда можно считать, что восприятие звуков и при-
дание им определенных образов осуществляется мыслительным аппаратом че-
ловека путем параллельного анализа множества информационных каналов, со-
ответствующего каждому звуку.
Обращает внимание еще одна особенность, которую можно заметить при
анализе приведенных выражений. Информационный образ любого реального
объекта, как следует из (11.5), может иметь две явно выраженные составляю-
щие — действительную и мнимую:
G}(f) = GM(/) + /Gta(/),
где
00
gm(/) = J R(T) cos(2/r fT)dT,
(11-7)
00
GJm(f) = J7?(r)sin(2^/r)6/r.
Данная особенность присуща и самому процессу J(t), который, как видно
из выражений (11.4) и (11.6), также имеет две явно выраженные (действитель-
ную и мнимую) составляющие.
При этом для реальной проекции, взятой за исходную, установлено, что
мнимая часть спектра сигнала обращается в ноль ввиду наблюдаемой в данном
случае четности корреляционной функции. Согласно общему принципу вирту-
альности, можно считать, что этот результат будет справедлив и для других ре-
альных проекций, в том числе и для проекции, определенной выражениями
(11.3) — (11.6). Отсюда следует, что при традиционном изучении и анализе ре-
альных объектов (явлений) исследователю доступна только действительная
часть их информационного образа. Тогда
310
(П.8)
(/) = 2 p?j (r) cos 2тг f rd? .
о
Полученный вывод порождает целый ряд вопросов, выводящих в принци-
пиально новую область научного познания. Прежде всего, что собой представ-
ляет мнимая часть информационного образа реальных объектов? Почему мни-
мую часть информационного образа невозможно измерить в реальных проек-
циях? Что надо предпринять, чтобы нарушить четность корреляционной функ-
ции в (11.7)? Ответы на эти и производные от них вопросы, несомненно, могут
составить основу отдельных фундаментальных исследований. Это является
свидетельством высоких потенциальных возможностей информационного под-
хода к оценке объектов, в роли которых выступают не только системы связи, но
и системы другого назначения. Пока же можно с достаточной долей уверенно-
сти утверждать, что само существование мнимой части информационного об-
раза реальных объектов закладывает основу дальнейшего совершенствования
информационного подхода к их исследованию.
Выражения (11.3) — (11.8) определяют математическую модель информа-
ционного образа объекта исследований как источника информации в схеме
коммуникации (рис. 1.1). Однако, как уже отмечалось, исследователь, выступая
с этих позиций в роли получателя информации, имеет возможность работать
только с квантовыми представлениями об объекте. Образно говоря, исследова-
тель, применяя известные подходы, получает, как правило, информацию, иска-
женную так называемыми шумами квантового представления, что естествен-
но приводит к формированию им искаженного информационного образа объек-
та исследования. Вполне понятно, что эти искажения будут влиять на досто-
верность результатов оценки. Это влияние может характеризоваться ошибкой
e(t) = J(Z) — J*(/). Среди возможных критериев минимизации данной ошибки
наиболее предпочтительным по результатам апробации является критерий ми-
нимума среднего квадрата ошибки (СКО).
С позиций критерия минимума СКО общий алгоритм определения опти-
мальной оценки
311
GO
J*= f
—GO
(П.9)
минимизирующей ошибку, определяется апостериорной плотностью вероятно-
стей Pps (J).
Для интервалов квантования во времени t	апостериорная плот-
ность вероятностей может быть определена дифференциальным уравнением
Фоккера - Планка - Колмогорова:
= а А {[ J(r) - h0 ] Р( Ж t)} +	NР( J(r), 0.	(11 ’1
dt dS1	7	4 dr
Здесь a, g и Nj определяются из дифференциального уравнения состояния
источника
= -a (Z,J(O) + g(t)n}(t)	(П11)
dt
в предположении его стационарности, гауссовости и марковости, когда (11.11)
принимает вид =	. Здесь w;(Z) — стационарный гауссов-
dt
ский белый шум со спектральной плотностью TVj.
Таким образом, при получении наблюдения J^(^) = J^(O апостериорная
плотность вероятностей скачком устанавливается равной PpS(J(i)), а затем экс-
траполируется по закону (11.10). Исходя из этого, задача определения оценки
J*(t) по квантовой последовательности разделяется на две задачи: задачу
определения последовательности оценок J*(O = J*(0 и задачу сглаживания по-
лученной последовательности J * (/). Если эта оценка формируется на полуин-
тервале наблюдения [^,//+1) по одному наблюдению 1Д0? т0 справедливо вы-
ражение
j * (0 = J * (г)ехр (-а(7
(П-12)
Задача определения оценки J * (0 в общем случае является нелинейной за-
дачей, которая может быть решена на основании (11.9) путем определения ре-
312
куррентного выражения для апостериорной плотности вероятностей. Результа-
том этого решения является рекуррентный алгоритм вида
J*(z) = exp(-aT)j *(/-1)+	JF(z)-exp(-aT) J*(z-l)-/z0 +й0, (ИЛЗ)
где к — индекс области квантования, к которой относятся J^(z’);	— коэф-
фициент усиления.
Определение оценки J * (t) является основой для дальнейшего формирова-
ния оценки информационного образа:
*9*(щ) = р*(^)ехр(-уц)/)бй
о
(11.14)
Выражения (11.12) — (11.14) представляют собой математическую модель
оценки информационного образа исследуемого объекта.
Любая телекоммуникационная система, с позиций информационного под-
хода к оценке ее функционирования представляет собой совокупность объек-
тов. Таким образом, решение задачи оценки с этих позиций требует формиро-
вания комплексного информационного образа системы. Эта проблема может
быть решена путем унификации (объединения) энергетических информацион-
ных образов GJJt(Z) отдельных объектов системы. Исходя из этого, комплекс-
ный информационный образ телекоммуникационной системы представляется в
виде
9l=VUNIF(G№(0) •
При этом переход от SJk к GJk(t) может осуществляться по формуле
Gjk(t)=2(s;k)\
Приведенное выражение представляет математическую модель телеком-
муникационной системы с позиций формирования ее комплексного информа-
ционного образа. Отметим, что в данной модели не накладывается ограничений
на выбор процедуры унификации, что открывает качественно новый уровень
возможностей для поиска новых подходов к оценке эффективности функцио-
нирования телекоммуникационных систем. В свою очередь, реализация данной
313
модели и создание на ее основе программных и программно-аппаратных ком-
плексов позволит выйти на новый качественный уровень решения задач оценки
качества телекоммуникаций.
11.2.	Информационная оценка качества связи
С позиций теории информации качество телекоммуникаций обеспечивает-
ся введением искусственной избыточности путем помехоустойчивого кодиро-
вания передаваемой информации. При этом принято считать, что избыточность
входа кодирования равна нулю. С этих позиций оценка качества телекоммуни-
каций может быть сведена к оценке избыточности кодовых последовательно-
стей применяемых помехоустойчивых кодов и допустимых пределов ее изме-
нения:
-	минимального значения (нижняя граница), ниже которого может проис-
ходить срыв связи;
-	максимального значения (верхняя граница), при превышении которого
дальнейшее усложнение методов помехоустойчивого кодирования перестанет
оказывать влияние на качество связи.
1	1.2.1. Информационные пределы избыточности при передаче
дискретной информации
Для определения пределов избыточности применим подход, представляю-
щий процесс передачи дискретной информации как результат искажения эле-
ментов ансамбля X на входе канала связи в элементы ансамбля Y на его выхо-
де.
Эффективность передачи информации в данном случае будет определяться
средним количеством информации об элементах ансамбля X в элементах ан-
самбля Y, т. е. I[X;Y]. Найдем взаимосвязь среднего количества взаимной ин-
формации и избыточности входа канала Вх;
I[X;Y] = H[X]-H[X/Y]	(11.15)
В[Х]=НШИ[Х]-Н[Х],	(11.16)
314
где Н[Х], Hmax[X], H[X/Y] — энтропия, максимальная энтропия и условная эн-
тропия, соответственно.
Перепишем (11.15) с учетом (11.16) в виде
I[X;Y] =	[X] - В [X] - H[X/Y].
Тогда нормированные значения I[X;Y] можно определить как
I[X;Y] = I[X;Y]/K=1-B[X]/I^ И-ЩХЛП/Н^И. (И-17)
Откуда
В [X] = (1 - I[X; Y])Hmax [X] - H[X/Y].	(11 •18)
Учитывая общепринятое определение коэффициент избыточности
= Нтх[Х] -Н[Х]_ В[Х]	(11.19)
н^и н^дх] ’
выражение (11.17) может быть приведено к виду
I[X; Y] = 1 - дх -
H[X/Y]
Н [X]
max l J
Откуда
Их = 1 - I[X; Y]
H[X/Y]
Н,гах[Х] •
Для определения нижней границы избыточности учтем, что для двоичных
каналов без памяти l[X;Y] < NC. Откуда из (11.18) получаем
B[X]>H_[X]-CW-H[X/Y].	(11.20)
На основании (11.20) для избыточности на символ В^Х] кодовых после-
довательностей ансамбля X длиной N имеем
B¥[X]>log2m3-C-Hv[X/Y\
Подставив выражение для верхней границы	[X/Y 1, получим
By [X] > lofem, - С - РеЛ log(w3 -1) + Н [РеЛ],	(11-21)
где РеЛ — вероятность искажения символа кодовой последовательности х. при
передаче.
315
Преобразовав правую часть (11.21), окончательно имеем

(11.22)
где %[Ре;,. ] = -РеДГ log[P^] - (1 - Р Л )log(l - P v).
Вероятность P_v в (12.22) определяет вероятность искажения символа ко-
довой последовательности длины N при передаче и для ДКБП при двоичном
алфавите кодовых последовательностей т3 = 2 может быть представлена как
PeV = р, где р — вероятность искажения двоичного символа в канале. С уче-
том этого неравенства выражение для
может быть приведено к виду
К Pe,.V
= -plog2 р - (1 - p)log2(1 -р).
Выражение (11.22) определяет нижнюю границу избыточности помехо-
устойчивого кодирования. Его анализ показывает, что на значение нижней гра-
ницы существенное влияние может оказывать число букв т3 в алфавите кода.
При этом увеличение т3 может приводить к существенному увеличению этого
значения. Кроме этого, выявляется особенность, состоящая в возможности от-
рицательных значений нижней границы избыточности помехоустойчивого ко-
дирования. С физической точки зрения это можно интерпретировать как введе-
ние ложной информации в процессе помехоустойчивого кодирования. Таким
образом, область отрицательных значений B V[X] может рассматриваться как
область возможного применения помехоустойчивых кодов для решения задач
имитозащиты.
Для определения верхней границы избыточности помехоустойчивого ко-
дирования подставим выражение (11.17) для l[X;Y] в (8.17), получим
Н£ [и] -1н_ [X] + 1в[Х] + |н[Х/У] < Рlog (m2 -1) + % [Р
Ху	Ху	Ху
Умножив обе части неравенства на L/Nm принимая во внимание, что
R—L/N, находим
316
В ¥ [X] < (log т3 - АН, [и]) +	(11-23)
+Л(РеЛ 10g(«2 "I) + %[РеЛ]) - (Pc,V |0g('«3 - О + #[РеЛ])-
где
# [р=л ] = -р=л 1о§ р=/ - (! - Р«л) 1о§ 0 - Р=/) >
_Pe,V_ = ~РеЛ 1°8РеЛ — (1 ~ Рел)^°^(1 ~ Pe,w) '
Отсюда для двоичных алфавитов входа и выхода помехоустойчивого ко-
дирования (т2 = т3 = 2) имеем
В у [X] < (log т, - АН, [и]) - (% [реЛ ] - RK [ре/ ]).	С11 -24)
Выражения (11.23) и (11.24) определяют верхнюю границу избыточности
помехоустойчивого кодирования. Относительно их физической интерпретации
первый член правой части (11.23) и (11.24) можно трактовать как избыточность
помехоустойчивого кода, а второй и третий член в (11.23) и третий член в
(11.24) - как избыточность ошибки помехоустойчивого декодирования. При
этом увеличение длины кодовых последовательностей N и соответствующее
ему уменьшение скорости кодирования R будет соответствовать увеличению
избыточности кода. Однако при этом, как следует из (11.23) и особенно нагляд-
но из (11.24), может, в свою очередь, наблюдаться увеличение избыточности
ошибки декодирования. Эту особенность необходимо учитывать при выборе
помехоустойчивого кода для заданных условий передачи информации.
Для оценки эффективности помехоустойчивых кодов обычно применяют
коэффициент избыточности. Это определяет целесообразность определения
границ для коэффициента избыточности помехоустойчивого кодирования. Вы-
ражение для верхней границы коэффициента избыточности помехоустойчивого
кодирования может быть получено из (11.24). Для этого, на основании (11.19) и
взаимосвязи в[х] = 7УВЛГ[Х], обе части неравенства (11.24) умножим на N и
разделим на Hmax [х] = Nlogm3. В результате получим:
317
Рх —
N-L
N
N\ogmy
(11.25)
Первый член правой части неравенства (11.25) является ничем иным, как
коэффициентом избыточности помехоустойчивого кода рпк. Второй член оп-
ределим как коэффициент избыточности ошибки помехоустойчивого декоди-
рования:
(11.26)
Р'ДК ~
Полученный результат вскрывает достаточно важную закономерность,
свойственную эффективности помехоустойчивого кодирования. Из выражения
(11.25) следует, что повышение корректирующих свойств помехоустойчивого
кода (уменьшение R) неоднозначно сказывается на эффективности помехо-
устойчивого кодирования в целом. С одной стороны, оно способствует повы-
шению эффективности помехоустойчивого кодирования за счет увеличения из-
быточности помехоустойчивого кода. С другой стороны, это одновременно
приводит к увеличению избыточности ошибки декодирования, что отрицатель-
но сказывается на эффективности помехоустойчивого кодирования. Характер-
ным примером этого может служить рассмотренная ранее возможность ложной
идентификации принятых кодовых последовательностей при чрезмерном уве-
личении R.
Данная закономерность является определяющей при информационной
оценке качества телекоммуникаций. При этом следует учитывать, что необос-
нованное повышение корректирующих свойств применяемых помехоустойчи-
вых кодов может привести к снижению качества связи, одним из проявлений
которого может быть существенное снижение имитостойкости передачи.
11.2.2. Информационные пределы избыточности при передаче
речевой информации
При помехоустойчивом кодировании информации, поступающей от не-
прерывного источника S, выборочное пространство ансамбля U представляет
собой результат цифрового представления выборочного пространства ансамбля
318
S при кодировании источника. Исходя из этого, энтропия ансамбля U может
определена как
H£[U]>HS,
(11.27)
где Не — эпсилон-энтропия квантования.
Преобразуем с учетом этого (11.23), принимая во внимание, что скорость
кодирования может быть представлена как 7?=14и/иш. В результате получим:
Ву[Х]
- (РелМ'Яз -1)-^[Pe,W])-
Умножив обе части полученного неравенства на имеем
ЧА- [и] < log т, - Се) + иш (Р., log (т2 -1) + % [₽, ] ) -
-Ц»(релlog(w3 -1) + %[РеЛ]),
(11.28)
где Се = Ц1ИНк— эпсилон-энтропия цифрового представления.
Левая часть неравенства (11.28) означает избыточность помехоустойчиво-
го кодирования в единицу времени. Основным параметром качества связи при
передаче речевой информации является разборчивость ИС.. С учетом этого
г*
применим для дальнейшего преобразования (11.26) хорошо зарекомендовав-
ший себя подход, впервые предложенный А.И. Величкиным, который состоит в
представлении Ре/, как Ре/ = 1-И^. На основании этого неравенство (11.25)
может быть приведено к виду
[U] < (иш logm, - С,) + иш ((1 - Wr) log (ю2 -1) + Jf |>р])-
-Цж(РеЛ 10g(«3-l) + 7f[P^J),
где %Г1Р 1 = -(1 - Wv)log(l - fK)- W log 17 .
Выражение (11.27) определяет верхнюю границу избыточности помехо-
устойчивого кодирования при передаче речевой информации по дискретным
каналам.
319
Приведенный подход особо интересен с практической точки зрения при-
менительно к решению задач оценки качества передачи аудиоинформации. Это
объясняется тем, что он открывает возможность, наряду с широко применяе-
мым в настоящее время для этих целей параметром разборчивости, дополни-
тельно применять в качестве еще одного параметра избыточность.
11.3. Информационная оценка эффективности защиты
телекоммуникаций
11.3.1. Оценка эффективности и стойкости шифрования
Эффективность шифрования Ф дискретного источника U* определяется
как
de	de	de de
D(O,U ) = С(Ф,и ) - H[K /U ],	(11.29)
где С(Ф, U*) — стойкость шифрования, причем
Яс	Яс я<_Я«
С(Ф, U ) = Н[К/U Е ].
Исходя из теоремы шифрования и следствия 7.3, можно выделить две об-
ласти возможных значений эффективности шифрования:
1) область неотрицательных значений Э(Ф,и*)>0, соответствующих теоре-
тически недешифруемым шифрам;
2) область отрицательных значений D(O,U*)<0, при которых теоретическая
недешифруемость не обеспечивается.
Равенство Э(Ф,и*) нулю, согласно следствию 7.1, соответствует случаю
статистической независимости ансамблей ключей К* и сообщений U* от ан-
самбля криптограмм Е*.
В частном случае, когда ансамбли U* и К* статистически независимы, вы-
ражение (11.29) принимает вид
Яс	Яс
О(Ф,и) = С(Ф,и)-Н[К],
где С(Ф,и*) = Н[К*/Е*].
С позиции традиционного подхода, предполагающего обязательное вы-
полнение неравенства Н[К*] > Н[К*/Е*] при шифровании Ф, диапазон возмож-
ных значений Э(Ф,и*), в данном случае, определяется как
320
- Н[к’] < D(O,u’) <0.	(11.30)
При этом диапазон значений стойкости шифрования находится в пределах
0 < С(Ф,и’) < Н[К’].	(П-31)
Как в (11.30), так и в (11.31) теоретическая недешифруемость обеспечива-
ется только при достижении D(O, U*) и С(Ф, U*) верхних границ отмеченных
диапазонов, т. е. при Э(Ф, U*) = 0 и С(Ф, U*) = Н[К*]. Нетрудно заметить, что в
этом случае шифр, недешифруемый теоретически, на практике таковым может
не оказаться. Так, дискретный ансамбль предполагает конечную энтропию, ко-
торая при несанкционированном доступе может быть сведена к минимуму пу-
тем простого последовательного перебора элементов выборочного пространст-
ва К*.
В случае представления ансамбля ключей в виде совместного ансамбля
X*Y* ключевых данных и ключевых последовательностей эффективность шиф-
рования определяется выражением вида
О(Ф,и*)=8ирП/Ф,и/),
х
D/O.U/)=^HU;Y7.E„)log
ijn

*
где верхняя грань берется по всем разбиениям ансамбля U , всем разбиениям
4с	4с	4с
ансамбля Е и всем разбиениям ансамбля Y , заданных ансамблем X .
Стойкость шифрования в данном случае может быть определена как
С(Ф,и*) = supC (Ф,и *)
_	г	г 7
СДФДЛ) =У XUXE„ )log----------
р р tr 1 J п *xy./u,.e„)’
(11.32)
4с
где верхняя граница берется по всем разбиениям ансамбля U , всем разбиениям
4<	4с	4«
ансамблей Е и Y , заданных ансамблем X .
Преобразовав (11.32) к виду
сдф.и/) =ХхихА)1о8
ijn
P(U,E„)
р(¥у)р(Ц/¥у)р(Е„/Ц¥у)
получаем
321
Ср(Ф,и/) = H[Y/]+H[U//Y/] + H[E//U/Y/]-H[U/]-H[E//U/].
Откуда
Cp(O,U/) = H[Y/]-I[U/;Y/] - HCE/;Y//U/].
(11.33)
При статистической независимости ансамблей сообщений, криптограмм и
ключевых последовательностей выражение (11.33) принимает вид
СДФ, и/) = H[Y/].
Это свидетельствует о том, что данном случае стойкость шифрования од-
нозначно определяется энтропией ключевых последовательностей, относящих-
ся к определённому значению ключевых данных из выборочного пространства
ансамбля X*.
11.3.2. Оценка эффективности аналогового скремблирования
Основным параметром, применяемым для оценки эффективности аналого-
вого скремблирования, является разборчивость. Разборчивостью, с позиций
обобщенной схемы аналогового скремблирования, является среднее относи-
тельное значение правильно выделенных сообщений из криптограмм к общему
числу сообщений, переданных от источника информации (ИИ). Применение
данного параметра обусловлено тем, что исторически первоначально задача
скремблирования ставилась только для решения проблем защиты речевой ин-
формации. Поэтому вполне понятно, что для оценки эффективности скрембли-
рования был применен основной параметр, применяемый для оценки эффек-
тивности передачи речевой информации. Таким параметром являлась и остает-
ся разборчивость, которая применительно к задачам передачи речевой инфор-
мации определяется следующим образом: разборчивость речи — это относи-
тельное количество правильно принятых элементов речи (звуков, слогов, слов,
фраз), выраженное в процентах от общего числа переданных элементов [41,43].
Сравнение приведенных определений позволяет отметить принципиаль-
ную отличительную особенность применения разборчивости в качестве показа-
теля эффективности скремблирования: если повышение эффективности переда-
322
чи информации характеризуется увеличением разборчивости, то повышение
эффективности скремблирования — ее уменьшением.
С позиций принятой концепции теории информации оценка разборчивости
имеет 2 уровня представления: логический и материальный. Причем из приня-
тых определений разборчивости следует, что основу этого представления
должна составлять оценка на логическом уровне. Только на этой основе воз-
можна оптимальная оценка на материальном уровне, использующая сигналы в
качестве материальной формы сообщений (слогов, слов, фраз). С этих позиций
становятся понятными проблемы оценки эффективности аналогового скремб-
лирования.
Во-первых, следует отметить, что решение задачи оценки разборчивости
на логическом уровне в прямой постановке представляется достаточно пробле-
матичным. Это объясняется прежде всего явной нестационарностью реальных
непрерывных источников и вызванными этим трудностями установления ана-
литической зависимости спектральных характеристик случайного процесса,
определяющего выборочное пространство ансамбля источника, от изменения
формируемых источником логических форм. Наличие наряду с этим нерешен-
ных проблем определения энтропии и избыточности непрерывных источников
не могло не породить скептицизм относительно возможности оценки разборчи-
вости на логическом уровне.
Во-вторых, отсутствие единой фундаментальной основы на логическом
уровне закономерно повлекло за собой многообразие различных невзаимосвя-
занных методов оценки эффективности скремблирования на материальном
уровне. Вызванная этим неопределенность критериев оптимальности оценки
породила условия, когда исследователь вынужден принимать эмпирические
решения, приводящие обычно к достаточно спорным результатам. При этом
предпринимаемые попытки уменьшения этой неопределенности путем разде-
ления методов скремблирования на вычислительно стойкие и безусловно стой-
кие, хотя в ряде случаев и оправдывают себя, однако в целом вносят дополни-
тельную неопределенность. Все это привело к формированию ситуации, когда
323
преобладающим становится мнение о том, что критерии оценки эффективности
скремблирования являются понятиями весьма условными. Парадоксальность
данной ситуации состоит в том, что исследования в направлении поиска опти-
мальных оценок эффективности скремблирования изначально ограничиваются
условием априорной неопределенности параметров критериев оптимальности
этих оценок. По-видимому, как попытку выхода из этой ситуации следует рас-
сматривать введение на основании ГОСТ Р 50840-95 [43] шкалы оценок эффек-
тивности скремблирования речи относительно диапазонов изменения разбор-
чивости:
1.	Перехваченное речевое сообщение содержит количество правильно по-
нятых слов, достаточное для составления подробной справки о содержании пе-
рехваченного разговора.
2.	Перехваченное речевое сообщение содержит количество правильно по-
нятых слов, достаточное только для составления краткой справки-аннотации,
отражающей предмет, проблему, цель и общий смысл перехваченного разгово-
ра.
3.	Перехваченное речевое сообщение содержит отдельные правильно по-
нятые слова, позволяющие установить предмет разговора.
4.	При прослушивании фонограммы перехваченного речевого сообщения
возможно установить факт наличия речи, но нельзя установить предмет разго-
вора.
Установлено, что составление подробной справки о содержании перехва-
ченного разговора невозможно при словесной разборчивости менее 60—70 %, а
краткой справки-аннотации — при словесной разборчивости менее 40—50 %.
При словесной разборчивости менее 20—30 % значительно затруднено уста-
новление даже предмета ведущегося разговора, а при словесной разборчивости
менее 10 % это практически невозможно даже при использовании современной
техники фильтрации помех. В соответствии с ГОСТ Р 50840-95 [43] понимание
передаваемой по каналам связи речи с большим напряжением внимания, пе-
респросами и повторениями наблюдается при слоговой разборчивости 25—
324
40 %, а при слоговой разборчивости менее 25 % имеет место неразборчивость
связного текста (срыв связи) на протяжении длительных интервалов времени. С
этих позиций, учитывая взаимосвязь словесной и слоговой разборчивости,
можно рассчитать, что максимально допустимая разборчивость для эффектив-
ного скремблирования будет составлять при словесной разборчивости не более
10%.
В-третьих, конкретизацию критерия максимально допустимой разборчиво-
сти путем установления определенных выше значений границ ее изменения,
несомненно, можно рассматривать как шаг на пути выхода из создавшейся кри-
зисной ситуации. Однако дальнейшее продвижение в данном направлении на-
талкивается на довольно серьезную преграду, связанную с несовершенством
существующих методик оценки разборчивости на материальном уровне. Это
объясняется тем, что практически все известные в настоящее время методики
оценки разборчивости основываются на определении отношения сигнал/шум в
классической постановке задач связи, предполагающей искажение сигнала ад-
дитивным шумом. Такая постановка задачи оказывается неприемлемой для ме-
тодов скремблирования:
так как не предусматривает установления взаимосвязи отношения сиг-
нал/шум со средним количеством взаимной информации в переданных и при-
нятых логических формах речи, следующей из приведенной шкалы оценок;
ввиду невозможности представления искажений, вносимых скремблирова-
нием в виде шума в прямой постановке.
Исключение составляет лишь амплитудное скремблирование, часто трак-
туемое как зашумление или маскировка речевого сигнала. В данном случае
обычно имеется возможность определения параметров шума. Именно этим во
многом объясняется то, что практически все известные в настоящее время ре-
зультаты исследований в направлении поиска подходов к оптимальной оценке
эффективности аналогового скремблирования ограничиваются в основном ам-
плитудным скремблированием.
325
Отмеченные проблемы могут быть решены с позиций принятой концепции
теории информации. Покажем возможность такого решения применительно к
речевой информации. Известно, что смысловая информация в речи формирует-
ся в результате изменения мгновенного спектра речевого процесса. Экспери-
ментальные исследования речевого процесса показывают, что составляющие
его спектра в узких полосах частот при разносе средних частот этих полос на
150 — 350 Гц становятся независимыми. Орган слуха человека подобен спек-
троанализатору параллельного действия. Он содержит набор фильтров, настро-
енных на разные частоты и соединенных с центральной нервной системой, в
которой принимаются решения о принимаемых аудиосообщениях. В каждом из
таких спектральных информационных каналов осуществляется своего рода ав-
томатическое регулирование усиления. Постоянная времени этой системы ре-
гулирования составляет около 1 мин. Из этого краткого описания речевого про-
цесса и его восприятия следует, что если речевой процесс разделить на состав-
ляющие в узких частотных полосках, то среднее количество информации, вы-
деляемое слухом, будет равно сумме средних количеств информации в этих
спектральных каналах. Путем экспериментального подбора полос частот для
каждого спектрального информационного канала можно добиться равенства
средних количеств информации в каналах. С учетом этого выражение для сред-
него количества информации аудиосообщения, выделяемого слухом, представ-
ляется в виде
i[Scx;Scy]=-J-^F(G»(/)/G»(/))>
i ?=1
(11.40)
где Nt — число информационных каналов; Gs(ft) — спектр сообщения в z-m
информационном канале; Gn(f}) — спектр шума в z-м информационном канале;
fi — средняя частота z-ro информационного канала; Gn(fy — отноше-
ние сигнал/шум; F(Gs(fy/— коэффициент восприятия информации; Scx
и 8су — ансамбли переданных и выделяемых слухом сообщений.
326
Особенностью представления (11.40) является то, что выборочные про-
странства ансамблей Scx и Scy здесь объединяют определенные логические
формы речи. К таким логическим формам могут относиться слова, слоги или
фонемы (элементарные логические формы речи).
Для определения на основании (11.40) разборчивости решаются 3 основ-
ные задачи:
1.	Установление связи разборчивости речи со средним количеством ин-
формации.
2.	Равномерное распределение среднего количества информации по спек-
тральным каналам.
3.	Определение среднего количества информации в каждом спектральном
канале в зависимости от отношения сигнал/шум.
Первая задача решается следующим образом. Пусть s^) — передаваемые
логические формы речи ансамбля Scx, a s <1) — логические формы речи ан-
самбля Scy ? воспринимаемые слуховым аппаратом человека. Тогда среднее ко-
личество принятой информации будет равно
I[Scx;Scy] = H[Scx]-H[Scx/Scy],
(11.41)
где составляющие правой части могут быть определены в виде
(П.42)
Условные вероятности p(sj/ зависят от свойств речевого процесса
и маскирующего шума. При точном решении задачи необходимо располагать
стохастической матрицей || р (syZ) |	) ||. Этой матрицей обычно не распола-
гают, поэтому задача решается приближенно. Указанную вероятность можно
выразить через среднюю вероятность правильного приема 0,0 \W и ошибочно-
327
го приема 1-0,01^ установленных логических форм речи. Здесь Wp— раз-
борчивость, измеряемая в процентах, которая в соответствии с установленной
логической формой речи может быть словесной, слоговой или фонемной. С
учетом этого имеем:
^(s®/s
0,01Ж ,1 = к\
г
(*)
®<1-0,0ПГ
JT
М-1
(11.43)
Подставив (11.42) и (11.43) в (11.41), получим:
I[SCX;Scy] = 0,0Wp log2 0, OUFp + (1 - 0,0 ПК,) log2
p-o,our/
. M-l
M f
-£ 0,01^p(s<')) +
Z=1 (
1-0,our
M-l
(11.44)
z 1-0,our
X log2 0,01Wp (s< ) +—
x 7 M-l
Далее можно определить нормированное среднее (относительно H[SCX])
количество информации по формуле:
0	ItS^SJ	(11.45)
L\x>\yJ—	•
-*"Ч^сх J
Из формулы (11.45) с учетом (11.44) строится график (рис. 11.1) зависи-
мости разборчивости логических форм речи Wp от нормированного среднего
о
количества смысловой информации I[SCX;Scy ], принятой человеком.
Вторая задача, состоящая в равномерном распределении среднего количе-
ства информации по каналам спектра речи, решается на основе эксперимента.
Суть этого решения состоит в том, что спектр речи с помощью фильтра ограни-
чивается сверху и снизу и каждый раз экспериментально измеряется разборчи-
вость, а затем по кривой (см. рис. 11.1) определяется нормированное среднее
количество информации.
328
100
80
60
40
о
I[SCX; Scy]
Рис. 11.1. Зависимость разборчивости Wp от нормированного среднего
количества информации
В результате ряда таких экспериментов строится интегральное распреде-
ление нормированного среднего количества информации по частотам, из кото-
рого определяются частотные полоски (спектральные каналы) с равным сред-
ним количеством информации и их средние частоты /. Экспериментально оп-
ределенные значения этих частот при разделении спектра речи на двадцать ка-
налов (у¥ =20) характеризуются следующими числами (в килогерцах): 0,1;
0,22; 0,32; 0,41; 0,475; 0,55; 0,65; 0,77; 0,88; 0,99; 1,43; 1,85; 2,24; 2,45; 3,23; 3,72;
4,22; 4,76; 5,60; 6,65.
При решении третьей задачи связь среднего количества информации с от-
ношением сигнал/шум в каждом спектральном канале определяется по резуль-
татам экспериментальных исследований разборчивости речи при действии шу-
ма. Для этого измеряются спектр речи и спектр шума. Далее проводят арти-
куляционных измерений при разных отношениях сигнал/шум. По графику
(см. рис. 11.1) определяют значений I[SCT;S ], соответствующих известным
отношениям сигнал/шум. Далее по формуле (11.40) вычисляются г уравне-
ний с 2/. неизвестными значениями коэффициента восприятия
При этом предполагается, что зависимость коэффициента восприятия от отно-
шения сигнал/шум на всех частотах одинакова. В результате строится график
зависимости коэффициента восприятия от отношения сигнал/шум (рис. 11.2).
329
Рис. 11.2. Зависимость коэффициента восприятия от отношения сигнал/шум
Решение отмеченных задач позволяет сформулировать алгоритм расчета
разборчивости речи, который сводится к следующему:
-	на указанных частотах ft, соответствующих средним частотам
спектральных информационных каналов, рассчитывается отношение сиг-
нал/шум Gs(^)/Q,(^);
-	для каждого спектрального информационного канала по графику (см.
рис. 11.2) определяется значение коэффициента восприятия F{Gs(ft}l Gn(f^)\
-	по формулам (11.40) и (11.44) рассчитывается нормированное сред-
0
нее количество информации T[SCX ;Scy] и по графику (см. рис. 11.1) определяется
разборчивость Wp.
Необходимо подчеркнуть, что изложенный алгоритм является приближен-
ным. Однако свойственная ему погрешность не превышает нескольких процен-
тов. Приближенный характер алгоритма определяется сделанными предполо-
жениями и условиями определения коэффициентов восприятия. Прежде всего,
в этом плане следует отметить, что график коэффициента восприятия (см.
рис. 11.2) определен для шума, представляющего собой гауссовский непрерыв-
ный случайный процесс. Однако, как оказалось, это ограничение не является
очень жестким, так как слух человека производит некоторую нормализацию и
сглаживание воздействующих помех.
330
Применение приведенного алгоритма для оценки эффективности аналого-
вого скремблирования требует решения следующих проблем. Во-первых, это
возникающая неопределенность шума в прямой постановке. Данная проблема
может быть достаточно просто решена, если в этом качестве использовать шум
скремблирования, отражающий искажающее воздействие ПАС на сообщения
при аналоговом скремблировании и представляющий разность входа и выхода
ПАС. Во-вторых, это необходимость установления взаимосвязи результатов
расчета разборчивости со стойкостью защиты аудиоинформации. Эта проблема
решается путем отнесения вычисленного значения разборчивости к одному из
диапазонов шкалы оценок качества перехваченного речевого сообщения, уста-
новленных на основании ГОСТ Р 50840-95 [43]. Следующий за этим вывод об
одном из, по крайней мере, четырех уровней степени защиты аудиоинформации
будет означать определенный шаг в направлении решения общей проблемы
неопределенности оценки эффективности аналогового скремблирования.
В-третьих, необходимо отметить существенную сложность определения мо-
ментов изменения значений логических форм речи, что делает практически не-
возможной оперативную (текущую) оценку эффективности аналогового
скремблирования. Однако возможно приближенное решение данной проблемы
путем установления средней частоты изменения анализируемой логической
формы. Значения этой частоты выбираются равными максимальной частоте ре-
ального изменения значений заданной логической формы и составляют: для
слов - 0,8 Гц; для фонем (звуков) - 6 Гц. Ввиду уровневого характера оценки
степени защиты погрешность, свойственная данному приближению, не будет
влиять на точность оценки эффективности аналогового скремблирования.
11.3.3. Оценка эффективности цифрового скремблирования
Согласно следствию 5.2 оценка эффективности цифрового скремблирова-
ния производится аналогично оценке эффективности шифрования. Таким обра-
зом, эффективность цифрового скремблирования в общем виде может быть оп-
ределена как
331
°(фсп^)=О Фсп,и =С Фсп,и -Н к/и
(11.46)
где
С Фсп,и =Н K/UE
I и /
(11.47)
На основании следствия 5.2 выражение (11.47) можно рассматривать как
стойкость цифрового скремблирования, т. е.
C(OCD,S)=c(oCD,u).
Когда ансамбли сообщений S и ключей К статистически независимы, вы-
ражения для эффективности и стойкости цифрового скремблирования прини-
мают вид
D(Ocd,S)=H[K/E]-H[K];
с(фсс,8)=н[к/е].
Учитывая, что в принятой постановке Н[К > Н[К/Е , диапазоны возмож-
ных значений D(®co,S) и С(Фсп,8) будут находиться в пределах:
-Н[К]<D(®ro,S)<0; 0<C(OCD,S)<H[K], При этом с позиций теоремы 5.2
теоретическая недешифруемость обеспечивается только при достижении
D(Ocd,S) и C(<Dcd,S) верхних границ соответствующих диапазонов
о„«(фС1„ s)=0, с^Дф^^к].
Таким образом, при статистической независимости ансамблей сообщений
S и ключей К эффективность цифрового скремблирования имеет тот же диапа-
зон значений, что и при шифровании. Причем, так же, как и при шифровании,
условия ТНДШ выполняются только при фиксированных значениях макси-
мальной эффективности скремблирования, равных нулю, т. е. Dnnx (Фсп,8)=0.
Отличительной особенностью цифрового скремблирования при статисти-
ческой зависимости ансамблей сообщений S и ключей К является открываю-
щаяся возможность изменения верхней границы диапазона значений эффектив-
ности скремблирования Dmax (Фсо,8). Эта возможность обусловлена следстви-
ем 3.3. применительно к теореме 5.2 и определяется следующей теоремой.
332
Теорема 11.1. Теорема для нижней границы максимальной эффективности
цифрового скремблирования при статистической зависимости ансамблей сооб-
щений и ключей. Пусть U — дискретный ансамбль, выборочное пространство
которого является результатом цифрового компандирования выборочного про-
странства непрерывного ансамбля S источника. Пусть К и Е — дискретные ан-
самбли ключей и криптограмм, определяющие цифровое скремблирование
ФСЕ1. Тогда, если формирование криптограмм будет сопровождаться увеличе-
нием средней неопределенности ключей точно на величину, равную значению
при условии установления статистической зависимости ключей от со-
общений, то нижняя граница максимальной эффективности цифрового скремб-
лирования определяется неравенством
(фсп > S) =HS - log [2ле(
(11.48)
Доказательство. Согласно следствию 3.3, применительно к теореме циф-
рового скремблирования, с учетом следствия 5.2 условия ТНДШ выполняются
всегда, когда при цифровом скремблировании происходит увеличение услов-
ной энтропии ансамбля ключей от Н К/U до
на величину значения
т. е. когда
Н K/UE
(11.49)
Тогда, подставив выражение для I U;E
, имеем
(11.50)
Учитывая, что U является результатом цифрового компандирования S, и
произведя замену Н UZE
в (12.50) на h[S/E], получаем неравенство
(11.51)
Справедливость неравенства (12.51) следует из доказательства неравенства
h[S/E]>H U/E .
(11.52)
333
Для этого определим разность
h[S/E]-H U/E =h[SE]-H[E]-H UE +Н[Е]
ИЛИ
h[S/E]-H U/E =h[SE]-H UE =h [S] - h [E/S] - Н U -H E/U
Ввиду детерминированности преобразований цифрового скремблирования,
средняя неопределенность криптограмм, как при условии известных сообще-
ний, так и при условии известных результатов их цифрового компандирования,
будет отсутствовать, т.е. h[E/S]=O и И U/S =0. Тогда
h[S/E]-H U/E =h[S]-H U
(11.53)
Учитывая, что U является результатом цифрового компандирования S, на-
ходим
Н и =НЕ,
(11.54)
где Не — эпсилон-энтропия цифрового компандирования сообщений источ-
ника.
Так как Не всегда меньше H[S], т. е. Не <H[S] всегда и только всегда,
разность (11.53) с учетом (11.54) всегда будет положительной. Отсюда следует
справедливость неравенства (11.52) и, как следствие, справедливость (11.51).
Принимая во внимание, что равенство (11.49) определяет выполнение ус-
ловий ТНДШ, неравенство (11.51) с учетом (11.46), (11.47) и (11.54) может
быть представлено в виде
DUOcd, S)>Hs -h[S/E
(11.55)
Энтропия h[S/E] в (11.55) будет максимальной при гауссовском условном
распределении P(s/e). Если цифровое скремблирование является симметрич-
ным и выполняется условие однозначности дескремблирования, то условная
плотность вероятности P(s/e) может быть определена как
334
(11.56)
где о2 = Пр - Gg, Gg — дисперсия сообщений, g Е — дисперсия криптограмм.
Основываясь на (11.56), находим
h[S/E]=-£p(e)P>(s/e) log2/>(s/c)ds=
ло2
= 0,5 log2
(11.57)
tig2 + 0,5 log2e
ds=
Подставив (11.57) в (11.55), окончательно получим
Djnax [^CD’S] — He 10g2 2ле(оЕ Ggj ,
что и требовалось доказать.
Доказанная теорема приобретает исключительно важное значение, если в
ходе цифрового скремблирования решается задача имитозащиты. Это решение,
как правило, осуществляется путем ввода сообщений в закон формирования
ключа (рис. 11.3).
Рис. 11.3. Решение задачи имитозащиты при цифровом скремблировании
Такое решение объясняется тем, что большинство непрерывных сообще-
ний, и в первую очередь речевые сообщения, обладают потенциальной имито-
стойкостью, т. е. стойкостью к навязыванию ложных сообщений. Отсюда
включение сообщений в закон формирования ключа способствует потенциаль-
ной имитостойкости ключей при цифровом скремблировании. При этом суще-
335
ствует мнение, что вводимая таким образом статистическая зависимость клю-
чей и сообщений снижает эффективность скремблирования.
Практическая значимость теоремы 11.1 заключается в том, что она пока-
зывает возможность повышения эффективности цифрового скремблирования
при введении статистической зависимости ключей от сообщений. Причем из
графиков рис. 11.4 видно, что это повышение в области выполнения условий
ТНДШ (D(Ocd,5) > 0) может принимать значения, превосходящие макси-
мальную эффективность цифрового скремблирования при независимости со-
общений и ключей.
^max(^CD’ $)
Не = 8
оЕ - о
НЕ =4
Н = 1
Рис. 11.4. Нижние границы максимальной эффективности цифрового
скремблирования при статистической зависимости сообщений и ключей
Обобщение анализа теоремы 11.1 применительно к комплексному реше-
нию задач скремблирования и имитозащиты приводит к схеме потенциально
имитостойкого цифрового скремблирования, обеспечивающего теоретическую
недешифруемость (рис. 11.5).
336
ИИ
Цифровое
компандирование
ПЦС
ИК
ОЭЦС
Рис. 11.5. Обобщенная схема адаптивного цифрового скремблирования
Основной особенностью приведенной схемы является включение в закон
формирования ключа правила (11.49) и его коррекция на основе результатов
оценки эффективности цифрового скремблирования (ОЭЦС), формируемых на
основе (11.48). Это позволяет на основе ОЭЦФ реализовать возможность адап-
тивного изменения закона формирования ключа относительно выполнения ус-
ловий ТНДШ. Другими словами, закон формирования ключа может адаптивно
подстраиваться под выполнение неравенства (11.48) путем ОЭЦФ с коррекцией
статистических характеристик криптограмм (о ^) и информационных парамет-
ров цифрового компандирования (Н£). Таким образом, решение задачи оценки
эффективности цифрового скремблирования с позиций теории информации
приводит к принципиально новому подходу, открывающему возможность адап-
тивного к условиям ТНДШ цифрового скремблирования при кодировании не-
прерывного источника.
337
СПИСОК ПРИНЯТЫХ СОКРАЩЕНИЙ
АНДШ	— абсолютная недешифруемость
ВЧ	— высокочастотные
ДИКМ	— дифференциальная импульсно-кодовая модуляция
ДК	— декодирование
ДКБП	— двоичный канал без памяти
дки	— декодирование источника
ДСКБП	— двоичный симметричный канал без памяти
ДКП	— дискретное косинусное преобразование
дш	— дешифрование
ИИ	— источник информации
ик	— источник ключа
ИКМ	— импульсно-кодовая модуляция
инк	— информация непосредственной коммуникации
ИТК	— информация технической коммуникации
к	— кодирование
ки	— кодирование источника
кк	— кодирование для канала
КС	— канал связи
ни	— несанкционированный пользователь
нсд	— несанкционированный доступ
нч	— низкочастотные
ОПАС	— обратное преобразование аналогового скремблирования
оэцс	— оценка эффективности цифрового скремблирования
ПАС	— преобразование аналогового скремблирования
ПИ	— получатель информации
338
ПНДШ	—	практическая недешифруемость
ПФ	—	преобразование Фурье
ПЦС	—	преобразование цифрового скремблирования
ПЦДС	—	преобразование цифрового дескремблирования
РЛЗ	—	рекуррентная линия задержки
СКО	—	средний квадрат ошибки
ТНДШ	—	теоретическая недешифруемость
ТС	—	техническое средство
ТСК	—	техническое средство коммуникации
УОЗ	—	устройство обработки и защиты
УОПСи — устройство обратного преобразования сигналов источника
УОПСк — устройство обратного преобразования сигналов для
канала
УППСи	—	устройство прямого преобразования сигналов источника
УППСк	—	устройство прямого преобразования сигналов для канала
Цф	—	цифровая фильтрация
Ч	—	человек
Ш	—	шифрование
339
предметный указатель
Абелева группа 228
Абсолютная помехоустойчивость 218
Абсолютная стойкость 105
Адаптивное цифровое представление непрерывных сообщений 190
Адаптивное цифровое скремблирование 337
Аксиома 25
Акустический сигнал 22
Алгоритм декодирования кода Хэмминга 274
Алгоритм декодирования линейных кодов 270
Алгоритм Евклида 231
Алгоритм кодирования методом Ходака 132
Алгоритм кодирования по методу Хаффмана 122
Алгоритм кодирования по методу Шеннона — Фано 119
Алгоритм оценки методов сжатия информации при кодировании 176
Алгоритм построения кодов Боуза - Чоудхури — Хоквингема 183
Алгоритм расчета разборчивости речи 331
Алгоритм формирования кода Хэмминга 273
Алгоритм формирования кодовых последовательностей максимальной длины
289
Алгоритм формирования кодовых последовательностей циклического кода 279
Алфавит источника 53
Алфавит 53
Аналоговое скремблирование 99
Аналоговые сигналы 22
Ансамбль кодовых последовательностей на входе канала 214
Ансамбль сообщений источника информации 213
Ансамбль сообщений получателя информации 214
340
Ансамбль 99
Апостериорная вероятность 39
Априорное дифференциальное уравнение 51
Асимметричные каналы 293
Асимметричные шифры 103
Аттрактор 210
Аудиоинформация 21
Аудиосигнал 21
Аутентификация 100
Аффинные преобразования 208
Бит 211
Блочное кодирование 80
Блочное префиксное кодирование 126
Блочное эффективное кодирование 126
Бод 225
Варианты стратегии кодирования непрерывных источников 166
Векторный марковский непрерывный случайный процесс 51
Вероятностная мера ансамбля марковского источника 65
Вероятностная мера 153
Вероятностное описание источника 53
Вероятность искажения кодовой последовательности 293
Вероятность искажения символа кодовой последовательности 317
Вероятность не обнаруживаемой ошибки 293
Вероятность обнаруживаемой ошибки 293
Вероятность ошибки в кодовой последовательности 245
Верхняя граница избыточности помехоустойчивого кодирования при передаче
речевой информации по дискретным каналам 321
341
Верхняя граница избыточности помехоустойчивого кодирования 318
Верхняя граница коэффициента избыточности помехоустойчивого кодирования
319
Вес кодовой последовательности 237
Взаимная информация 38
Видеоинформация 21
Видеосигнал 22
Виды защиты информации 99
Виды кодирования 116
Виртуальный дискретный источник 167
Виртуальный непрерывный источник 167
Вокодерные преобразования 187
Время возвращения 68
Выборочное пространство ансамбля марковского источника 65
Выборочное пространство 307
Гарантированная стойкость 104
Гауссовская аппроксимация 52
Гауссовский марковский скалярный процесс 52
Гипотетический непрерывный шум скремблирования 181
Два толкования задачи эффективного кодирования источника 80
Двоичное представление 264
Двоичные каналы 243
Двоичный симметричный канал без памяти (ДСКБП) 243
Двумерная спектральная плотность шума квантования 163
Дедуктивный метод 13
Декодирование (ДК) 19
Декодирование линейных кодов 270
Дельта-функция 51
342
Дерево кодовых слов 88
Дешифрование (ДШ) 100
Дискретизация с интегрированием 137
Дискретное wavelet-преобразование (Discrete Wavelet Transform или DWT) 195
Дискретное косинусное преобразование (ДКП) 205
Дискретные каналы без памяти 241
Дискретные каналы с памятью 241
Дискретный ансамбль 24
Дискретный источник без памяти 85
Дискретный источник с памятью 54
Дит 30
Дифференциальная импульсно-кодовая модуляция (ДИКМ) 192
Дифференциальная энтропия 48
Дифференциальное уравнение Фоккера-Планка-Колмогорова 312
Домен 208
DWTXapa 202
Задача имитозащиты 336
Задача синхронизации шифраторов 103
Замечательная особенность кодов с постоянным весом 292
Запрещенная кодовая комбинация 222
Идея арифметического кодирования 134
Избыточность дискретных источников без памяти 75
Избыточность дискретных источников с памятью 75
Избыточность дискретных источников 75
Избыточность кодирования источника Бернулли 55
Избыточность кодирования Ходака для источника Бернулли 134
Избыточность кодирования 96
343
Избыточность ошибки помехоустойчивого декодирования 318
Избыточность помехоустойчивого кода 318
Избыточность стационарных эргодических марковских источников 75
Избыточность универсального кодирования 140
Изменение масштаба при арифметическом кодировании 139
Имитозащита 100
Имитостойкость 337
Инвариантное множество последовательностей 60
Интеграл вероятностей 304
Интервал дискретизации 150
Информационная емкость ансамбля источников 74
Информационное квантование 190
Информационный образ 197
Информация непосредственной коммуникации (ИНК) 16
Информация телекоммуникации (ИТК) 16
Искусственная избыточность 220
Источник Бернулли 64
Источник информации (ИИ) 64
Источник ключа (ИК) 100
Исходный ключ 102
Канал передачи информации 226
Канал связи (КС) 226
Канальная матрица 242
Квантованный процесс 149
Ключевая последовательность 102
Ключевые данные 102
Код «Дальность» 292
Код Грея 152
Код подслова 145
344
Код с постоянным весом 4/3 292
Кодирование (К) 12
Кодирование линейными кодами 269
Кодовая комбинация 159
Кодовая последовательность 85
Кодовое дерево кодирования Ходака 134
Кодовое расстояние 222
Коды Боуза - Чоудхури - Хоквингема (коды БЧХ) 285
Коды с исправлением ошибок 266
Коды с обнаружением ошибок 266
Коды с фиксированной длиной 81
Количество информации для полного представления модели ранговой области
211
Количество информации о координатах доменов 211
Количество информации о коэффициентах контраста 211
Количество информации о коэффициентах яркости 211
Количество информации о типе аффинного преобразования 211
Количество информации 211
Количество собственной информации 32
Комбинированная дифференциальная импульсно-кодовая модуляция 192
Коммуникация 16
Компандирование 167
Комплексный информационный образ 314
Компрессия спектральных и временных характеристик 186
Компрессия 186
Конечная однородная цепь Маркова 66
Концепция 10
Концепция теории информации 25
Корреляционная функция гауссовского марковского процесса 162
Коэффициент стохастичности (вариабельности) 76
345
Коэффициент избыточности ошибки помехоустойчивого декодирования 319
Коэффициент избыточности помехоустойчивого кода 319
Коэффициент избыточности 77
Коэффициент обнаружения ошибок 293
Коэффициент различимости символов 304
Коэффициент эффективности помехоустойчивого кода 303
Криптограмма 99
Критерий минимума среднего квадрата ошибки (СКО) 150
Лексикографический порядок 117
Линейная дискретизация 117
Логический уровень представления 20
Логическая форма информации 19
Максимальная относительная энтропия на отсчет 72
Максимальное число достоверно исправляемых ошибок 238
Максимальное число достоверно обнаруживаемых ошибок 239
Максимальные потери цифрового представления 173
Марковский источник информации r-го порядка 64
Математическая модель оценки информационного образа 314
Математическая модель передачи информации 248
Материальный уровень представления 21
Материальная форма информации 21
Матрица базисных (косинусных) коэффициентов DCT 205
Матрица спектральных плотностей формирующего шума 51
Мгновенные коды 87
Метод «стопки книг» 141
Метод IFC 142
Метод LZ 77 144
Метод LZ 78 143
346
Метод LZW 144
Метод Гильберта - Мура 118
Метод импульсно-кодовой модуляции (ИКМ) 148
Метод Шеннона — Фано 117
Метод Шеннона 117
Методы амплитудного скремблирования 178
Методы коммутируемой инверсии 178
Методы частотных перестановок 178
Минимальная избыточность при кодировании типа VB 129
Минимальное кодовое расстояние для линейного кода 237
Минимальное кодовое расстояние 237
Минимальные полиномы нечетных степеней 284
Множество источников 140
Множество типичных последовательностей 84
Мысленный эксперимент 29
Наибольшее возможное количество информации 300
Наименьшее общее кратное (НОК) 284
Нат 72
Натуральное представление 264
Натуральный двоичный код 152
Начальное распределение вероятностей 68
Неблочное кодирование типа VB 128
Неблочное кодирование типа W 128
Невозвратное состояние 67
Нелинейная характеристика квантования 154
Ненадежность канала 251
Неподвижная точка отображения 210
Непрерывное кодирование 186
347
Непрерывные ансамбли на входе и выходе канала с непрерывными
параметрами 295
Непрерывный ансамбль 25
Непрерывный совместный ансамбль 48
Непрерывный источник 52
Неприводимые коды 120
Неприводимый полином 278
Неравенство Йенсена 97
Неравенство Крафта 90
Неравномерные коды 86
Неразложимое состояние 67
Несанкционированный пользователь (НП) 101
Несистематические коды 267
Нестационарные каналы 227
Нижнее граничное значение среднего квадрата ошибки квантования 158
Нижняя граница избыточности помехоустойчивого кодирования 316
Нижняя граница максимальной эффективности цифрового скремблирования
334
Нормированная функция корреляции 53
Нормированные значения порогов квантования 191
Области возможных значений эффективности шифрования 320
Обратные преобразования аналогового скремблирования (ОПАС) 178
Обращение теоремы кодирования для дискретного канала при передаче
информации непрерывных источников 262
Обращение теоремы кодирования Шеннона для канала 257
Обращение теоремы Шеннона для канала с помехами 258
Общая математическая модель дискретного канала передачи информации 226
Общая математическая модель непрерывного канала 227
Общая математическая модель ошибок для дискретного канала 242
348
Общая методика помехоустойчивого кодирования 262
Огибающая спектральных составляющих 187
Однозначность дешифрирования 102
Однотонный блок 212
Оптимальная цифровая фильтрация (ЦФ) 180
Оптимальное кодирование 122
Оптимальное универсальное кодирование 140
Ортогональные случайные компоненты процесса 309
Основная задача защиты информации 178
Основная теорема кодирования для дискретных источников с памятью 93
Основные задачи кодирования 19
Основные особенности цифрового представления методом ИКМ 153
Основные свойства кодовых последовательностей максимальной длины 291
Основные свойства циклических кодов 281
Основные свойства энтропии дискретных ансамблей 3 5
Особенности цифрового скремблирования 180
Открытые ключевые данные 103
Отличительная особенность применения разборчивости в качестве показателя
эффективности скремблирования 323
Относительная избыточность кодирования 175
Относительная частота появления 61
Относительная энтропия 72
Оценка разборчивости 324
Оценка эффективности аналогового скремблирования 323
Оценка эффективности цифрового скремблирования (ОЭЦС) 333
Парадокс Шоу 18
Параметр тон-шум 187
Параметрическая система уравнений 165
Параметрическое кодирование 186
349
Период неразложимого множества состояний 67
Период последовательности максимальной длины 289
Периодический дискретный стационарный источник 54
Плотность вероятности гауссовской случайной величины 182
Подслово 144
Показатель экспоненты случайного кодирования 265
Поле Галуа 229
Полуинтервал вероятностей 135
Получатель информации (ПИ) 19
Помехоустойчивость кода с постоянным весом 292
Помехоустойчивость 22
Пороги квантования 135
Порождающая (производящая) матрица кода 233
Порождающая матрица нуль-пространства 234
Порождающий многочлен 231
Порядок группы 229
Порядок поля Галуа 229
Постулат 14
Правило декодирования по максимуму апостериорной вероятности 253
Правило декодирования по максимуму правдоподобия 253
Практическая недешифруемость (ПНДШ) 104
Представление кодирования источника кодами фиксированной длины 79
Представление процесса кодирования в виде кодового дерева 131
Представление телекоммуникации с позиции теории вероятностей 40
Представление телекоммуникации с позиции теории информации 40
Представляющие параметры сигнала 22
Преобразование Фурье 205
Преобразования аналогового скремблирования (ПАС) 178
Преобразования цифрового дескремблирования (ПЦЦС) 179
Преобразования цифрового скремблирования (ПЦС) 179
350
Префикс кодового слова 86
Приводимый многочлен 232
Примитивный полином 290
Принцип интервального кодирования 141
Принцип применения таблиц декодирования 234
Принцип сжатых отображений 209
Проблемы оценки эффективности аналогового скремблирования 322
Проверочная матрица кода 233
Проверочные символы 274
Проверочный многочлен 232
Проверочный синдром 234
Произведение двух многочленов над данным полем 230
Производительность источника 218
Пропускная способность в единицу времени 295
Пропускная способность дискретного канала 234
Пропускная способность непрерывного канала в единицу времени 258
Псевдослучайные двоичные кодовые последовательности 288
Рабочий ключ 102
Равномерные коды 79
Разбиение совместного ансамбля 110
Разборчивость речи 324
Разборчивость 320
Развернутый ключ 102
Разностное кодирование непрерывного источника 189
Разностное кодирование с предсказанием 189
Разрешенная кодовая комбинация 222
Ранговая область 208
Расстояние Хемминга 222
Регулярные коды 268
351
Редуцированный алфавит 123
Редуцированный ансамбль 122
Рекуррентная линия задержки (РЛЗ) 289
Речеэлементные преобразования 187
Решение задачи имитозащиты при цифровом скремблировании 335
Самоподобие 208
Сверточные коды 267
Световой поток 22
Свойства вероятностной меры дискретного ансамбля 52
Свойства выборочного пространства дискретного ансамбля 58
Свойства дискретных стационарных источников 58
Свойства теоретически недешифруемых шифров 111
Свойства энтропии дискретного стационарного эргодического источника 62
Свойство ассоциативности 228
Свойство коммутативности 228
Свойство префикса 90
Свойство эргодичности 54
Сигнал 19
Симметричное шифрование 103
Симметричные каналы 242
Система базисных функций ДКП 206
Система итеративных функций IFS (Iterated Function System) 208
Система математических моделей передачи и защиты информации 305
Систематические коды. 267
Скалярный случайный процесс 160
Скорость кодирования 259
Скорость передачи информации для канала 252
Скорость передачи информации от источника 225
Скорость передачи символов в канале 225, 245
352
Скорость передачи символов источника 245
Скремблирование 100
Словарные методы кодирования 142
Случайное кодирование 265
Случайные коды 268
Совместная энтропия 43
Совместный ансамбль 107
Сообщение 80
Сопутствующие параметры сигнала 22
Состояния марковского источника 64
Спектральная плотность изображения 265
Спектральная плотность шума цифрового представления 161
Спектральные каналы 187
Спектральные преобразования 187
Способы определения информационных характеристик непрерывных
источников 72
Среднее количество взаимной информации разбиений ПО
Среднее количество информации 156
Средняя взаимная информация для непрерывного совместного ансамбля 74
Средняя взаимная информация 46
Средняя высота кодового дерева 133
Средняя неопределенность ошибки 217
Средняя неопределенность сообщения при декодировании 219
Средняя условная взаимная информация 44
Средняя условная информация 43
Статистические матрицы кода 153
Стационарные каналы 227
Стационарный дискретный источник 54
Стоимость кодирования источника Бернулли 97
Стоимость кодирования стационарного источника 173
353
Стойкость защиты информации 179
Стойкость цифрового скремблирования 332
Стойкость шифрования 307
Стохастические матрицы 220
Стратегия аналогового скремблирования 179
Стратегия оценки точности цифрового представления 156
Стратегия цифрового скремблирования 180
Стратегия эффективного кодирования источника 80
Сумма двух гауссовских случайных величин с нулевыми средними 49
Сумма двух многочленов над данным полем 230
Суммарное количество информации после wavelet- преобразования 196
Суммарное количество информации после ДИКМ 193
Супербуква 92
Таблица декодирования 234
Теорема аналогового скремблирования непрерывного источника 181
Теорема Банаха 210
Теорема дискретизации Котельникова 71
Теорема для нижней границы максимальной эффективности цифрового
скремблирования при статистической зависимости ансамблей сообщений и
ключей 333
Теорема кодирования для дискретного канала при передаче информации
непрерывного источника 260
Теорема кодирования для марковских источников 95
Теорема кодирования для непрерывных источников 174
Теорема кодирования для стационарных источников 94
Теорема кодирования для эргодических источников 95
Теорема кодирования Шеннона для источников без памяти 97
Теорема кодирования Шеннона для канала без помех 256
Теорема кодирования Шеннона для канала с помехами 258
354
Теорема Макмиллана 90
Теорема неравномерного кодирования букв источника 90
Теорема равномерного кодирования источника 85
Теорема цифрового скремблирования непрерывного источника 184
Теорема Шеннона для блочного кодирования дискретных источников 126
Теорема Шеннона для неблочного кодирования дискретных источников 129
Теорема шифрования для дискретного источника 107
Теоретическая недешифруемость (ТНДШ) 321
Технический канал коммуникации, канал телекоммуникации (ТКК) 16
Типичные последовательности 54
Типы кодирования источника 79
Типы помехоустойчивого кодирования 223
Точечный выбор 150
Три толкования энтропии источника 56
Укороченные циклические коды 288
Уровни квантования 153
Условие обеспечения однозначности декодирования 82
Условия оптимальности эффективного кодирования 81
Условия теоретической недешифруемости в узком (строгом) смысле 105
Условия теоретической недешифруемости в широком смысле 106
У словия теоретической недешифруемости 112
Условная собственная информация 40
Условная энтропия 48
Устойчивые типы поведения 60
Форманта 187
Формантные области 188
Фрактал 208
Функция корреляции 299
355
Цифровое компандирование 168
Цифровое скремблирование 179
Цифровой отсчет (пиксел) 205
Цифровой процесс 149
Цифровые сигналы 22
Частота основного тона 187
Число разрешенных последовательностей в кодах с постоянным весом 292
Шаг квантования 151
Шаг поиска доменной области 211
Широкополосные системы передачи 288
Шифр 103
Шифрование (Ш) 99
Шкала оценок эффективности скремблирования речи относительно диапазонов
изменения разборчивости 324
Шум цифрового представления 154
Шумовая последовательность 234
Эквивалентная вероятность ошибки 301
Экспандирование 167
Экстраполяция 193
Эмпирическая энтропия 56
Энергетический спектр 73
Энергия входа 49
Энергия символа помехоустойчивого кода 304
Энергия символа примитивного кода 304
Энтропийная мощность источника 72
Энтропийная мощность 72
356
Энтропия дискретного источника на букву 34
Энтропия дискретного источника 245
Энтропия марковского источника на букву 70
Энтропия стационарного источника 58
Энтропия 55
Эпсилон - энтропия квантования 157
Эпсилон-энтропия стационарной случайной функции 73
Эпсилон-энтропия цифрового компандирования сообщений источника 335
Эпсилонэнтропия цифрового представления случайного процесса 160
Эргодический дискретный стационарный источник 54
Эргодичность 54
Эффективное кодирование результатов цифрового представления 186
Эффективное кодирование 186
Эффективность цифрового скремблирования 179
Эффективность шифрования 321
357
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
Х.Галлагер Р. Теория информации и надёжная связь. — М.: Советское радио,
1974.
2.	Величкин А.И. Передача аналоговых сообщений по цифровым каналам. —
М.: Радио и связь, 1983.
3.	Шеннон К. Работы по теории информации и кибернетике. Пер. с англ. — М.:
ПИЛ, 1963.
4.	Шеннон К. Математическая теория связи // Работы по теории информации и
кибернетике”.— М.: ПИЛ, 1963.
5.	Шеннон К. Теория связи в секретных системах // Работы по теории инфор-
мации и кибернетике”. — М.: ИИЛ, 1963.
6.	Колмогоров А.Н. Теория информации и теория алгоритмов. — М.: Наука,
1987.
7.	Эвклид. Начала / Пер. с греч. и комментарии Д.Д. Мордухай-Болтовского при
редакционном участии И.Н.Веселовского. — М. —Л.: ГТТИ, 1949.
8.	Кричевский Р.Е. Сжатие и поиск информации. — М.: Радио и связь, 1989.
9.	Марков А.А. Введение в теорию кодирования. — М.: Наука, 1973.
10.	Стратонович Р.Л. Теория информации. — М.: Советское радио, 1975.
11.	Котельников В.А. Теория потенциальной помехоустойчивости. — М.: Гос-
энергоиздат, 1956.
12.	Котоусов А.С. Теория информации. — М.: Радио и связь, 2003.
ХЗ. Холодов А.В. Теория информации и ее применение к задачам автоматиче-
ского управления и контроля. — М.: Наука, 1967.
14.	Яглом А.М., Яглом И.М. Вероятность и информация. — М.: Наука, 1971.
15.	Гольдман С. Теория информации: Пер. с англ. — М.: ИЛ, 1957.
16.	Теория информации и ее приложения / Под ред. А.А. Харкевича — М.: Физ-
матгиз, 1959.
17.	Питерсон У., Уэлдон Э. Коды, исправляющие ошибки: Пер. с англ. / Под
ред. Р. Л. Добру шина. — М.: Мир, 1976.
358
18.	Финк Л.М. Теория передачи дискретных сообщений. — М.: Советское ра-
дио, 1970.
19.	Финк Л.М., Коржик В.И., Щелкунов КН. Расчет помехоустойчивости сис-
тем передачи дискретных сообщений. — М.: Радио и связь, 1981.
20.	Мизин И.А., Уринсон Л.С., Храмешин Г.К Передача информации в сетях с
коммутацией сообщений. —М.: Связь, 1977.
21.	Сапожков М.А. Речевой сигнал в кибернетике и связи. — М.: Связьиздат,
1963.
22.	Покровский Н.Б. Расчет и измерение разборчивости речи. — М.:
Связьиздат, 1962.
23.	Гуров В. С, Емельянов Г. А., Етпрухин Н.Н., Осипов ВТ. Передача дискретной
информации и телеграфия. — М.: Связь, 1974.
24.	Пуртов Л.П. Элементы теории передачи дискретной информации. М.:
Связь, 1972.
25.	Котенко В.В. Проводные линии связи. — Харьков: ХВВАУС, 1981.
26.	Хаффман Л.Д. Современные методы защиты информации. — М.: Советское
радио, 1980.
27.	Шварцман В.О., Емельянов Г.А. Теория передачи дискретной информации.
— М.: Связь, 1979.
28.	Липкин И.А. Основы статистической радиотехники, теории информации и
кодирования. — М.: Советское радио, 1978.
29.	Шульгин. В.И. Основы теории передачи информации. Часть 1. Экономное
кодирование. — Харьков: Нац. аэрокосм, ун-т ХАИ, 2003.
30.	Шульгин В.И. Основы теории передачи информации. Часть 2. Помехоустой-
чивое кодирование. — Харьков: Нац. аэрокосм, ун-т ХАИ, 2003.
31.	Петраков А.В., Лагутин В. С. Утечка и защита информации в телефонных
каналах. — М.: Энергатомиздат, 1998.
32.	Барсуков В. С. Комплексные системы защиты информации. Защита инфор-
мации. — М.: Солинг, 1998.
359
33.	Колесник В.Д., Полтырев Г.Ш. Курс теории информации. — М.: Наука,
1982.
34.	Потапов В.Н. Теория информации. Кодирование дискретных вероятност-
ных источников: Учебное пособие. — Новосибирск: НГУ, 1999.
35.	Вассар Ж. Современная криптология: Пер. с англ. — М.: ПОЛИМЕД, 1999.
36.	Гоппа В.Д. Введение в алгебраическую теорию информации. — М.: Наука:
Физматлит, 1995.
37.	Хинчин А.Я. Об основных теоремах теории информации // Успехи матем.
наук. — 1956. — №11(1). — С.17—76.
38.	McMillan. The Basic Theorems of Information Theory. Ann Math. Stat. - 24.
1953. —P. 196 — 219.
39.	Котенко B.B. Теория информации. Часть 1. Кодирование источников ин-
формации: Учебное пособие. — Таганрог: Изд-во ТРТУ, 2003.
40.	Котенко В.В. Теория информации. Часть 2. Кодирование для каналов:
Учебное пособие. — Таганрог: Изд-во ТРТУ, 2004.
41.	ГОСТ Р 51061-97. Система низкоскоростной передачи речи по цифровым
каналам. Параметры качества речи и методы измерений. — М.: Госстандарт
России, 1997.
42.	ГОСТ Р 50922-96. Защита информации. Основные термины и определения.
— М.: Госстандарт России, 1996.
43.	ГОСТ Р 50840-95. Передача речи по трактам связи. Методы оценки каче-
ства, разборчивости и узнаваемости. —М.: Госстандарт России, 1997.
44.	ГОСТ 21878-76. Случайные процессы и динамические системы, Термины и
определения. — М.: ГСК, 1976.
45.	ГОСТ 17567-79. Передача данных. Термины и определения. — М.: ГСК,
1979.
46.	ГОСТ 22670-77. Сеть связи цифровая интегральная. Термины и определе-
ния.—М.: ГСК, 1979.
47.	ГОСТ 13052-74. Машины вычислительные и аппаратура передачи данных.
— М.:ГСК, 1976.
360
48.	Котенко В.В., Поликарпов С.В. Стратегия формирования виртуальных вы-
борочных пространств ансамблей ключа при решении задач защиты информа-
ции // Вопросы защиты информации. — 2002. — №2. — С. 47 — 51.
49.	Котенко В.В., Румянцев К.Е., Поликарпов С.В. Новый подход к оценке эф-
фективности способов шифрования с позиций теории информации // Вопросы
защиты информации. —2004. — №1. — С. 16 — 22.
50.	Котенко В.В., Румянцев К.Е., Юханов Ю.В., Евсеев А.С. Технологии вир-
туализации процессов защиты информации в компьютерных сетях // Вестник
компьютерных и информационных технологий: Науч.-практ. журнал. —2007.
— №9 (39). —С. 46 — 56..
51.	Котенко В.В., Румянцев К.Е., Поликарпов С.В. Способ шифрования двоич-
ной информации // Патент на изобретение № 2260916 РФ. Опубликовано:
20.09.2005. Бюл. №26. —С.1 —31.
52.	Котенко В.В., Евсеев А.С., Румянцев К.Е. Новый подход к оценке эффек-
тивности и качества скремблирования на основе определения идентичности
виртуальных вербальных речевых образов // Известия ЮФУ. Технические нау-
ки. Научно-технический и прикладной журнал. 2008, №3(80). — С. 43 — 49.
53.	Котенко В.В. Оценка информационного образа исследуемого объекта с
позиций теории виртуального познания // Известия ТРТУ. — 2006. — №4 (48).
— С. 42—48.
54.	Котенко В.В. , Румянцев К.Е., Поликарпов С.В., Левендян И.Б. Шифрование
на основе многомерного представления виртуальных выборочных пространств
// Известия ТРТУ. — 2005. — №9. — С. 45 — 49.
55.	Котенко В.В., Румянцев К.Е., Серогодский А.И., Котенко С.В.
Компьютерная технология идентификации личности на основе формирования
оценки виртуального персонального образа // Сб. трудов 8-й Международной
научно-практической конференции «Информационная безопасность». —
Таганрог, 2006. — С. 21 —29.
56.	Котенко В.В., Обозов Е.А., Котенко Д.В. Стратегия применения
виртуальных вербальных образов в избирательных технологиях // Сб. трудов
361
9-й Международной научно-практической конференции «Информационная
безопасность». —Таганрог, 2007. — С. 112 — 114.
57.	Котенко В.В., Жанкевич А.О. Идентификация текстов на основе оценки
виртуальной вербальной избыточности // Фундаментальные исследования. —
М., 2007.—№2. —С. 12.
58.	Котенко В.В. Информационная технология оценки области применения
помехоустойчивых кодов для решения задач имитозащиты // Сб. трудов
9-й Международной научно-практической конференции «Информационная
безопасность». —Таганрог, 2007. —С. 21 —29.
59.	Котенко В.В. Новый подход к оценке информационных пределов
избыточности речевой информации в задачах обеспечения информационной
безопасности// Сб. трудов 9-й Международной научно-практической
конференции «Информационная безопасность». — Таганрог, 2007. — С. 45 —
49.
60.	Котенко В.В, Новый подход к оценке эффективности цифрового
скремблирования// Сб. трудов 9-й Международной научно-практической
конференции «Информационная безопасность».—Таганрог, 2007. — С. 51 —63.
61. Котенко В.В. Стратегия оценки эффективности виртуальных шифров// Сб.
трудов 8-й Международной научно-практической конференции
«Информационная безопасность». — Таганрог, 2006. — С. 39 — 44.
62.	Котенко В.В. Стратегия применения теории виртуализации
информационных потоков при решении задач информационной безопасности//
Сб. трудов 9-й Международной научно-практической конференции
«Информационная безопасность». — Таганрог, 2007. — С. 68 — 73.
63.	Котенко В.В. Эффективность дифференциальной импульсно—кодовой
модуляции с позиций обеспечения информационной безопасности // Сб. трудов
9-й Международной научно-практической конференции «Информационная
безопасность». —Таганрог, 2007. — С. 91 — 97.
64.	Котенко В.В., Абушинов О.В. Оценка избыточности аудиоинформации в
задачах контроля качества информационной безопасности объектов
362
информатизации // Фундаментальные исследования. —М., 2006. —№1. С. 34 —
35.
65.	Котенко В.В., Румянцев КЕ., Поликарпов С.В. Программа оценки качества
защиты аудиоинформации в реальном масштабе времени // Свидетельство
№ 2003611539 РФ . 27.06.03.
66.	Котенко В.В., Румянцев К.Е., Евсеев А. С. Лабораторный комплекс исследо-
вания эффективности и качества способов скремблирования с позиций корре-
ляционного анализа виртуальных речевых образов // Свидетельство
№2009612500 РФ. 19.05.09
67.	Котенко В.В., Румянцев КЕ. Поликарпов С.В., Левендян И. Б. Оценка каче-
ства защиты информационных технологий с позиций виртуального представле-
ния процесса шифрования // Сб. трудов 5-й Международной научно-
практической конференции «Современные информационные и электронные
технологии» (СИЭТ-2004). — Одесса, 2004. — С. 145.
68.	Котенко В.В., Румянцев КЕ. Новый подход к решению задач защиты ин-
формации с позиций виртуального шифрования. // Вестник ЮНЦ РАН. — Т.З.
2005. —№3. —С. 35—43.
69.	Котенко В.В., Румянцев КЕ. Особенности применения методов wavelet-
преобразования при решении задач обеспечения информационной безопас-
ности // Известия ТРТУ. — 2006. —№7 (62). — С. 132 — 139.
70.	Котенко В.В. Идентификация и прогноз сознательных и подсознательных
поведенческих форм личности с позиций формирования виртуального вер-
бального образа // Известия ТРТУ. — 2006. — №7 (62). — С. 227 — 233.
71.	Котенко В.В., Евсеев А.С., Румянцев КЕ. Влияние индивидуальных харак-
теристик источников речевой информации на эффективность и качество
скремблирования // Известия ЮФУ. Технические науки. Научно-технический и
прикладной журнал. — 2008 —. №3(80). — С. 49 — 57.
72.	Котенко В.В., Евсеев А. С., Румянцев КЕ. Влияние характеристик вербаль-
ной информации на эффективность и качество скремблирования // Известия
363
ЮФУ. Технические науки. Научно-технический и прикладной журнал. — 2008.
— №3(80). —С. 58 — 66.
73.	Котенко В.В., Котенко С.В. Информационный подход к оценке эффектив-
ности помехоустойчивых кодов при кодировании для непрерывных каналов //
Известия ЮФУ. Технические науки. Научно-технический и прикладной жур-
нал.—2008.—№3(80).— С. 33—40.
74.	Kotenko V.Rumjantsev К. New Approach to Evaluate the Effectiveness of the
Audio Information Protection for Determining the Identity of Virtual Speech Images
// Proceeding of the Second International Conference on Security of Information and
Networks. The Association for Computing Machinery. —New York, 2009. —
P. 235 — 239.
364
ОГЛАВЛЕНИЕ
Предисловие.......................................................... 3
Введение............................................................. 5
Глава 1. ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ..................................... 10
1.1.	Состояние и проблемы современной теории информации............ 10
1.2.	Принципы теоретического построения. Система аксиом и
исходных определений................................................ 13
1.3.	Концепция теории информации................................... 25
1.4.	Количественная оценка информации.............................. 28
1.4.1.	Количество информации..................................... 28
1.4.2.	Среднее количество информации и энтропия.................. 32
1.5.	Средняя взаимная информация для дискретных ансамблей.......... 38
1.5.1.	Взаимная информация и условная собственная информация.. 38
1.5.2.	Средняя взаимная информация и условная энтропия........... 41
1.5.3.	Средняя условная взаимная информация....................... 44
1.5.4.	Свойства средней взаимной информации........................... 45
1.6.	Средняя взаимная информация для непрерывных ансамблей......... 47
Глава 2. ИСТОЧНИКИ ИНФОРМАЦИИ......................................... 51
2.1.	Представление источников информации............................ 51
2.1.1.	Непрерывные источники............................................... 51
2.1.2.	Дискретные источники....................................... 53
2.2.	Энтропия дискретных источников................................. 55
2.2.1.	Дискретные источники без памяти................................. 55
2.2.2.	Дискретные стационарные источники............................. 58
2.2.3.	Эргодические стационарные источники........................ 60
2.2.4.	Марковские источники...................................................... 64
365
2.3.	Энтропия непрерывных источников........................ 71
2.4.	Избыточность источников информации..................... 74
ГЛАВА 3. КОДИРОВАНИЕ ДИСКРЕТНЫХ ИСТОЧНИКОВ.................... 78
3.1.	Стратегия кодирования дискретных источников............ 78
3.2.	Теоремы кодирования для дискретных источников без памяти... 81
3.2.1.	Коды с фиксированной длиной........................ 81
3.2.2.	Неравномерные коды................................. 86
3.3.	Теоремы кодирования для дискретных источников с памятью.... 93
3.3.1.	Стационарные источники............................. 93
3.3.2.	Эргодические источники............................. 95
3.3.3.	Марковские источники............................... 95
3.4.	Стоимость и избыточность кодирования. Теорема Шеннона для
кодирования источников...................................... 96
3.5.	Стратегия защиты информации при кодировании дискретных
источников.................................................. 99
Глава 4. ЭФФЕКТИВНОЕ КОДИРОВАНИЕ. МЕТОДЫ СЖАТИЯ
ИНФОРМАЦИИ ПРИ КОДИРОВАНИИ ДИСКРЕТНЫХ
ИСТОЧНИКОВ..................................................... 116
4.1.	Побуквенное кодирование................................. 116
4.1.1.	Префиксное кодирование.............................. 117
4.1.2.	Оптимальное кодирование............................. 121
4.2.	Блочное кодирование..................................... 126
4.3.	Неблочное кодирование................................... 127
4.3.1.	Метод Ходака........................................ 132
4.3.2.	Методы арифметического кодирования........................... 134
4.4.	Универсальное кодирование............................... 140
4.4.1.	Методы интервального кодирования............................... 141
4.4.2.	Словарные методы кодирования. Методы Лемпела-Зива... 142
366
Глава 5. КОДИРОВАНИЕ НЕПРЕРЫВНЫХ ИСТОЧНИКОВ.............................. 148
5.1.	Цифровое представление непрерывных сообщений....................... 148
5.1.1.	Дискретизация. Теорема дискретизации........................... 150
5.1.2.	Квантование.............................................................. 151
5.1.3.	Кодирование.............................................................. 152
5.1.4.	Особенности цифрового представления........................... 153
5.2.	Информационные характеристики точности цифрового
представления. Эпсилон-энтропия......................................... 155
5.2.1.	Проблемы передачи непрерывной информации с оценкой
ошибок дискретизации по времени и по амплитуде..................... 155
5.2.2.	Оценка ошибок дискретизации по амплитуде. Эпсилон-
энтропия квантования......................................................... 157
5.2.3.	Эпсилон-энтропия цифрового представления
аудиоинформации....................................................... 160
5.2.4.	Эпсилон-энтропия цифрового представления
видеоинформации............................................................... 163
5.3.	Стратегия кодирования непрерывных источников....................... 166
5.4.	Информационные пределы избыточности. Теорема кодирования
для непрерывных источников.............................................. 169
5.5.	Стратегия защиты информации при кодировании непрерывных
источников.............................................................. 176
ГЛАВА 6. МЕТОДЫ СЖАТИЯ ИНФОРМАЦИИ ПРИ
КОДИРОВАНИИ НЕПРЕРЫВНЫХ ИСТОЧНИКОВ........................................ 186
6.1.	Принципы сжатия информации при кодировании непрерывных
источников.............................................................. 186
6.2.	Информационное квантование......................................... 190
6.3.	Дифференциальная импульсно-кодовая	модуляция.................... 192
6.4.	Дискретные wavelet-преобразования.................................. 195
6.5.	Дискретные косинусные преобразования............................... 204
6.6.	Фрактальное кодирование............................................ 208
367
Глава 7. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПЕРЕДАЧИ ИНФОРМАЦИИ. 213
7.1.	Схема и общая математическая модель передачи информации.... 213
7.2.	Принципы кодирования для канала................... 217
7.3.	Общая математическая модель каналов передачи информации... 226
7.4.	Представление кодов в виде многочленов............ 227
7.4.1.	Группы и подгруппы............................. 228
7.4.2.	Поля и многочлены.............................. 229
7.4.3.	Методика построения кодов. Алгоритм Евклида.... 231
7.5.	Представление кодов в виде матриц................. 233
7.6.	Минимальное кодовое расстояние.................... 237
Глава 8. КОДИРОВАНИЕ ДЛЯ ДИСКРЕТНЫХ КАНАЛОВ.............. 241
8.1.	Дискретные каналы................................. 241
8.2.	Пропускная способность и скорость передачи........ 243
8.3.	Влияние помех на передачу информации.............. 247
8.4.	Правила декодирования............................. 252
8.5.	Прямая и обратная теоремы кодирования Шеннона..... 256
8.6.	Кодирование для дискретных каналов при передаче информации
непрерывных источников................................. 260
8.7.	Стратегия кодирования для каналов. Общая методика
помехоустойчивого кодирования.......................... 262
Глава 9. МЕТОДЫ ПОМЕХОУСТОЙЧИВОГО КОДИРОВАНИЯ............ 266
9.1.	Общая характеристика методов помехоустойчивого
кодирования............................................ 266
9.2.	Линейные коды..................................... 268
9.3.	Коды Хэмминга..................................... 271
9.4.	Циклические коды.................................. 276
9.5.	Коды Боуза-Чоудхури-Хоквингема.................... 283
368
9.6.	Псевдоциклические коды............................ 285
9.7.	Кодовые последовательности максимальной длины..... 288
9.8.	Коды с постоянным весом........................... 292
Глава 10. КОДИРОВАНИЕ ДЛЯ НЕПРЕРЫВНЫХ КАНАЛОВ........... 294
Ю.ЕВзаимная информация для непрерывных каналов......... 294
10.2.	Пропускная способность непрерывных каналов с аддитивным
гауссовским шумом и ограничениями на полосу частот и по
мощности................................................ 297
10.3.	Эффективность помехоустойчивых кодов при кодировании для
непрерывных каналов..................................... 301
Глава 11. ИНФОРМАЦИОННЫЙ ПОДХОД К ОЦЕНКЕ
ЭФФЕКТИВНОСТИ ЗАЩИТЫ ТЕЛЕКОММУНИКАЦИЙ.................... 305
11.1.	Возможности информационного подхода к оценке качества
телекоммуникаций........................................ 305
11	^.Информационная оценка качества связи.............. 314
11.2.1.	Информационные пределы избыточности при передаче
дискретной информации................................. 314
11.2.2.	Информационные пределы избыточности при передаче
речевой информации.................................... 319
11.3.Информационная оценка эффективности защиты
телекоммуникаций........................................ 320
11.3.1.	Оценка эффективности и стойкости шифрования.... 320
11.3.2.	Оценка эффективности аналогового скремблирования....... 322
11.3.3.	Оценка эффективности цифрового скремблирования. 332
Список принятых сокращений............................... 338
Предметный указатель..................................... 340
Библиографический список................................. 358
369
Научное издание
ТЕОРИЯ ИНФОРМАЦИИ
И
ЗАЩИТА ТЕЛЕКОММУНИКАЦИЙ
Редактор И. А. Проценко
Корректор И. А. Проценко
Технический редактор Г С. Кирьякова
Дизайнер обложки А. В. Киреев
Лицензия ЛР № 65-41 от 01.09.1999
Подписано в печать 20.11.2009 г.
Формат 60х84716. Бумага офсетная. Гарнитура Таймс.
Печать офсетная. Усл. печ. л. 63,0 Уч.-изд. л. 33,0
Тираж 340 экз. Заказ № 756
Издательство Южного федерального университета.
344006, г. Ростов-на-Дону, ул. Пушкинская, 160.
Тел.: (863) 264-00-19.
Отпечатано в типографии ЮФУ.
344090, г. Ростов-на-Дону, пр. Стачки, 200/1.