Author: Кузьмин И.В.   Кедрус В.А.  

Tags: электротехника   кодирование   информационные технологии   теория информации   издательское объединение вища школа  

Year: 1977

Similar

Основы теории информации и кодирования

Системы передачи информации

Теория информации и кодирование

Основы теории кодирования

Text 
                    1
l
r
11
1
_,
И. В. КУЗЬМИН
В. А. КЕДРУС
ОСНОВЬI
ТЕОРИИ
ИНФ.ОР МА ЦИИ
и
КОДИРОВАНИЯ
Допущено Министерством высшего и среднего
специального образования УССР
в качестве учебника для студентов вузов,
обучающихся по специальностям «Автомат ика
и телемеханика» и «Прикладная л1атем ат ика»
ПЕРЕВl?ЕНО 1
К.ИЕВ
·к
ГОЛОВНОЕ ИЗДАТЕЛЬСТВО
ИЗДАТ ЕЛЬСК.ОГО ОБЪЕДИНЕНИЯ (< ВИЩА ШКОЛА»
i911"""'~,--- -~~---- ~ _
\~1 \j ~~_ :,:" ''C;si (.,1~•~." ✓ 'i",JCC. ~
ll(~?C:!i,)~_,_
~
.
'
"
l-~~
,'\
,
,
,
~r1
1
~
~:, -
\


6ФО.1
К89
УДК 621.391.1
Основы теории информации и кодирования.
К узь мин И. В., Кедр у с В. А. Киев, издательское
объединение «Вища школа», 1977, 280 с.
В учебник~ рассматриваются основы теории инфор­
мации- и кодирования, включающие общие понятия и оп­
ределения информации и информационных систем, м а те­
матическое представление детерминированных и сл у чай•
ных сигналов, информационные характеристики сигналов,
эффективность и помехоустойчивость кодирования и пе­
редачи информации, теорию статистических решений и
информаци_онную оценку автоматизированных систем
контроля и управления.
Учебник предназначен для студентов вузов специ­
альностей «Автоматика и телемеханика» и «Прикладная
математика». Может быть полезен широкому кругу
специалистов', исследующих и разрабатывающих инфор­
мационные системы.
Табл. 23. Ил. 144. Списан лит.: 84 назв.
Редакция литературы по кибернетике, электронике
и энергетике
Зав. редакцией А. В. Дьячков
-r
30501-178
К М211 (04)-77 54 - 77
@Издате~ьское объедин;нне «Вищв mкoJia», 1977.


ПРЕДИСЛОВИИ
В материалах XXV съезда КПСС отмечается, что первоочеред­
ной задачей остается ускорение научно-технического прогресса,
так как только на основе ускоренного развития науки и техники
может быть построено коммунистическое общество. Ускорение на­
учно-технического прогресса обеспечивается непрерывным ростом _
объема научно-технической информации, которая удваивается че­
рез каждые 8-10 лет. В связи с этим ставится задача на разработку
и внедрение на базе ЭВМ автоматизированных · информационных
систем, систем управления предприятиями, отраслями народного
хозяйства и страной в целом.
В условиях, когда объем необходимых для инженера знаний
быстро увеличивается, возрастает потребность в учебной литера-
туре, которая должна помочь . в процессе цзучения основ науч- -.. .. .. ,_
ных теорий,- и обеспечить в дальнейшем на практике самостоятель- - ..._
ное освоение новой информации.
Наиболее общей теорией сложных автоматизированных инфор­
мационных систем, к которым относятся также автоматизированные
системы управления, является теория информации.
Учебник написан для изуч~ния курсов «Теоретические основы ­
информационной техники» по _ специальности «Электронно-вычисли­
тельные машины», «Теори я' информации и кодирования» по спе­
циальности «Прикладная математика», «Теория информации» по
специальности «Автоматизированн_ые системы управления», «Теория
передачи и преобразования информа~ии» по специальности «Авто­
матика и телемеханика».
В учебнике девять ' глав. В первой главе дается понятие об
информационных системах, основой функционирования которых
являются процессы передачи и преобразования информации; рас­
крывается роль и место информационных систем в народном хо­
зяйстве, роль отечественных ученых и инженеров в развитии
информационных систем и теории информации, излагаются Оj:НОВ­
ные определения и , понятия, касающиеся основ теории пр~ож­
дения сигналов в целом и теории информации в частности\Во
второй и третьей главах рассмотрен сигнал как носитель инфор ­
мации. Привод~тся характеристики основных типов детерминиро­
ванных и случайных сигналов, способы их математического описа­
ния и преобразования . В четвертой и пятой главах изложены основ­
ные положения теории информации, даны понятия энтропии как
з


меры неопределенности и количества информации , приведены спо­
собы rколичественной оценки энтропии · и количества информации ,
. способы
оценки скорости передачи информации и пропускной спо-
собности информационного канала, способы согласования сиг}!алов
с каналом , В шестой и седьмой главах рассматриваются критерии
оценки и способы повышения эффективности и помехоустойчиво­
сти информационных систем, оценивается помехоустойчивость от­
дельных видов модуляции и приводятоя основные положения
теории эффективного и помехоустойчивого кодирования . Восьмая
глава содержит основные положения теории помехоустойчивого
приема. В ней рассматриваются и оцениваются различные способы
обнаружения , различения и восстановления сигналов на фоне по­
мех . Девятая глава посвящена информационной оценке автомати­
зированных систем контроля и управления, практическо м у исполь­
зованию аппарата теории информации для решения отдельных за ­
дач контроля и управления. Случайный характер процессов, свя­
занных с передачей и преобразованием сигналов, определил, что
основным математическим аппаратом, используемым в книге , яв­
ляется аппарат теории информации и вероятностей , а также теории •
случайных процессов.
.
Авторы выражаIQт благодарность докт . техн. наук, проф. Коше­
вому А. А . , докт. тexIJ. наук, проф. Расщепляеву Ю. С. , докт. техн.
наук, проф. Каткову Ф. А. , докт. техн . наук, проф. Волкову А . А.,
канд. техн . наук, доц, Соколову В. А., канд. техн . нау к Кар­
пову И . М., канд . техн . наук, доц . Жуку Л . А. за критические заме­
чания при рецензировании книги, а также докт. техн . наук, проф.
Ицхоки Я. С. за идею написания учебника.
•
Замечания и пожелания просим направлять в Головное изда­
тельство издательского объединения «Вища школа» по адресу:
252054 , Киев , 54, Гоголевская, 7.
'


ВВЕДЕНИЕ
Широкое внедрение автоматизированного управления немыс­
лимо без использования средств связи, телемеханики, вычисли­
тельной техники и банков данных ,
В процессе автоматизированного управления техникой, произ­
водственными процессами и отраслями народного хозяйства, а также
в uроцессах творческой деятельности человека и общественных яв- •
лений происходит йнтенсивный обмен информацией между отдель­
ными звеньями систем управления, между человеком и техникой,
человеком и природой, между отдельными людьми .
Комплексная автоматизация и совершенствование электронных
цифровых вычислительных машин сопровождаются резким возрас­
танием объема и скорости передачи и обработки информации. Одно­
временно повышаются требования к достоверности передачи и обра­
ботки информации.
•Из всего многообразия современных технических систем можно
выделить особую группу так назьiваемых информационных систем,
предназначенных _для передачи, преобразования и хранения инфор­
мации. К этой · группе систем можно отнести: связные, телемеха­
нические, локационные, навигационные и телевизионные системы,
электронно-вычислительную и информационно-измерительную тех­
нику, автоматизированныесисгемы управления и контроля и т. п.
Информационные системы существенно отличаются от ЭJ!ерге­
тических устройств и систем (двигателей, электрических генерато­
ров, линий электропередач, транспьртных устройств, доменных
печей и т . п.), основой функционирования которых являются про­
цессы передачи и преобразования энергии. Основой · функциони­
рования информационных систем являются . процессы передачи,
преобразования и накопления информации. Поэтому главным кри­
терием качества работы информационных устройств служит их спо­
собность передавать, накапливать или преобразовывать максималь­
ное количество информации в единицу времени при допустимых
искажениях и затратах, а не коэффициент полезного действия, как
у энергетических у~тановок. В информационных системах энерге~
тические соотношения играют второстепенную роль, а сама энергия
является характеристикой сигнала, который используется лишь
в качестве транспортного средства.
Однако происходящее резкое возрастание потока информации
в ближайшем будущем потребует значительных затрат энергии на
5


передачу информации . Это обусловит необходимость помимо коли­
чествен~юй оценки информации осуществлять энергетическую оц~нку
информационных процессов. Уже сейчас одним из критериев оценки
систем космической связи является информационно-энергетический
кр~fтерий, характеризующий sатраты энергии сигнала на передачу
единицы количества информации при данной мощн·ости шумов, при­
ходящейся на 1 Гц полосы пропускания канала связи [6].
По мере развития различных видов информационной техники
происходила дифференциация ~оответствующих научных дисцип­
лин. Возникли и развиваются такие дисциплины, как теория · авто­
матического управления, теория автоматического контроля, радио­
с~язь, проводная связь, телемехающа, радиолокация, радионави­
гация, электронно-вычислительные машины, программирование
и т. д., занимающиеся вопросами теории и синтеза отдельных видов
информационных систем. Но по мере развития теории и практики
этих систем определились общие основы в_ теории их построе.ния,
которые вылились в общетеоретическую дисциплину - киберне­
тику.
Академик А. Н. Колмогоров определяет кибернетику как науку
«о способах восприятия; хранения, переработки и использования
информации в машинах, живых организмах и их объединениях».
Кибернетика устанавливает общие принципы и законы, согласно
которым как живые организмы, так и некоторые машины выполняют
целеустремленные действия на основе процессов передачи, преоб­
разования и использования информации. Кибернетика прежде
всего интересуется логической структурой, формализацией информа­
ционных процессов, а не их физической, биологической или какой­
либо другой природой. Такое абстрагирование придает~кибернетике
. общность,
позволяет ей применять для исследования информацион­
ных процессов, независимо от того, к какой категории явление
относится (биологической, физиологической, технической, эконо­
мической и т. д.), методы точных наук, весь современный математи-
ческий аппарат [16].
-
Если основной задаче_й общей кибернетики является анализ ин­
формационных процессов различной природы объекта и их алго­
ритмизация, то основной задачей технической кибернетики явля­
ется синтез информационных устройств, способных реализовать
эти алгоритмы.
Предметом технической кибернетики является разработка прин­
ципов построения и теории информационных систем, реализующих
алгоритмы, щшсыв_ающие информационные процессы.
Теоретической основой технической кибернетики являются:
теория информации, изучающая процессы получения, преобра­
зования, накопления и передачи информации в информационных
системах;
теория логических и вычислительных машин, изучающая методы
преобразования информации в соответствии с заданными алгорит­
мами;
6


теория автоматического регулирования, изучающая методы ис­
пользования информации для выполнения целеустремленных дей­
ствий;
В книге основное внимание уделяется теории получения, накоп­
ления , передачи и преобразования информации, анализу и синтезу
информационных процессов и информационных систем.
Предполагается, что теория логических и вычислительных ма­
шин, а также теория автоматического регулирования изучаются
в самостоятельных курсах.
· Возникновение
и развитие теории информации связано с быст­
рым развитием техники связи в первой половине двадцатого столе­
тия. В этот период стали появляться работы, в которых · предпри­
нималась попытка научного обоснования основных характеристик
систем связи и количественной оценки качества передачи сообще­
ний. Еще в 1928 г. американский ученый Р. Л. Хартли предложил
логарифмическую меру оценки количества информации [3]. В 1933 г.
была опубликована работа советского ученого В . А . Котельнико­
ва [4) ; в которой впервые была сформулирована теорема о дискрет­
ном представлении сигналов с ограниченным спектром, а также
дан ряд практических рекомендаций по оценке пропускной способ­
ности каналов связи. В этой работе было фактически заложено на­
чало общей теории передачи сообщений. Исследованию вопросов
увеличения пр!)пускной способности канала связи, а также влияния
помех на пропускную . способность посвящена работа советского
. ученого
Д . В. Агеева, опубликованная в 1935 году. В 1946 году
опубликована работа В. А. Котельникова [5], в которой заложены
основные положения теории" потенциальной помехоустойчивости.
Наиболее бурное развитие теория информации получила после
опубликования в 1947-1948 гг. классических работ американского
математика и инженера К. Шеннона ·, • в которых сформулированы
основные положения, касающиеся количественной оценки инфор­
мации. Некоторые из этих положений затем были строго доказаны
советскими учеными А. Я. Хинчиным и А. Н. Колмогоровым,
а также американским ученым Л. Файнстейном. • Большой вклад
внесли в развитие теории оптимального приема информации амери- ·
канские ученые Н. Винер, Д. О. Норе, Д. Мидлтон; советские уче­
ные Л. А. Вайнштейн, В. Д . Зубаков, Л. С . Гуткин и другие. Ши­
роко известны в теории помехоустойчивого кодирования работы
советских ученых К. А. Мешковского, Н . Е. Кириллова, С. И. Са­
мойленко и Г. А. Шастовой.
Теория информации, математическим аппаратом которой явля~
ется теория вероя11ностей и математическая статистика, преврати- .
лась к настоящему времени в строгую и достаточно универсалыtую
науку. Эта теория широко используется для анализа процес­
сов измерения, контроля и управления [56) . Положения этой тео­
рии все шире и шире используются при исследовании процессов
мышления, познания, психологии, «согласования» сообщений с«при­
борами» человеческого мозга [62), а также общественных . явлений.
7


Глава 1
ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ СИСТЕМЫ
1.1 ~ Основные понятия и определения
Как уже отмечалось, производственные процессы, а также про­
цессы живой природы связаны с получением, передачей, преобра­
зованием, накоплением, хранением и отображением информации.
В настоящее время существуют различные определения инфор­
мации.
Обычно под информацией в широком смысле понимаются новые
сведения об окружающем мире, которые мы получаем в результате
взаимодействия с ним, приспособления к нему и изменения его в про­
цессе приспособления.
Комитет научно-технической терминологии Академии наук СССР
рекомендует следующее определение информации: информация -
это сведения, являющиеся объектом хранения, передачи и преобра­
зования [2] .
Информация - это прежде всего сведения, которые должны
быть использованы (сведения о состоянии природы, о состоянии
и положении во времени и пространстве определенных объектов,
о величине контролируемых параметров и т. п.) .
В философии развернулась борьба между материалистами и иде ­
алистами вокруг понимания природы информации. Идеалисты раз­
личных толков пытаются оторвать информацию от материи, превра­
тить ее в некоторую духовную субстанцию или же представить в виде
комплекса ощущений субъекта. В соответствии с положениями
марксистской философии информация является свойством мате-
• рии. Информация не является ни материей, ни энергией, . но нераз­
•рывно связана с материей.
Некоторые идеалисты пытаются утверждать, что само понятие
информации дает основание для примирения идеализма и материа- •
лизма. Информация рассматривается ими в качестве «нейтрального
элемента», не являющегося ни материей, ни сознанием, на основа­
нии чего делается вывод, что кибернетика представляет научные дан­
ные для преодоления «ограниченности» как материалистических,
так и идеалистических концепций .
Понятие информации естI, научное подтверждение гипотезы
В. И. Ленина, что вся материя обладает свойством отражения. При
этом нужно иметь в виду, что понятие «отражение» как свойство
всей материи более общее, чем понятие «информация», являюще­
еся понятием кибернетики и встречающееся только у органи з ован ­
ных систем - машин, растений, животных и человека .
в


Нужно различать понятия «информация» и «сообщение». Под
сообщением понимают информацию, выраженную в определенной
форме и подлежащую передаче. Сообщение - это форма представ­
ления информации [2). Примерами сообщений являются: текст те­
леграммы, речь оратора, показания •измерительного датчика, ко­
манды управления и т. д·.
Структурная схема одной из характерных информационных
систем в общем случае может быть представлена в виде, изображен­
ном на рис. 1.1 . Система состоит из отправителя информации, линии
связи и получателя информации.
.
,,
Сообщение для передачи его в соответствующий адрес должно
быть предварительно преобразовано в сигнал. Под сигналом пони-
сооt!щенце
• Источник
i/llf/)Opl1aqцц
KotlUp!Jющee
!JСтройстВо
Сигна11
~
---------------------.
1 ____
.
Лонещ
1
: Лереtlатчцк
Линил сблзц
1
1 ----
1
L ____ Сигна11
С11гн1111fnо11еха
1
1
ДекоiJир!fЮЩее
устроцстоо
Решающее
ycmpoikmOo
Прцемник
1
1
1
К11на11 сВязи .
1
L _____ ---------- '
Рис. 1.1
мается изменяющаяся физическая величина, отображающая сооб­
щение [2]. Сигнал~ это материальный переносчик сообщения.
Физическая среда, по которой происходит передача сигналов от
передатчика к приемнику, называется линией связи.
В современной т~хнике нашли применение электрические, элек­
тромагнитные, световые, механические, звуковые, ультразвуковые
сигналы . Для передачи сообщений необходимо применять тот пере­
носчик, который способен эффективно распрострщrяться по исполь­
зуемой в системе линии связи. Например, по проводной линии связи
наиболее легко проходят постоянный ток и переменные токи сравни­
тельно невысоких частот (практически не более нескольких десят­
ков килогерц). По радиолинии эффективно распространяются только
электромагнитные колебания высоких частот (от сотен килогерц
до десятков тысяч мегагерц). •
Преобразование сообщений в сигналы, удобные для . прохожде~
ния по линии связи, осуществляется передатчиком.
Все· сообщения по характеру изменения во времени можно раз-
1
делить на непрерывные и дискретные.
Непре.рывные по времени сообщения отображаются непрерыв­
ной функцией времени . Дискретные по времени сообщения харак­
теризуются тем, что поступают в определенные моменты времени
и описываются дискретной функцией времени. Так как сообщения
носят обычно случайный характер, то непреры'вfiЬiе сообщения
9


описываются случайной функцией времени, а дискретные сообще­
ния - как цепь случайных событий.
Сообщения можно также разделить на непрерывные и дискрет­
ные по м~ожеству .
Нецрерывные по множеству сообщения характериз уются тем,
что функция , их описывающая , может принимать непрерывное мно­
жество значений (континуум значений) в некотором интервале.
Д и скретные по множеству сообщения .. _
это сообщения , кото­
рые могут быть описаны с помощью конечного набор а ч и сел или
дискретных значени~ некоторой функции.
.
t
Рис. 1.2
Р ис. 1.3
,~
---
-
-
-
---
-
-
-
-
-
-
-
-
-
----
-
-
------ -
-
-- --
t.
Рис. 1.4
Рис. 1.5
Дискретности по множеству и времени не связаны друг с другом ,
Поэтому возможны следующие _типы сообщений:
а) непрерывные по множеству и времени , или просто непрерыв-
ные (рис. 1.2);
•
б) непрерывные по множеству и дискретные по времени
(рис. 1.3);
.
в) дискретные по множеству и непрерывные по времени (рис. 1.4);
r) дискретные по множеству и времени, или просто дискретные
(рис: 1,5).
В процессе преобразования дискретных сообщений •в сигнал
происходит кодирование сообщений. В широком смысле кодирова­
нием называют преобразование сообщений в сигнал. В у зком
смысле кодирование ~ это отображение дискретных сообщений
сигналами в виде определенных сочетаний символов [2]. Устро й ство,
осуществляющее кодирование, называется кодером (кодир ующим
устройством).
•
В передающем устройстве осущест.\:!ляетс.я воз_действие на один
или неско.Jiько параметров переносчика по закону, принятому при
кодировании сообщений. Этот процесс называется модуляцией,
а модулируемые параметры называют информативными . Иногда
10


применительно к радиотелеграфии в смысле модуляции употреб-
ляется термин «манипуляция».
_
При передаче сигналы подвергаются воздействию помех . Под
помехами подразумеваются любые мешающие внешние возмущения
или воздействия (атмосферные помехи, влияния посторонних ис­
точников сигналов), а также искажения сигналов в самой аппара­
туре (аппаратурные помехи), вызывающие случайное отклонение
принятого сообщения (сигнала) от передаваемого [2].
•
На приемной стороне осуществляется обратная операция деко­
дирования, т. е. восстановление по принятому сигналу переданного
сообщения. Решающее устройство, помещенное после приемника,
осуществляет обработку принятого сигнала с целью наиболее пол­
liого извлечения из него информации. Декодирующее устройство
(декодер) преобразует принятый сигнал к виду, удобному для вос-
приятия получателем.
_
. Совокупность
средств, предназначенных для передачи сигнала;
принято называть каналом связи [2]. Одна и та же линия связи мо­
жет . использоваться для передачи сигналов между многими источ­
никами и приемниками, т : е. линия связи может обслуживать
несколько каналов.
При синтезе систем передачи информаци·и приходится решать
две основные проблемы, связанные с передачей сообщений:
1) обеспечение помехоустойчивости . передачи сообщений;
2) обеспечение высокой эффективности передачи сообщений.
Под помехоустойчивостью понимается способность информа-
ционной системы противостоять вредному действию помех [2].
При данных условиях, т. е. при заданной помехе, помехоустойчи­
вость определяет верность передачи информации. Под верностью
понимается мера соответствия принятого сообщения (сигнала) пере-
данному сооб~μению (сигналу).
.
Под эффективностью системы передачи информации понимается
способность системы обеспечивать передачу заданного количества
информации наиболее экономичным способом. Так как передача
информации сопряжена с определенными затратами мощности сиг­
нала и времени и с использованием некоторой полосы частот, то эф­
фективность будет характеризовать способность системы обеспе­
чить передачу данного количества информации с наименьшими затра­
тами мощности сигнала, времени и полосы частот.
Теория информации устанавливает критерии оценки помехо­
устойчивости . и эффективности информационных систем, а также
указывает общие пути повышения помехоустойчивости и эффектив­
ности. ·Повышение помехоустойчивости практически всегда сопро­
вождается ухудше~tием эффективности и, наоборот, повышение эф­
фективности отрицательно сказывается на помехоустойчивости
систем. _
В настоящее время теория информации успешно применяется
в . философии и математике, естественных и технических науках,
социально-экономических науках, биологии, медицине и др. [28].
11


1.2 . Классификация информационных систем
В информационные системы, получившие широкое распростра­
нение в народном хозяйстве, включаются средства, предназначен­
ные для получения, преобразования, передачи, накопления, отобра­
жения и хранения информации, получаемой от человека, природы,
машины, вообще от какого-либо объекта наблюдения и управле-
ния [28].
-
,
Характерной особенностью современных информационных сис­
тем является высокая степень автоматизации . Все многообразие
информационных систем можно подразделить на четыре основных
класса:
1, Простейшие информационные устройства, предназначен­
ные для осуществления информационных процессов малой слож­
ности.
К простейшим информационным устройствам относ ятся :
сигнализаторы и индикаторные устройства;
-
считывающие и регистрирующие устройства, в том числе устр ой-
ства считывания магнитных и перфорационных записей;
устройства для автоматической обработки диаграмм;
читающие машины;
вычислительные устройства;
линеаризаторы, интеграторы, усреднители . и устройства стати­
стической обработки случайных величин и процессов.
2. Централизованные информационные системы (ЦИС) , пред­
назначенные для контроля и управления сложными информацион­
ными процессами.
К централизованным информационным системам относятся:
ЦИС для контроля непрерывных технологических процессов;
ЦИС для контроля дискретных технологических процессов
и штучноJt продукции;
ЦИС для контроля производства массовой продукции .
3. Автсщатические испытательные системы (АИС), предназна-
ченные для автоматизации сложных информационных процессов .
Автоматические испытательные системы подразделяются на:
АИС для испытания сложных изделий и оборудования ;
АИС для исшдания радиоэлектронного оборудования; .
АИС для йспытания электротехнического оборудования, машин
и механизмов .
4. Сложные автоматизированные информационные системы
(САИС), предназначенные для осуществления централизованного
контроля и управления сложными объектами, включающие автома­
тические и автоматизированщ:,rе системы управления (АСУ).
Эти системы подразделяются на:
АСУ промышленньiми предприятиями (органи~ационно-эконо­
мическ.ие и технологические);
АСУ энергосистемами;
АСУ войсками;
12


АСУ отраслями хозяйства; регионами и страной в целом .
Все информационные системы , кроме контроля, в большой или
малой степени осуществляют управление или ведут контроль для
нужд управления .
К информационным системам можно также отнести информа­
ционно-измерительные системы [63) и системы автоматического
регулирования и управления, классификация которых дана в осно­
вах теории измерения, регулирования и управления .
1.3. Предмет и метод теории информации
Теория информации - это наука о получении , преобразовании,
накоплении, отображении и передаче информации ,
В связи с этим предметом теории информации являются процессы.
получения, преобразования , накопления, отображения и передачи
информации · в биологических, технических и смешанных сис­
темах [65).
Курс теории информации представляет собой единую науч­
ную дисциплину, основу которой составляют модели сигналов,
теория случайных процессов, теория информации, теория оцен­
ки эффективности и помехоустойчивости информационных си ­
стем.
В нашей стране развитию теории информации и внедрению ее
в практику придается большое значение. Без приложения теории
информации практически немыслимо создание сложнейших систем
управления космическими кораблями и ракетами, систем дальней
и сверхдальней космической связи, систем связи и телевидения
с использованием искусственных спутников Земли, сложных вы­
числительных и управляющих систем · и т. д. [64] ,
Метод теории информации есть совокупность приемов исследо ­
вания при анализе и синтезе сигналов и информационных систем
(методы оценки информационной способности источника инфор ­
мации, пропускной способности систем передачи информации, ин­
формационной емкости устройств, емкост~ запоминающих уст~
ройств и т. д.) . При этом в основе метода лежит материалистическая
диалектика, объективные законы природы и общества , объектив ­
ные законы действительности ,
В марксистско-ленинской теории познания метод учитывает
специфические закономерн0сти деятельности мышления при отра­
жении диалектики предмета, связывает отражение с практика­
теоретическим воздействием общественного субъекта на объектив­
ный мир.
Внешний мир , окружающий человека., воздействует на него че­
рез органь1 чувств с усилителями или без усилителей чувствитель­
ности . Органы чувств дают человеку информацию об окружающей
действительности . Получаемая информация преобразуется нервной
системой: 1иj' мозгом, на помощь которому может .подключаться ЭВМ,
13


а затем, после соответствующего отбора, переработки и накопления
используется человеком для обратного непосредственного воздей­
ствия на вн~шний мир или через орудия производства (рис. 1.6).
На этом рисунке внешний мир выступает как источник инфор­
мации, а также приемник информации и воздействия. В роли
-
Bot11p&m11e
Jaf}OЖQM/14'
(ЛOl!fl/Mi/4') r"'"":"" ":' _. ~ ~" 'I
JfcmOI/HIIK 11
nompetf11m&ь
1/HI/Jtl,OMOtfllil
усилителей чувствительности могут
выступать простые и сложные из­
меритеЛI'\ные системы (электронный
микроскоп, радиотелесr<0п, - косми­
ческие и астрономические системы
и т. д.). Возможности двигател ьной
системы человека (исполнительных
органов) могут усилить орудия тру­
да (орудия производства).
В схеме (рис. 1.6) информация
проходит следующие фазы обраще­
ния (рис. 1. 7) [28].
Получение информации проис- ·
ходит в процессе частичного или
полного «снятия» неопределенности
состояния или положения объекта
в пространстве и времени, в про-
Рис. 1.6
цессе познания состояния и поло­
жения объекта.
В фазе восприятия формируется образ объекта, его опознание .
и оценка. При этом отделяется полезная информация от шумов.
В результате восприятия получается сигнал в форме, удобной для
передачи и обработки.
!/с111111тел11
qy!Jcm!J11meльнocm11
Ореаны
1/f!IJCm!J
Opyil11я
t-------f пpo11J8oilcmдa
Рис. 1.7
JB/1
l10JB
/1CЛO/!Hiln7M6116/e
t--_.__.~
ореаны
В фазе передачи информация передается на расстояние посред­
ством сигналов различной физической природы соответственно по
механическим, гидравлическим, сейсмическим, пневматическим,
акустическим, оптическим, электрическим и электромагнитным.
каналам, При приеме информация · очищается от помех.
14


Переработка информации осуществляется мозгом человека · или
ЭВМ. Применение ЭВМ позволяет расширить возможности мозга
при оценке ситуаций и принятии решений в процессах измерения,
контроля и управления.
Промежуточным этапом переработки может быть запоминание
информации в постоянной, долговременной или оперативной памяти.
Фаза отображения информации состо­
ит в отображении на устройствах, способ­
ных воздействовать на органы чувств
человека, качественных и количествен­
ных характеристик выходной инфор­
мации.
•
Воздействие состоит в том, что сиг­
налы, несущие информацию, производят
регулирующие, защитные и. другие дей­
ствия, изменяющие состояние или поло­
жение объекта.
На практике встречаются как замк­
нутые, так и разомкнутые информаци­
онные системы, в которых информацией
могут обмениваться человек - человек,
человек- машина, машина- машина,
группа машин - человек, группа опера-
торов - машина.
•
С методологической точки зрения ал­
горитм изучения курсов «Теория инфор­
мации и кодирование», «Теоретические
основы информационной техники». «Тео­
рия информации» · можно представить
в виде структурной схемы (рис. 1.8). _·
Для успешного освоения программы
f!111рорнацця ц ц111рор11аqцо1111;11
Ci/Cm6't11 ,/
матенаm1111еск11е 110 елц
ilетерн111111ро8а1111ш сш11ало8 ·
матемаmi/11ес1(11е моilели
слу11аti11ых с11t11ало6
Нн1рорнаццон11ые мооелi/
Clltl/OJ1o6
Лepeila'la ц111рорнIщ11ц
.Jrрфмm11О11ость I/IIQJOPHlll(l/01/1/Ш
сuстем
Ломе.коустоtiq11Оость
и11rрормац1101111щ систем
Лoмe,ro!fcmotlq118ыii прием
JIHQJO/J/101(1/0/li/OЯ 01(8111(0
аОтон11m11J11ро_8а11нш cucmm
контроля 11 vлра6лтuя
Рис. 1.8
курса необходимо изучить теоретические разделы, материал прак­
тических занятий и выполнить лабораторные работы.
В св-ою очередь , знание этого курса обеспечит из·учение курсов
«Теории систем», «Проектирование подсистем и звеньев АСУ», «Мо­
делирование сложных систем», «Теория вычислительных комплек­
сов», «Устройство и эксплуатация АСУ» и т. д.
КОНТРОЛЬНЫЕ ВОПРОСЫ
1. Что понимается под информационными системами?
2. Что такое информация, сообщение, _сигнал?
3. Какова связь ме)kду понятиями информация, сообщение, сигнал?
4. В чем заключается процесс преобразования сообщений в сигнал?
5. Что такое линия связи, канал связи?
6. Что понимается под многоканальными системами?
7. В чем состоит пред мет и метод теории информации?
8. Н а звать и охарактериз овать основные фазы обращения информации,
а также системы обмена информации.
9. Дать характеристику алгоритма изучения курса.
15


Глава 11
МАТЕМАТИЧЕСКИЕ МОДЕЛИ
ДЕТЕРМИНИРОВАННЫХ СИГНАЛОВ
2. 1 . Общая характеристика сигналов
Как отмечалось, сигнал - изменяющаяся физическая величина 9
обеспечивающая передачу информации по линии связи. В техниче- ,
ских информационных системах используются в большинстве - слу­
чаев электрические сигналы.
Все многообразие сигналов, используемых в информационных
системах, можно по своим особенностям разделить на две основные
группы: детерминированные-сигналы и случайные сигналы. Детер­
минированные сигналы характеризуются тем, что в любые моменты •
времени их значения являются известными величинами. Сигнал,
значения которого в любые моменты времени будут случайными
величинами, называется · случайным .
Деление сигналов на детерминированные и случайные является
условным, так как детерминированных сигналов в точном их пони­
мании в природе нет. Н~ практике не может быть заранее точно пред­
сказано значение сигнала в любые моменты времени, в противном
случае сигнал не нес бы полезной информации. Кроме того, любой
реальный сигнал случаен в силу воздействия на него многочислен-
ных случайных факторов . • •
_
Несмотря на это, исследование детерминированных ~игналов
весьма важно по двум причинам:
1) математический аппарат, используемый для анализа детер­
минированных сигналов, гораздо проще аппарата анализа случай­
ных сигналов;
•. 2) выводы, полученнь~е в результате исследований детермини­
рованных сигналов, могут быть во многих случаях использованы
для анализа случай:ньiх сигналов.
Так как в информационных системах применяются преимуще­
ственно электрические средства передачи сообщений (проводные
и радиосредства), то ограничимся рассмотрением только электри­
ческих сигналов.
.
Электрические сигналы являются носителями информации лишь
при определенном воздействии (модуляции) на один или несколько
их параметров. Такие параметры принято называть информатив­
ными или кодовыми.
Сигналы по своей структуре разделяются на непрерывные и дис­
кретные.
Непрерывным называется сигнал, который принимает непрерыв­
ное множество значений на некотором отрезке времени и в диапа­
зоне, ограничивающем его максимальную и минимальную величины.
Дискретным называется сигнал, принимающий конечное мно­
жество значений в определенном интервале времени и диапазоне
16


величин, т. е. сигнал, являющийся дискретным как по времени, так
и по уровню.
Сигнал, являющийся дискретным только по времени, или только
по уровню, принято называть дискретно-непрерывным . На прак­
тике из этой группы сигналов преимущественное применение нашли
сигналы, квантованные только по времеI:Iи, В связи с этим в даль­
нейшем под дискретно-непрерывным сигналом мы будем под­
разумевать сигналы, дискретные по времени и непрерывные по
уровню.
Примерами непрерывных сигналов являются : постоянный ток
и напряжение, или гармонические колебания тока (напряжения).
В первом случае йнформативным параметром сигнала может быть
только величина тока или напряжения. Во втором случае инфор­
мативным параметром может быть: амплитуда, частота или фаза
колебаний .
~
IJримеррм дискретно-непрерывных сигналов является последо­
вательность прямоугольных импульсов тока или напряжения. Здесь
в кач_естве информативного параметра может быть использована:
амплитуда, длительность, частота следования и фаза импульсов •
(временной сдвиг импульсов в каждом периоде посылки относи­
тельно опорного момента времени).
Дискретные сигналы могут представляться в виде отдельных
простейших элементов (посылок) или совокупности таких элемен­
"- тов . Такими элементами могут быть:
однополярные импульсы напряжения (тока);
синусоидально изменяющееся напряжение (ток) определенной
длительности;
периодическая последовательность импульсов напряжения (тока)
· определенной длительности;
•
пауза (отсутствие напряжения или тока) .
Каждому элементу (посылке) свойственны свои качественные
признаки (признаки посылок) . Один или несколько из этих призна­
ков могут быть использованы для передачи сообщений . •
Для однополярных импульсов качественными признаками яв­
ляются : величина, длительность и временное положение импульсов.
Для гармо1щческой посылки качественными признаками будут:
амплитуда, частота и фаза- ~олебаний, длительность и временное
положение посылки.
Для периодической посл1хдовательности импульсов качеств ен ­
ными признаками являются: амплитуда, длительность, полярность,
частота следования и фаза импульсов, длительность · и временное
положение посылки . Разновидностью такой посылки являетсfl пе-
•
•
,
риодическая последовательность импульсов высокочастотных коле-
баний (радиоимпульсов) . Для этой посылки характерны те же ка­
чественные. признаки за следующим исключением: вместо поляр­
ного признака будет фаза высокочастотных колебаний в импульсах
и, кроме того, появляется дополнительный признаr< ~ частота
высокочастотных коле~нмw::- ~ о 8 , ~· ·- , - -
----- - "·=-=~<>• -~ -
.
.
.
~-
U .J ~ • I.J ~ \i с. ~-~~:i~~, ~ //:~;'-")>'"С, ~
17
~.....::~;-. ::.::, ·:, . };: ••1,~
:,:.)s.1:J[l ~
~,,-,.;,
~..,..... ---~


Пауза, как качественный признак, характеризуется длитель­
ностью и временным положением.
В случае использования фазы в качестве информативного пара­
метра последн·яя определяется по отношению к некоторым опорным
периодическим колебаниям (гармонические колебания или опорная
тактовая последовательность импульсов).
•
В случае представления сигналов в виде совокупности элемен-
тарных посылок отдельным сообщения,м соответствует определен­
ная комбинация (кодовая комбинация) посылок. При этом должны
быть приняты меры для разделения гtосылок в комбинациях, При­
меняют следующие способы разделения посылок:
1. Полярное разделение, при котором происходит ч~редование
полярностей смежных посылок (рис. 2.1). Этот способ разделения
используется для посылок в виде импульсов постоянного напряже-
ния (тока).
_
~-
2. Амплитудное разделение, при котором смежные посылки
имеют различные величины амплитуд (рис. 2.2).
и,i Пос1,1лкq f Лосшка2 Посы11хqJ
Рис. 2.1
11,/
ПtJto!ЛKO f
u,i Посылка f
t
/loC6//Jl((J 2
С/
Лос6//JКО 2
tf
11,i
Рис . 2.3
Посы11каf Лосьика2 ЛOC61/J!(OJ
t'
Рис, 2.2
!lосшжа J
t
Поl:6/ЛКО J
3. Фазовое разделение, используемое для посылок в виде сиру­
соидальных колебаний, при этом смежные посылки различаются
фазой колебаний (обычно различие на 180°, рис. 2.3, а). Фазовое
разделение может быть использовано и для периодических после-
18


довательностей однополярных импульсов. В этом случае разделе­
ние осуществляется за счет изменения временного положения им­
пульсов в посылках (рис . 2.3, 6) .
4. Временное разделение, при котором посылки разделены друг
от друга временным интервалом.
5. Частотное разделение, при котором смежные посылки раз­
личаются друг от друга частотой. Данный способ разделения приме­
няется для посылок в виде гармонических колебаний и периодиче­
ской последовательности им11ульсов (рис. 2.4, а и 6),
t1,i
а
и,i
Посыл/(а f
f,
о
t
Рис. 2.4
6. Простое разделение, при котором посылки сигнала переда­
ются одновременно по разным каналам связи.
Посылки сигнала сообщения, обладающие информативными (ко­
довыми) признаками, называют активными. Посылки, не обладаю­
щие такими признаками и служащие для. разделения посылок, назы­
вают разделяющими. На рис. 2.5, а приведен пример, когда инфор­
мативным признаком посылок является длительность, а разделение
посылок амплитудное. Для активных посылок 1 и 3 в качестве ин­
формативного признака используется длительность. Разделяющая
посылка (посылка 2) отличается от смежных информативных ампли­
тудой.
Иногда для повышения помехоустойчивости телемеханических
систем посылкам сигнала придаются дополнительные - защитные
признаки. Защитные признаки в отличие от информативных могут
сохранять неизменное значение для различных сигналов сообще­
ния. На рис. 2,5, 6 приведен пример сигнала, состоящего из пяти
посылок ..:_ трех акти~ных (посылки 1, 3 и 5) и двух разделяющих
(посылки 2 и 4).
Для анализа ,и синтеза информационных систем необходимо
знать не только характеристики этих систем в виде операторов,
но также и математические модели сигналов.
В зависимости от методов анализ,а информационных <шстем со­
ответственно форме представления операторов применяются те или
19


иные способы представления сигналов. К основным из них следует
отнести [7), [Щ:
•
.
представление сигнала в виде некоторой функции времени x(t);
представление сигнала в операторной форме х (Р);
представление сигнала в виде некоторой функции частоты.
При анализе процесса прохождения произвольного детермини­
рованного сигнала через линейную систему или систему, близкую
к линейной, удобно представлять его , в виде надлежащим образом
выбранной совокупности элементарных сигналов. Зная реакцию си­
стемы на элементарный сигнал, можно, пользуясь методом суперпо­
зи~ии, определить реакцию системы на сигнал произвольной формы.
u,i
1Посылка 1 Посылка 1 Лосьика
1
11
г
,J
f1
t2
t
t,
.
а.
11,i
1лосьи!(а 1 1!7осылка I По::ьика J 1 лосылкоl Лосьи!(о S
1
t,i21
t,
\41
t,
1
1
I
1
1
f1•14
,rJ
Рис. 2.5
К элементарным детерминированным , сигналам относят идеаль­
ный единичный импу лье, единичную функцию и синусоидальное
воздействие [9].
Свойства единичного импульса (дельта-функции) определяются
соотношениями
•
{О при t*'ti
о(t-
't) =
ооприt='tj
t
Io(t-'t)dt= l(t-'t), O<'t<t,
о
(2.1)
. где
о(t-
't) - дельта-функция; t - время;
't - момент действия
импульса; 1 (t-'t)-единичная функция.
Следовательно, единичный импу лье - это идеализированный
сигнал, характеризуемый бесконечно малой длительностью, беско­
нечно большим уровнем и площадью, равной единице.
20
Свойства единичной функции определяются соотношениями:
{Оприt<'ti
l(t-'t)=
1 при t). 't.
(2.2)


Таким образом, единичная функция_: это временная функция,
которая при любом t < 't тождественно равна нулю, а при любом
t :;;;,. 't равна 1. Единичная функция выражает скачкообразное из­
менение в момент времени t с-- 't величины от значения О до зна-
чения 1.
•
При анализе многих типов технических информационных си­
стем, в особенности при исследовании пропускной способности и
селективности систем, широко используются синусоидальные эле­
ментарные сигналы. В связи с этим большой интерес имеет час­
тотное представление сигнала, т. е . представление модели сигнала
в виде совокупности элементарных синусоидальных сигналов.
2.2. Ч астотное представление детерминированны~ сигналов
В частотном виде могут представляться как периодические, так
и непериодические детерминиррванные сигналы .
Необходимо заметить, что в реальных условиях .периодические
сигналы не существуют, так как идеальный периодический сигнал
бесконечен . во времени, в то время как всякий реальный сигнал
имеет начало и конец. Однако во многих случаях конечностью
времени действия сигнала можно пренебречь и для его анализа
допустимо использовать аппарат, пригодный для идеальных перио ди-
ческих •сигналов.
•
1. Пер иодические сигналы
Рассмотрим сигнал, выражаемый произвольной периодической
функцией времени х (t) (рис. 2.6).
Известно, что всякая периодическая функция, удовлетворяющая
условиям Дирихле\ может быть представлена в виде бесконечной
в общем случае суммы гармо-
нических составляю_ щих - рядом дt)~-
А
Известны две формы разложе-
•
,
Фурье.
•
~
ния в ряд Фурье: тригонометри- ~vl
Vf
ческая и комплексная. Тригоно-
~
метрическая форма разложения
Рис. 2.6
выражается в вид~
х(t) = ; А0+~Akcos(k.шof- cpk),
(2.3)
,
k=I
1
где 2 А0 - постоянная 1 составляющая функции х (t); . Ak cos (kш 0 t-
-
cpk) -k-я гармоническая составляющая; А1г, kш 0, cpk - амплитуда,
частота и начальная фаза k-й гармонической составляющей; ш 0 =
1 Условие Дирихле заключается в следующем: функцщr х (t) до:71жна быть
ограниченной, кусочно-непрерывной и иметь на протяжении перио;rа конечное
число экстремальных значений.
21


• 2л:
= т - частота основной (первой) гармоники; Т - период коле-
баний.
В математическом отношении удобнее оперировать комплексной
формой ряда Фурье, представляемой в виде
х(t) =- ; ~ A1i ехр{Jk~of },
(2.4)
kaa-o,
1
где )Ik ==- Ak ехр {-jcpk} -комплексная амплитуда гармонической
составляющей частоты шk == kш 0 •
Суммы, определяемые выражениями (2.3) и (2.4), будут тож-
дественными при выполнении условий •
A-k=Ak; (j)-k=cpk; (J)==о.
(2.5)
При этом модуль комплексной амплитуды будет равен ампли­
туде соответствующей гармонической составляющей, а аргумент
равен начальной фазе составляющей.
Комплексная амплитуда определяется с помощью формулы
•.
2 t,rт
Ak == Т У, х (t) ехр {-jkшat} dt.
(2.6)
Совокупность амплитуд и соответствующих частот гармонИI<
принято называть спектром амплитуд. Совокупность начальных
Ак
Рис. . 2.7
фаз и соответствующих частот
гармоник называют спектром
фаз.
Спектр амплитуд и спектр
фаз однозначно определяют
сигнал. Однако для многих
практических задач достаточ­
но ограничиться рассмотрением
только спектра _ амплитуд.
На рис. 2.7,а и 6 даны
графические изображения спектра амплитуд и спектра фаз перио­
дического сигнала. Отдельные спектральные составляющие в гра­
фическом изображении спектра амплитуд называются спектраль- .
ными линиями.
Характерной особенностью спектра периодического сигнала яв­
ляется его прерывистость (дискретность). Расстощше между сосед­
ними спектральными линиями одинаковое и равно частоте основной
гармоники.
Рассмотрим спектры периодических сигналов при различных
видах модуляции.
а) Амплитудно-модулированный гармонический сигнал.
х (t) == А (t) sin (шаt +.(1)0),
22


При амплитудной модуляции амплитуда изменяется по опреде­
ленному закону
А(t) - А0+8Af(t),
где А0 - постоянная составляющая амплитуд; 8А
-
наибольшее
изменение амплитуды при модуляции; f (t) - нормированная функ­
ция (изменяющаяся в пределах от-1 до + 1).
Так как _модулируемый параметр сигнала (в данном случае
амплитуда) является непосредственным переносчиком информации~
то функция f (t) выражает закон изменения во времени переда­
ваемого сообщения.
Амплитудно-модулирован­
ный гармонический сигнал ка'к
функция времени в общем слу­
чае имеет вид
Ао
Ао({-117А}
x(t)=А0Р+
J....1--1--++--'l-l-'-\---f--+-f---+-г++-1н-rr-т
+ тлf (t)] sin (oool + <р0), (2.7)
_,,.
.
м
где mл = Ао - глубина ампли-
Рис. 2_8
тудной модуляции.
Рассмотрим частный случай, _ когда функция f (t) изменяется по
rармоцическому закону (рис. 2.8)
f(t)= cosQt, причем О«000•
Тогда выражение (2. 7) примет вид
x(t) = А0 [l + mлcosQt] sin_(oool + <р0) =
Аотл
-= А0sin(oool+<р0)+-2
-
sin[(оо0- Q)t+<р0]+
•
• Аотл
+-2
-
sin[(000+О)t+<р0].
(2.8)
Как видно из вьrражения (2.8), спектр сигнала, изображенного
на рис. 2.8, состоит из трех гармонических составляющих: несу­
щей с частотой 00 0 и двух боковых - нижней с частотой 00 0 - О
и верхней с частотой w0 + О (рис. 2.9) . Ширина спектра сигнала
доо =20.
Если модуляция гармонического сигнала производится по более
сложному закону, при',\ем спектр огибающей амплитуд!=>! находится
в диапазоне частот от Rмин до Rмакс, то можно показать , что
в спектре амплитудно-модулированного сигнала вместо двух боко ­
вых частот будут две боковые полосы частот (рис . 2.10). Причем ,
нижняя боковая полоса частот будет находиться в пределах Ц> 0 -
9макс, 00 0 - Rмин, а верхняя боковая полоса частот - в пределах ·
w0 + •Омакс, 000 + Омин•
23


Для неискаженной передачи такого сигнала канал связи дол­
жен обладать полосой пропускания частот, равной 2 Qма[{с, т . е.
полоса пропускания канала связи должна быть вдвое больше
наивысшей частоты спектра модулирующего сигнала .
•
Для уменьшения полосы частот модулированного сигнала , а
следовательно, и требуемой полосы пропускания канал а связи
иногда используется так называемая .однополосная передача. При
такой передаче с помощью филь1ров производится подавление
несущей частоты и частот одной из боковых полос, т . е. передача
производится в полосе частот Qма[{с - Qмин• Это позволяет более
чем в 2 раза сократить требуемую полосу канала связи .
б) Частотно-модулированный гармонический сигнал .
-А
Ао
''1
1
~Ао тАА
2
24
-
-
.
о
Ыо-0 и10 Ыо+Q
о r,Jo-Q11aкc(;) -,г иlо ulo f О,шн
(,)
о мин
ulo+ Онаl(С
Рис. 2.9
Рис. 2.10
..
При частотной модуляции частота сигнала изменяется в общем
виде по закону
w(t)= wo [I+т,,,f(t)],
(2.9)
8ю
где w0 - постоянная составляющая частоты; щ,, = ,- - глубина
юо
частотной модуляции; ow ~ наибольшее изменение частоты при
модуляции (девиация частот); f (t) - закон модуляции .
Частотно-модулированный сигнал можно представить в виде
t
х(t) = А0sinср(t) = А0sin[Sw(t)dt +cp0J=
о
t
. = А0sin[wof +w0moo Sf(t)dt +ср0],
о
(2.10)
где ср (t) - текущая фаза гармонического сигнала; ср0 - начальная
фаза сигнала.
В частном случае, когда модуляция частоты осуществляется
по гармоническому закону, частотно-модулированный сигнал мо•
жет быть записан в . виде
t
х(t) =А0sin[wof + w0m"' ScosQtdt + ср0]= А0sin(w0t + ~sinQt) ==
.
о
.
•
= А0sin wof cos[~ sinQtj+А0coswof sin[~ sinQt], (2.11)
А8ю
•
где r' = Q- индекс , частотнои модуляции.
24


Сигнал такого вида представляется следующим образом:
00
х(t)=А0{J0(~) sinoo0t+~jk(@)(sin(оо0+kQ)t+
k=l
\
+(-l)ksin(000- kQ)t]},
(2.12)
-::..е j 0 (~) - функция Бесселя нулевого порядка; j k (~) - функция
3есселя k-го порядка.
Спектр амплитуд модулированного по частоте сигнала приве­
:..ен на рис. 2.11. Спектр дискретный, состоит из колебаний с не­
ущей частотой 00 0 и бесконечного количества верхних и нижних
бо ковых составляющих с часто­
-ю1и оо ± kQ.
Распределение амплитуд гар­
, •он ических
составляющих зави­
сит от •аргумента ~ функций Бес­
се ля , т. е. от индекса частотной
~:одуляции.
При очень малом индексе ча­
стотной модуляции (~ -+ О) спектр
частотно-модулированного сигна -
А/( 1
~-~ '
11~11~'
1 ........ _. _,
1I__.._.__I,..._.._,,__
~
(i)
1⁄4
Рис. 2.11
.1а практически не отличается от спектра амплитудно-модулиро­
ва нного сигнала, т. е. он состоит всего из трех гармонических
составляющих: колебаний с несущей частотой 00 0 и двух боковых
а частотами 00 0 - Q и 000 + Q . В этом случае полоса пропускания
канала связи должна быть равна 2Q.
С ростом индекса модуляции ~ увеличивается вес боковых
составляющих и соответственно требуемая полоса пропускания
ка нала связи . Если ограничиться . в спе~тре только составляю­
щими, амплитуда которых составляет не менее 5-10% от ам­
плитуды несущей . А 0 до модуляции, то ширина спектра этих
составляющих, а следовательно, и требуемая полоса канала связи
будут составлять 2 (аоо + Q).
При больших индексах модуляции (~ » 1) ширина спектра
сигнала практически равна удвоенной величине девиации частотьi
(2аоо) и не зависит от частоты модулирующего сигнала Q.
в) Фазомодулированный гармонический сигнал •
х(t)=А0sin(ooof + ер(t)j.
При фазовой модуляции· фаза гармон~ческого сигнала, изменя•
ется по закqну модулирующего сигнала f (t)
ер(t) = ер0[l+m'Pf(t)],
(2.13)
о
.
где m'f = _р_ _ глубина фазовой модуляции; 8ер
-
наибольшее из-
<J)о .
•
•
., 1 енение
фазы при модуляции (индекс фазовой модуляции).
Сигнал с фазовой модуляцией можно представить в следующем
виде:
(2.14)
25


Так как мгновенное значение частоты является производной
от фазы по времени
dr.p
(J) =d["•
то при фазо~ой модуляции оно может быть представлено в виде
df (t)
w(t)=Фо+cpom'f'--;[Г •
.
f
Таким образом, фазомодулированный сигнал эквивалентен си­
гналу с частотной модуляцией с модулирующей функцией d~?).
Для частного случая, когда модулирующий сигнал является
гармоническим, полная фаза фазомодулированного сигнала опре­
деляется- равенством
{jJ(t) = Фоf+cp0m'f' cos Qt+ср0,
(2.15) •
а фазомодулированное колебание опишется выражением
х(t)= А0sin[Ф0t+cp0m'f' cos Ш+ср0}.
(2.16)
Мгновенное зна~ение частоты фазомодулированного колебания
Ф(t) •d:/>= Ф0- 8cpQsinQt= Ф0- Фвsin Ш,
где Фв = 8cpQ- девиация частоты фазомодулированного-колебания.
Сравнение выражений (2.16) и (2.11) показывает, что при · гар-
. моническом
модулирующем сигнале выражение; описывающее час­
тотно-модулированное колебание, отличается от такого же для
фазомодулированного колебания только фазой гармонической функ­
ции, определяющей изменение полной фазы высокочастотного ко­
лебания. В связи с этим · по внешнему виду сигнала нельзя за­
ключить, как модулирован сигнал - по частоте или фазе.
Однако при изменении частоты модуляции Q проявляется раз­
личие между частотной и фазовой модуляциями.
При частотной модуляции величина девиации частоты Фв зави­
сит только от амплитуды модулирующего сигнала и не зависит
от частоты модуляции О. Величина же индекса ~ убывает с ростом
частоты Q.
•
При фазовой модуляции величина индекса модуляции опреде­
ыв
ляется выражением ~ = 0 - = 8ср, т. е. зависит только от ампли-
туды модулирующего сигнала и не зависит от частоты модуляции.
В общем случае спектр колебания, модулированного по фазе
одной частотой Q, выражается аналитически так же, как · и спектр
частотно-модулир6ва:нного сигнала с такой же частотой модуля­
ции Q.
Спектр фазомодулированного сигнала состоит из колебаний
с несущей частотой Ф 0 и бесконечного количества I!ерхних и ниж­
них боковых составляющих с частотами w0 ± kQ. • Амплитуды
26


боковых составляющих определяются только индексом модуляции ~ -
При_ очень малом значении индекса фазовой модуляции ~ спектр
фазомодулированного сигнала состоит _ из несущей частоты w0
и двух боковых частот w0 + Q и w0- Q. Ширина . спектра равна
2Q. При ~ » 1 практическая ширина спектра сигнала равна удво­
енной девиации частоты Лw = 2wв, но зависит как от амплитуды,
таi и от частоты модулирующего сигнала, в то время как при
частотной модуляции ширина спектра в данном случа~ зщшсит
только от амплитуды модулирую-
щего сигнала.
rff)
.
Практическая ширина спектра
частотно-модулированного и фа­
зомодулированного сигнала при-
мер~о в ~ раз шире спектра ампли­
тудно-модулированного сигнала
при такой же частоте моду­
ляции.
г) Периодическая последова­
t1rТ
t
Рис. 2.12
тельность прямоугольных импульсов длительностью. 't , амплитудой h,
с периодом следования Т (рис. 2; 12).
Функция х (t), описывающая такой сигнал, может быть пред­
ставлена следующим образом:
{hприt1<t<fi+'t;
x(t) =
·
Оприti+'t <t<f1+Т.
(2.17)
Функция х (t) может быть представлена рядом Фурье
(2.18)
2n
•
1
где w0 """ Т; Ak- комплексные амплитуды k-й гармоники; 2 А0 -
постоянная составляющая сигнала.
Ak = Ak ехр {jq>k }; A_k""" Ak ехр {-jq>k }.
Согласно (2.6) комплексная амплитуда
'
t~+т
Т
Ak = l· sх(t) ехр (',--jkwof} dt = ; s_h ехр{-jkwof}dt =
~
•
~
-т
.
kw0т.
т.h sш-2-
=2---
т kwoт.
·- 2-
(2.19)
27


Постоянная составляющая сигнала может бы ть полу ч е н а из
(2.19) при k=О
,:
2
;А0=~ihdt==~ •
,:
-т
Таким образом, разложение в . ряд~ Фурье периодической после­
довате~ьн·ости прямоугольных импульсов представляется · в виде
[
со • kro0't
]
•
.
rr:h ✓
~ stn2
х(t)=Т 1+2~
,
~ coskыof •
k=l •
2
(2.20)
Ах
,.
Ак
•vA(uJ)
'
А(йJ)
А1
1
А2 AJ
А,,~
-Ао
\
1
A.r
......
2
-Ао
As А';
2
-
о
\
Ag-
о
ClJol Jtuo
5Jf и)
uJo JcJo J4J"' 7uJo gйJ(J
(J}
C()g
у·
Рис. 2.13
Рис 2.1 4
Как видно из (2.1 9)~ при очередном приращении ~астаты на
2n
величину - фаза гармоник изменяется на величину п.
't
Спектр ампли!уд показан на рис. 2. 13, причем огибающая его
определяется уравнением
А(ы) 2~; [siiJ ·
(2.2 _1)
где m=== km0 - для k-й гармоники.
,
Форма огиб_ающей спектра амплитуд определяется видом функ-
l
. (J)'t ]
•
sш
2
ции
w1:
,
причем
2
•
(J)'t
sш-
2
{1)1:
2
где п-·
четное число ~
28
(J)'t
sin -
lim
2
W➔O
(J)'t
2
=·0при
-
1·
-
'
nJt
(!)=- ,
'С


т
Если длительность импульсов 't == 2
,т.
е. частота основной
2л: at
гармоники ro 0 = т = 7 , то комплексная амплитуда ..
1
2h
k
.
.
k при - нечетном;
Ak=
л;•
.
О при k - четном.
(2 .22)
Таким образом, в составе спектра сигнала будут только нечет­
ные составляющие.
Х (1)
h,(1'm, J ----
//,({-т.,)
о~L.....ft-tL.....f'--'-'- --"' -- -- -"'- -"- - -"'-- - -
t
Рис. 2.15
Рис. 2.16
Огибающая спектра амплитуд описывается уравнением
А(ro) = ~.
OJ't
Спектр амплитуд показан на рис. 2.14 .
д) Амплитудно-модулированная периодическая последователь­
ность импульсов (рис. 2.15) с длите,льностью импульсов 't и пе­
риодом следования Т.
• Амплитуда импульсов модулируется п_о rармо_ническому закону
h(t) = h0[1+mлsin(Qt+q,0J.
(2.23)
Подставив (2.23) в выражение (2.20) для немодулированной
периодической последовательности импульсов, получим выражение
для амплитудно-модулированной последовательности прямоуголь­
ных импульсов
х(1)~ ~•[1+ т,sin(QI+ ~,)][1+2! sl~ cos k~,1] . (2.24)
k=I
2
После определенных~ тригонометрических преобразований полу­
чим
[
""
.
kw 0t
stn-
(t)= tho 1+2-~
2
Х
Т
~ kwot
k=I
-2-


(2.25)
Сравнивая полученное выражение с разложением (2.20) для
периодической последова1ельности немодулированных импульсов,
видим, что в результате амплитудной модуляции импульсов
в спектре, кроме постоянной составляющей и составляющих с час-
J(t)
Рис .' 2.17
тотами, кратными основной
частоте w0 , появились состав­
ляющая с частотой модуляции
Q, а также по две боковые co-
t . ставляющие-нижняя kw 0 - Q
и верхняя kw0 +Q- около
каждой k-й гармоники основ­
ной частоты.
Спектр ампли'J:удно-модулированной последовательности импуль­
сов показан на рис. 2.16.
Появление боковых частот kщ 0 ± Q практически не сказывается
на ширине спектра сигнала, так как частота модуляции Q « щ 0 •
В связи с этим практическая ширина спектра амплитудно-модули­
рованной последовательности импульсов такая же, как и соответствую­
щей последовательности немодулироваН!j,ЫХ импульсов, т. е; опре­
деляется длительностью импульсов.
е) Фазомодулированная последовательность импульсов (рис. 2.17).
В случае использования фазоимпульсной модуляции (ФИМ)
передача сообщений осуществляется с помощью последовательности
импульсов постоянной амплитуды.
Разложение такого сигнала в ряд Фурь_е для случая, когда
модуляция осуществляется по гармоническому закону с частотой
Q, представляется в ви,р;е
~
00
~
+LLNkпCOS[(kw0- пQ)t+·kQ ;]+LLQknCOS Х
k-1 n=I
k~I n=I
(2.26)
эо


где 0 - наибольшее смещение импульсов относитеf!ЬНО тактовых
точек при модуляции
-м··2h0J(k0)•k
't•
k=kл о illo SIП illo2'
Nk~ =
2:~ Jп(kш00)sin (kш0+nQ) ; ;
Qkn ==
2:~ Jп(kш00)sin(kш0- пQ) ; ,
где JO (kш 00) -функция Бесселя нулевого пор_ядка; J п (kш 0 0) -
функция Бесселя п-го порядка.
В отличие от сигналов с амплитудно-импульсной модуляцией
в с11ектре сигнала с фазоимпульсной модуляцией около составляю­
щих основной частоты и кратных ей имеются не по две боковые
частоты, а по две дискретных полосы боковых гармоник с часто­
тами .kш0 ± пQ._ Однако практическая ширина спектра частот сигнала
при фазоимпульсной модуляции такая- же, как и при амплитудно­
импульсной модуляции.
Не приводя довольно сложных выражений разложения в ряд
Фурье последовательности прямоугольных импульсов с широтной
и частотной модуляцией, заметим, что при этих видах модуляции
практическая ширина спектра определяется в основном длитель­
ностью импульсов .
2. Непериодические сигналы
Всякий непериодический сигнал (рис. 2. 18) можно рассматри- .
вать как периодический, период изменения которого равен беско­
нечности. В связи с этим рассмотренный ранее спектральный
анализ периодических процессов может
быть обобщен и на непериодический X(t)
сигнал.
Рассмотрим, как будет изменяться
спектр периодического сигнала при
неограниченном увеличении периода
изменения сигнала.
При увеличении периода Т интер­
валы между смежными час10тами в
спектре сигнала и амплитуды спек::г-
Рис. 2.18
ральных составляющих уменьшаются и в пределе при Т - со ста­
новятся бесконечно малыми величинами. При этом ряд Фурье, отоб­
ражающий спектральное разложение периодического сигнала, пре­
образуется в интеграл Фурье, отображающий спектральное разло­
жение непериодического сигнала.
Комплексная форма интеграла Фурье имеет вид,
..
1s
.
х(t)= 2л sчш)ехр{jшt}dш,
(2.27)
31


где S (jw) = 1 S (jw) \ ехр { jcp (w) }- спектральная
плотность;
\S (jw) 1 = S (w)- амплитудно-частотная характеристика сигнала;
ер (w) - фазочастотная характеристика сигнала.
Выражение (2.27) называют формулой обратного преобразования
Фурье.
Представление непериодической функции интегралом Фурье воз­
можно при вьшолнении следующих условий:
1) функция х (t) удовлетворяет условиям Дирщле;
2) функция х (t) абсолютно интегрируема\ т. е.
00
S\х(t) 1dt < со.
Таким образом, спектр непериодического сигнала в отличие от
спектра периодического сигнала является сплошным и представ­
J(ш); 'f(1v}
и)
Рис. 2.19
ляет собой сумму бесконечного числа
гармонических составляющих с беско­
нечно малыми амплитудами.
Амплитуды гармонических состав­
ляющих, исходя из (2.27), могут быть
представлены в виде
dA = 21ns (jw) dw,
откуда . спектральная плотность будет
определяться выражением
S(jw) =2n::.
Спектральная плотность связана с _временной функцией сигнала
через прямое преобразование Фурье
00
S(jw)= S x(t)exp{-jwt)}dt.
(2.28)
Спектральная плотность, однозначно отображает непериодичес -
кий сигнал и удовлетворяет условиям (рис. 2.19):
1. !imS(w) =О.
2. Модуль спектральной плотности является четной, а аргумент­
нечетной функцией частоты, т. е.
S(w)=S(-w); cp(w)=-qJ(-w).
3. Сопоставление спектров периодических сигналов
и соответствующих непериодических сигналов
Рассмотрим периодический сигнал хп (t) с периодом изменения
'Т (рис. 2.20, а) и непериодический сигнал х (t) (рис. 2.20, б),
,который в интервале t1 , (t 1 + Т) совпадает с периодическим сигна-
1 Этим условиям удовлетворяет практически любой реальный сигнал.


лом, а вне этого инт.ервала равен нулю. Комплексная амплитуда
гармоник для разложения периодического сигнала и спектральная
плотность для разложения непериодического сигнала соответственно
1,+т
Ak = : i Хп(t)exp {-jkщt )dt;
,
t,
1,+т •
..
(2.29)
х (t) ехр {-jщt) dt = ,\ Хп (t) ехр {-jщi) dt.
t,
-
s(jщ)= s
(2.30)
Из сравнения выражений (2.29) и (2.30) можно заключить. что
для каждой частоты спектра периодического сигнала справедливы
равенства
'
2
.
Ak = ·,т S (Jkщ0);
Ak= \Ak1= : S(kщо);
Ао=\Ао\=: S(0).
(2.31) : •
Отсюда следует, что спектр непериодического сигнала, задан­
ного в интервале t1 < t < t1 + Т, с точностью до постоянного мно-
~,1~
1
iаi
1
1
l#)
lAi
rV
7
Rис. 2.20
Рис. 2.21
жителя совпадает с огибающей спектра периодического сигнала
в интервале t1 < t < t1 + Т описываемого функцией такого же вида,
что и непериодический сигнал (рис. 2.21).
Таким образом, . спектр непериодического _ сигнала может быть
определен по известному спектру соответствующего периодического
сигнала и, наоборот, спектр периодического сигнала может быть
найден по известному спектру соответствующего непериодического
сигнала.
1
'
4. Энергетическое толкование спектра сигнала
Рассмотри~ распределение мощности в спектре периодического
сигнала. Для этого предположим, что сигнал представляет собой
ток i (t), протекающий по резистору R (рис. 2.22) и описываемый
сложной периодической функцией времени с периодом изменения t.
2 6-371
33


Средняя мощность, выделяемая на резисторе R,
т
Рср= ; Si2(t)dt= r/2,
о
т
где /2 = ~· Si2(t)dt .:._ квадрат
действующего значения тока.
0
1
Представив ток i (t) рядом Фурье (2.4), получим следующее вы­
ражение для квадрата действующего значения тока :
Т
•
оо
[Т
/ 2 • ~S[;А0+~Akcos (kшot - (j)k)Гdt-: 4~ SA5dt+
О
k=I
О·
,
со1
Т
+ А; LSAkcos (~шоt - (j)k) dt + i, L5AiA1cos (iш0t =-- (j)i ) Х
k=I О
t=O О
lФL
Следовательно, средняя мощность
R
Рис. 2. 22
..
Рср=,(~0)
2
+;~Af.
_ (2.32)
k=l
Таким .образом, средняя мощность, выделяе- •
мая сложным периодическим током в резисторе,
равна сумме средних мощностей, выделяемых
в этом резисторе отдельными гармониками тока
и •его постоянной составляющей.
Рассмотрим теперь распределение энергии в спектре . непериоди­
ческого сигнала.
Энергия, выделяемая сигналом в резисторе ;з один Ом, опреде­
ляется выражением
.
..
W= I[х(t)]2dt.
(2 .33)
Если функция х (t) описывает непериодический ток, то формула
(2.33) определяет энергию, выделяt'мую током в резисторе
в один Ом.
Для определен~я распределения энергии по спектру не.периоди­
ческого сигнала выразим энергию W через . модуль спектральной
плотности сигнала S (ш) [1О] .
34


Квадрат модуля спектральной плотности можно представить
в виде.
[S (ш)] 2 = S (jш)S (-jш),
где S (--:iш) - комплексно-сопряженная функция для спектральной
плотности S (jш ).
Согласно (2.28)
..
S(-fш) = f х(t)ехр(/шt}dt.
ц)
Рис. 2.23
Рис. 2.24
Интеграл от квадрата модуля спектральной . плотно_сти
..
..
S [S(ш)] 2 dш- S S(fш)S(-fш)dш=
..
..
=
SS(fш)Sх(t)ехр{Jшt}dtdш.
(2 .34)
Изменив - в (2.34) порядок интегрирования, получим
м
~
~
-
~
S [S(ш-)] 2 dш= S x(t)[ S S(jш)exp{Jшt}dш]dt=2n S [x(t)J2 dt.
Таким образом, энергия сигнала
..
..
W= j [x(t}]2 dt= 2
1n j [S(ш)]2 dш • ~j[S(ш)]2dш. (2.35)
-оо •
о
- Выражение (2 .35), получившее название равенства Парсеваля ,
показывает, что энергия сигнала может быtь представлена в виде
1'
суммы бесконечно ма-:1 ых слагаемых п [S (ш) ]2 dш , соответствую-
щих , бесконечно малым участкам частотного спектра (рис . 2.23) .
Выражение _! __ [S (ш)]2 представляет собой энергию, содержащуюся
n
-
в спектральных составляющих сигнала, расположенных в полосе
частот d(j) в окрестности частоты (J) ,
2*
35


Таким образом, квадрат модуля спектральной плотности харак­
теризует распределение по спектру энергии сигнала .
Если задана энергия сигнала ЛW в определенной полосе час­
тот Л(J) в окрестности частоты (J)J, (рис. 2.24), то модуль спектраль­
ной плотности в точке (J)k может быть найден из приближенного
равенства
5. Практическая ширина спектра сигнала
Каждый реальный сигнал имеет конечную длительность и,
следовательно, обладает бесконечным частотным спектром. Прак­
тически все каналы- связи имеют ограниченную полqсу пропускания.
Следова1ельно, при передаче сигнала через реальный канал связи
может быть передана лишь часть его частотного спектра. П9этому
приходится заботиться о том, чтобы обеспечить пропускание через
канал связи наиболее существенной части спектра. В связи с этим
введено понятие практической ширины спектра сигнала.
За практическую ширину спектра сигнала принимают диапазон
час тот, в пределах которого находите я наиболее существенная
часть спектра сигнала. Выбор практической ширины спектра
сигнала определяется двумя критериями: энергетическим критерием
и критерием допустимых искажений формы сигнала .
1 'fflj Н
~.r
оr
2
2
Рис. 2.25
f
sм~=-
о
Z;r
!щ
8JГ
w
r
т
т
Рис. 2.26
С энергетической точки зрения практическая ш'ирина спектра
периодического сигнала определяется как область частот, в преде­
лах которой сосредоточена подавляющая часть всей энергии си­
гнала. Можно, например , показать (см . 2.3, пример 2.1), что для
периодичесrюй последовательн ости импульсоп прямоугольной формы
т
длительностью 't = 2 достаточно практиче_скую ширину спектра
выбрать равной 5(J) 0 = 10; = 5 : . В этой области частот со­
средоточено 96 % всей моiцности сигнала.
В качестве примера рассмотрим одиночный прямоугольный им­
пульс длительностью 't и величиной h (рис . 2.25). Спектральная
36


плотность такого сигнала определяетая выражением
~
00
2
S (iш) ~ix (t) ехр r'-jшl} dt- Shexp
•
W't
sш-
{-jwt)dt= 'th- 2
-
ws:
2
(2.36)
и представлена на рис. 2. 26.
В соответствии с формулой (2.35), энерги~ сигнала, сосредото­
ченная в полосе частот от О до w1,
1
2h2
SIП 2
Sw,
•
iw,[. w,: ·j2
W 1 =n [S(w)]2dw=1⁄2-
• ~'t
dw.
о
о
Относительная величина энергии одиночного импульса, со­
средоточенная в полосе частот от О до . w1, выражается функцией
J00
'_[
.
w,:]2
.W-
't
SIП2
л(w1)=w:= n • ;'t
dw,
о
(2.37)
где W 0= 'th 2 -полная энергия одиночного прямоугольного им­
пульса.
График функции л ( w1), называе- ii(w)
мый интегральной кривой распределе- ltJO
ния энергии сигнала в спектре, пока- 8IJ
зан на рис. 2.27 !10, 11]. Как видно 00
из этого рисунка, в полосе частот от
'
2:rc
О до w1 = - сосредоточено более 90 %
't
всей энергии сигнала и данный диа­
пазон частот может быть взят в каче­
стве практической ширины спектра
одиночного прямоугольного импульса.
При этом дальнейшее увеличение прак -
40
й1
Рис. 2.27
тической ширины спектра ведет к незначительному увеличению
энергии в данном диапазоне
л (w1) довольно пологая ~
2л
частот, так как при w1 > 7 кривая
Аналогично опре,це.пяется практическая ширина спектра непе­
риодических сигналоi3 тобой другой формы.
В тех с.1учаях, когда важно сохранить требуемую форму сиг­
нала, пощ,эуютс.я вторым критерием выбора практической ширины
спектра сигнала .
37


Известно, что неискаженная передача формы сигнала будет
обеспечена при услов_ии, что комплексный коэффициент передачи _
канала связи имеет вид
К(jш)=Кехр(-jшТ0),
(2.38)
т. е. амплитудная и фазовая характеристики канала должны из­
меняться по закону
К (ш) =К= const; ер ~ш) = шТ0.
Передача сигналов по реальному каналу, обладающему ограни­
ченной полосой пропускания, сопровождается искажением формы
К(ш)
1(1------
о
t
Рис. 2.28
Рис. 2.29
сигналов. На практике важное значение имеет обеспечение доста­
точно высокого значения крутизны или допустимого значения дли-
тельности фронта импульсов.
_
Для оценки влияния ширины полосы пропускания канала связи
на искажение формы прямоугольных видеоимпульсов рассмотрим
искажения ступенчатой функции авх = И 1 (t), где 1(t) - единичная
ступенчатая функция (р_ис. 2.28) при прохождении через канал связи,
предст&вляющий собой идеальный фильтр низких частот. Коэффи­
циент передачи этого фильтра выражается зависимостью (2.38),
при этом в диапазоне частот О< ш ,<ш 8 модуль коэффициента
передачи K(ro)=K=const и аргумент cp(ro)= roT 0 [ll, 12]; вне
этого диапазона К (ш) = О (рис. 2.29).
Спектральная плотность сигнала включения (см. пример 2.6)
определяется выражением
и
Sвх (Jш) = /ю.
То.rда спектральная плотность выходного сигнала
Sвых (jш) = Sвх (jш) К (ш) = ИК (ш) ехр {--:iЧJ (ю)} .
/Ю
Использовав преобразование Фурье, получим выражение для
выходного сигнала
авых (t) = 2~ i Sщ,1х (jш) ехр {jшt) dш =
38


ИК(w) 5
=2п
где
"'в
ехр{j~(t - Т0)}dщ =ИК[..!..+ _!_5sin wt' dщ]
JW
2
'Л
W•
'
'
о
(2.39)
t' = t-Т0•
Интеr-ральный синус в выражении (2.39) является известной
табличной функцией. Форма выходно_rо сигнала, задержанного от­
носительно входного на Т0, изображена · на (рис. 2.30). •
Фронт сигнала искажен и имеет сложный вид. В таких случаях
рассматривают максимальное значе-
ние крутизны фронта, среднюю 0выit)
. Ка8х
крутизну фронта и активную дли- -r-4- - -~ -- + ~r;:;::i...
тельность фронта.
Крутизна выходного сигнала
"'в
dавых И.К 5 t'd
сiГ.= -
eos~ щ=
о
ИК sin wt'
nt'
То
Рис. 2.30
Наибольшее значение крутизны фронта достигается в момент
(= T0(t' = О) и равно
(dавых) _ 1• ИКsin w8f' _
2UKf_2U.f
-dt
-
im
t'
-
в- выхв•
МЗ!{С t' - +0
'Л
Активной длительностью фронта сигнала tФ . а считается про­
межуток времени, в течение которого сигнал изменяется от О, 1
до 0,9 установившегося значения. Средняя крутизна фронта на
этом промежутке времени близка к максимальной крутизне. Тогда
активная длительность фронта выходного сигнала
(2.40)
Полученная форма выходного сигнала, вообще говоря, является не­
реальной, так как выходной сигнал появляется при t < О, т. е . до
начала поступления входного сиrн·ала. Такой результат получен
потому, что была принята физически неосуществимая модель ка­
нала связи, так как спектральная функция с ограниченным спект­
ром может соответствовать только функции времени, существую-
.
щей в интервале - = < t < =. Однакu с точки зрения характе ­
ристики фррнта импульсов полученный результат достаточно
близко отражает истинную форму импульса.
На ' основании изложенного нетрудно определить искажение
формы прямоугольного видеоимпульса длительности 't .
Такой


импульс может быть представлен как наложение ступенчатБiх функ­
ций противоположного знака и смещенных на промежуток времени 't
(рис. 2.31).
•
Аналитическое выражение для выходного сигнала может быть
получено путем вычитания из функции .(2.39) точно такой' же
функции, смещенной на промежуток времени 't
ООВ
roB
авых(t) = ИК{s si:wt' d(J) -
, s sin [w (:- .'t)] d(J)}. ~
о
о
Очевидно, что формы переднего и заднего фронтов импульса
будут одинаковы. Чтобы входной СJ-!гнал смог достичь наибольшего
значения, длительность импульса 't должна быть примерно равна
времени нарастания tФ. а, т. е.
.
0,4
f 0,4
,'t~( илив~7.
в
.
(2.41)
Выражени.е (2.41) можно и.спользовать для выбора практической
'ширины спектра прямоугольного импульса при заданной его дли­
тельности.
Практическая ширина спектра модулированных по амплитуде
гармонических сигналов определяется законом изменения модули~
,r(t)
-
__r__
t
t
t
Рис. 2.31
К/Р
о
·к,"'
г--
1
1
Лu.1
1
2
1'-,
'
о
lfзм(4J}
о
Рис. 2.32
((J)) '
.
.
r,J
рующей функции и занимает определенную полосу частот в интер­
вале шн < (J) < (J)в, посредине которого расположена несущая час­
тота (J)o, В связи с этим для оценки влияния ограни.ченности полосы
пропускания канала на искажение формы таких сигналов целесо­
образно канал связи рассматривать как идеальный полосовой фильтр
с амплитудно-частотной и фазочастотной характеристиками, пред­
ставленными на рис. 2.32, а.
40


Если фильтр имеет такие характеристики, а период колебания
несущей частоты t 0 = 2:n: « -с, то для оценки искажения формы си-
.
(J)o
гналов целесообразно воспользоваться теоремой об огибающей.
Сагласно этой теореме, спектральная плотность огибающей сигнала
на выходе полосового фильтра с коэффициентом передачи К (jw)
равна произведению спектральной плотности огибающей входного
сигнала и коэффициента передачи эквивалентного фильтра
Кэкв(jw) =К(i(wo +w)].
Так как физически существующими являются только положи­
тельные частоты, то эквивалентный полосовой фильтр действует как .
фильтр низких частот, харак:геристики которого на рис. 2.32, 6 .
обозначены сплошными линиями. Следовательно, если, например,
на вход фильтра поступает радиоимпульс прямоуго,1rьной формы, то
огибающая выходного радиоимпульса будет иметь такую же форму,
как и видеоимпу лье прямоугольной формы такой же длительности
после прьхождения через фильтр низких частот с полосой пропу-
(J)в - (J)н
сканияЛw= - 2
-, при этом время нарастания выходного радио-
импульса
(2.42)
Аналогичным способом могут быть оценены искажения каналами
связи сигналов с другими видами модуляции.
2.3 . Переход от преобразования Фурье
к преобразованию Лапласа
При преобразованиях Лапласа временной функции •х (t) (ориги­
налу) соответствует некоторая определенная функция х (р) (изобра­
жение) комплексного переменного р =а+ jw. Связь между изобра­
жением и его оригиналом выражается зависимостью
..
х(р)= i х(t)ехр{-pt} dt.
-"'
Обратное преобразование определяется выражением
a+Joo
1
!s
х(t) == ~
2.
х(р) ехр {pt} dp.
.
:n:J
cr.: ... j оо
(2.43)
(2.44)
Преобразованию Лапласа удовлетворяют функции х (t) при усло­
!З ИИ, что она непрерывна ил:и имеет в л:юбом н;онечном интервале
4\


конечное число разрывов 1-го рода. Кроме того, интеграл (2.43)
должен быть сходящимся; для этого· достаточно, чтобы
1х(t) 1< Мехр{-~t},
где М и ~ - любые положительные числе!. Перечисленным требо­
ваниям удовлетворяют практически все реальные процессы.
Если сравнить выражение (2.43) для изображения х (р) с выра­
жением (2.28) для спектральной плотнG>сти, то можно увидеть, что
с_пектральная плотность S (jш) получается из изображения х (р)
заменой оператора р =а+ joo на joo . При этом нужно иметь в виду,
что зам~на р = jщ возможна лишь тогда, когда преобразование
Лапласа не с.одержит полюсов, лежащих на мнимой оси и справа
от нее. Следовательно, все соотношения спектрального метода можно
получить из соответствующих соотношений операторного метода ·
путем преобразования координат в плоскости комплексного пере-
менного - оператора р = а+ joo.
•
.Однако преобразование Фурье возможно только для ограничен­
ного класса функций, удовлетворяющих требованию абсолютной
..
сходимости _интеграла I I х (t) 1 dt.
'
--- 00
Вместе с тем спектральный метод, несмотря на имеющиеся огра­
ничения, нашел весьма широкое практическое применение. Хотя
форма решения, полученная спектральным методом, оказывается
иногда неудобной, так как решение · имеет вид бесконечной суммы .
гармонических составляющих, синтез которой затруднителен или даже
в_рвсе не приводит к известным функциям, метод весьма удобен тем,
что позвоJЩет свести рассмотрение сложньrх процессов к хорошо
знакомым элементарным процессам - гармоническим колебаниям.
2.4 . Примеры
Пример 2. 1 . Определить практическую ширину спектра периоди­
ческой последовательности прямоугольных импульсов при ширине
.
т
.
'
импульсов 't , равной 2 , если требуется учесть все гармонические
составляющие сигнала, амплитуды которых более 0,2 от амплитуды
первой гармоники.
Из выражения (2.22) видно, что число гармоник п, подлежащих
учету, может быть получено из выражения
Ап 2hn
1
•
А-=-----м--2 =-=0,2
r nn :.:п
п
'
откуда п =- 5.
5n
Таким образом, практическая ширина спектра равна 5оо 0 = -
.
~
't
Определим, какая часть мощности сигнала сосредоточена в пре­
делах практической ширины спектра.
42


В пределах практической ширины спектра размещаются первая,
тре-тья и пятая гармоники и постоянная составляющая. Следова­
тельно, мощность сигнала, приходящаяся на практическую ширину
спектr,а
р=h2 +_!___(2h)2+_!___(2h)2+_!_(2h\2~048h2.
п4
•
21t
2Зл
2 5л}
'
Полная мощность сигн11ла
Ро= h2r1+ :2(1+ •~2 -
-
+5\+ ;2+ ••·)]=
-
h2[_!___+~л2]=О5h2 .
-
4 л28
'
•
Таким образом, в пределах практической ширины спектра сосре­
доточено 96 % всей мощности сигнала.
Пример 2.2 . •Найти спектр последовательности косинусоидаль­
ных импульсов (рис. 2.33).
Функция х (t), описывающая данный сигнал, может быть пред­
ставлена следующим образом:
1
.hcosш0tпри- ;<t<;;
х(t) =
З't
't
't
З't
О.
при-2<t<-2и2<t<2;
2л
Wo= Т;Т=2't.
П\
'
•А
А'; ....
А .(\
1Ао
.
2
А5 ....
2
А8'
•-rrот
о 2ш0 LJr,;0 бr,;0 8(,)0
(,)
-2
z
Рис. 2.33
Рис. 2.34
Комплексная амплитуда сигнала, согласно (2 .6) ,
'
2
Ak = Jihcos w0tехр{-jkw0t)dt =
'
1-2
'
2
= 2; Jехр (jw 0t) 1;ехр {-' -jw0t} ехр {-jkwot) dt =
'
-т
43


~
2
ехр{-'--j(k - 1)ш0t)dt + Jехр{-j(/г+ 1) w0t} dt] =
Так как
1cos k~o't 1-,1cos k2л: \· = { 1 при kk четном,
.
О при нечетном,
то спектр сигнала содержит только четные гармоники, при этом
комплексная амплитуда
А
-2h
k=:п(k2- 1)•
Модуль компле!}сной амплитуды
А_ 2h
k- n(k2- 1).
График спектра амплитуд изображен· на рис. 2.34.
Пример 2.3 . Найти спектр одиночного прямоугольного импульса
ве.l]ичиной h и длительностью -с (рис. 2.25) по известному спектру
периодической последовательности таких же импульсов, следующих
•
2л:
счастотои w0= т.
Пользуясь связью между спектром непериодического сигнала
и спектром соответствующего периодического сигнала, получим еле- .
дующее выражение для спектральной плотности прямоугольного
импульса
т'
S(jw)= 2 A(w),
где А (w) - огибающая спектра периодической последовательности
импульсов .
44
Используя выражение (2.21), получим
•
(J)'t
sш-
s(jro) =h-c--
2•
(J)'t
2
(2.45)


Отсюда модуль спектральной плотности
.
(t)'t
S!П2
S(ro)=h-c
W't
(2.46)
2
График модуля спектральной плотности показан I-!a рис. 2.26.
Пример 2.4 . Найти спектр одиночного импульса высокочастот­
ных колебаний (рис. 2.35).
X(f)
ft
Рис. 2.35
Рис. 2.36 ,
Функция х (t), описывающая данный сигнал, может быть пред­
ставлена в виде
(
hcosw0tпри-;<t<.;;
x(t) =.:i
о
't
t
't
при 2< <-.2·
Спектральная плотность такого сигнала равна
~
.
т
S (jw) = SХ (t) ехр {-jwt} dt., .. S hcos w0texp {-Jwt} dt =
•
•
2
2
= ~ Sexp(j(w 6 -w)t}dt+{ S exp{-J(w 0 -w)t}dt=
•
•
""'Т
""'·2
h [ехр fi((t)~ -
(t)) ; }- ехр{-i ((1)0 - (t)) ; }
=2
• i(w0 -(t))
+
е~р{-j(w0+ w) ; }-ехр{i(oo0+(t)) ; }]
+
'(+)
=
/ ООО
00
45


h
•(
·)'t:+h
•(
+·)'t:
=
(---) SШ Wo -
w-2 (+)sшWo
w-2=
"'о-"' -
"'о "'
•
• ((!)о- w)'t:
·
((!)о+ (1)) 't:
h't: sш 2
h't: sш 2
= 2 ((!)о- (1))'t:
+2 (wo+ w)'t:
•
(2.47)
2
2
Из сравнения полученного выражения с выражением (2.46) для
спектра одищ)чного импульса такой же 4лительности и величины h,
но без высокочастотного заполнени~, видно, что по отношению
к спектру прямоугольного импульса спектр 1:fМПульса высокочастот­
ных колебаний смещен ' на величину несущей w0 и расширен в два
раза за счет появления зеркального отображения спектра.
График модуля спектральной плотности одиночного импульса
высокочастотных колебаний показан на рис. 2.36.
Пример 2.5 . Определить спектр экспоненциального импульса .
(рис. 2.37).
Экспоненциальный импульс определяется функцией
{hехр{-~t) при t>О;
x(t) -
-
О.·
приt<О.
. Спектральная
плотн·ость такого •сигнала
S(jw) =5hехр{-~t)ехр{-jwt)dt = ~~jw.
о
(l
Рис. 2.37
и)
lf(r,;}
JТ
2
Рис. 2.38
_
(2.48)
(2.49)
о
{tJ )
Модуль и фаза спектральной
ственно выражениями
плотности определяются соответ-
h
S(w)- - =-·
-v ~2+w2 '
ер(w) = arctg ; .
(2.50)
На рис. - 2.38, а и 6 приведены графики модуля и фазы спект­
ральной плотности экспоненциального импульса.
Пример 2.6 . Определить спектр сигнала включения (рис. 2.28).
Сигнал включения определяется функцией
•
{hприt>О;
х(t)=hl(t)= О
tО
при<.
(2.51)
46


Единичная функция 1 (t) не удовлетворяет условию абсолютной
интегрируемости и, следовательно, к ней нельзя применить преобра­
зование Фурье. Однако ее можно рассматривать как образованную
из импульса экспоненциальной формы ·(р-ис. 2.37) при-- неограни­
ченном уменьшении его коэффициента затухания ~ -+ О.
В соответствии с этим • спектральная плотность сигнала вклю-
чения будет равна
S(.) 1.
h
1
Jill = IШ-,- -
.
=-,- =
_
~-о~+Jro
1"'
= ~ exp{-i ;}, _(2.52)
откуда модуль и фаза спектраль­
ной плотности определяются вы­
ражениями
S(ш)=_!_;(J)
а
(JJ
о
Рис. ·. 2.39
(2.53) -
Спектры амплитуд . и фаз сигнала включения •приведены на
рис. 2.39, а и 6.
Пример 2.7 . Найти спектр дельта-функции.
Дельта-функцию можно трактовать как предел прямоугольного
.
l.
импульса длительности 't и амплитуды -;; - , получаемый
при 't-+ О
(рис. 2.40).
X(f)
--
r
t
Рис. 2.40
Рис. 2.41
Тогда, исходя _из (2.45), приняв амплитуду импульса равной
1
h=-
получим
't,
[
• (J)'t]
.
sш-
Sa(jш)=Iim ro't2 =1.
~➔о
-
2
(2.54)
График спектральной плотности дельта-функции показан на
рис. 2.41 . ·
47


КОНТРОЛЬНЫЕ ВОПРОСЫ
1. Какие детер м инированные сигналы относятся к элементарным сигналам?
2. Какие спо с обы представления моделей сигналов Вам изв естны ?
3. В ч ем за ключаются преимущества частотного метод а пр едставл е ни я
сигналов?
•4. При каких условиях периодическая функция может быт ь предста влена
rядом Фурье?
5 . Что понимается под спектром амплитуд и спектром фаз?
6. Каковы характерные особенности спектра периодическог о си гнала?
7. При каких условиях непериодическая функция может б ыть пр едставлена
интегралом Фурье?
.
'
,
.
8. Каковы свойства спектральной плотности сигнала?
9, Каким образом можно получить спектр непериодическог о сигнала непо­
средственно из спектра соответствующего периодического сиг нала?
10 . Как можно энергетически истолковать · спектр периодического и непе-
риодическ_о г о сигналов?
•
11. Что понимается под практической шириной спектра периоди ческого
и непериодического сигналов. Какие известны критерии выбо р а прак тической
ширины спектра сигнала?
•
.
• 12. Сравните преобразование Фурье с преобразованием Л а плас а.
13 . Сравните ширины спектров амплитудно-модулирова нного, частотно-мо­
дулированного и фазомодулированного гармонических сигна ло в .
14. Чем определяется практическая ширина спектра периодиче ск ой после­
довательности прямоугол·ьных импульсов при условии, если дли т ел ь но с ть им­
пульсов бол ьше половины периода следования имп ул ьсов?
15. Как можно получить спектр импульса высокочастотн ых колебаний из
спектра импульса , форма которого соответствует огибающей амплит уд и м пульса
высокочастотных 1юлебаний?
16 . Как выглядит спектр экспоненциа л ьного и мпульса , сигна ла вкл ючения
и дельта-функции?
Глава III
МАТЕМАТИЧЕСl(ИЕ МОДЕЛИ СЛУЧАЙ НЫХ СИГНАЛОВ
3. t: Слу~а й ные сигналы и их вероятностные характеристики
Как уже отмечалось, в реальных условиях все сигналы имеют слу­
чайный характер. Вследствие этого получателю заранее неизвестно,
каким будет пер едаваемый сигнал .
Однако нельзя также утверждать, что приемная сторона не рас­
полагает абсолютно никакими предварительными (априорными) дан­
ными о. сигналах. Во-первых, предварительно обычно известно все
множество , весь ансамбль возможных сигналов. Во-вторых , имеются,
как правило , сведения об ожидаемой вероятности тех или иных
сигналов из обще го ансамбля сигналов. Например, при передаче
текста речи известно, какие буквы используются при пер едаче,
какие буквы, сочетания букв и сочетания слов должны переда-
ваться чаще и какие реже .
.
1
Таким образом, предварительные сведения, которы ми мы распо-
лагае м о сигналах, носят статистический характер. Поэтому' для иссле-
48


дования прохождения сигналов через информационные системы
следует применять статистич еские методы.
Целесообразность применения стат~стических методов обуслов­
лена еще и тем, что на сигнал воздействуют помехи, представля­
ющие, как •правило, неизвестную функцию времени . Основным
содержанием задачи приема сигналов на фоне помех является наибо­
лее полное извлечение информации из сигнала. Успешного реше­
ния этой задачи можно достичь только на основе использования
статистических методов приема.
Наконец, целесообразность использования статистических мето­
дов вызвана еще и тем, •что характеристики систем, по которым
проходят сигналы, под влиянием разнообразных внешних и внут­
ренних факторов могут изменяться случайным образом.
,Y(t}
MkчJ
~1dX1
х,{1)
X,(t}
,r,
l;(t!
1
X;(t)
1
1.
о
t,
f2
t.
Рис. 3.1
Рис. 3.2
Процесс, описанием которого является случайная функция вре­
мени, называется случайным процессом. Иногда вместо термина
«Случайный процесс» применяют в том же смысле термины «Сто­
хастический процесс» или «Вероятностный процесс».
Конкретный вид, принимаемый случайным процессом в резуль­
тате опыта, называется реализацией процесса. Отдельные наблюде­
ния над случайным процессом, протекающим в однотипных системах
. при
одинаковых условиях опыта, дадут различные реализации слу­
чайного процесса х1 (t), х2 (t), ... , xk (t) (рис. 3.1). Вид функции
х~ (t) случайным образом меняется от одного опыта к другьму.
Совокупность реализаций случайного процесса, полученных в резуль­
тате опытов, называется . ансамблем реализаций случайного про­
цесса х (t).
Величина k-й реализации случайного процесса в определенный
момент времени (например, t = t1) называется выборкой случайного
процесса xk (t1). Совокупность значений выборок в определенный мо­
мент вр!:мени (например, t = t1) образует случайную величину х (t1).
Вероятность того, что в определенный мом.ент времени t = t1
-
величина х находится в интервале между х1 и х1 + dx,
Р(Xi<;х(t1)<Xi+dx]= W1(х, t1)dx,
(3.1)
где w (х, ti) - одномерная плотность вероятности или одномерная
функция распределения случайного процесса х (t).
49


Плотность вероятности w1 (х, t1) есть в общем случае функция
времени, так как зависит от t1, является частной производной от
интегральной функции распределения Fi (х, t1) =Р (Xi < х)
.(•t)_дFi(х,t1)
W1Х,I-
дх•
На рис . 3.2 приведен график наиболее часто встречающегося
на практике нормального закона распределения плотности вероят­
но_сти случайной величины х в определенный момент времени t1.
Математическое описание этого закона имеет вид
1
{ [х(t1)- а]2}
W1 (х, t1) = v-ехр
-
22
,
.
2:rю2
а
(3.2)
где а и а - математическое ожидание и среднеквадратическое от­
клонение случайной величины х.
Заштрихованная на рис. 3.2. площадь под кривой распределе­
ния равна вероятности нахождения х в интервале между Xi и х1 +
+л~
.
.
.
. х,+дх,
Р[х1<х (t1) < Xi +Лх1] = V;na2 J ехр{-[х (t1t;а]2}dx. (3.3)
х,
При любом законе распределения плотности вероятности спра­
ведливо равенство
..
IWi (х, х1)dx = I.
(3,4)
Одномерный закон распределения плотности вероятностей
является простейшей статистической характеристикой случайного
процесса. Он дает представление о процессе лищь в отдельные,
фиксированные моменты времени; характеризует процесс статически
и не дает представления о динамике его развития. .
Для более полной характеристики случайного процесса необ­
ходимо знать . связь между вероятными значениями случайной функ­
ции при двух произвольных моментах времени t1 и t2• Эта связь
выражается через двумерную плотность вероятности и формули- _
руется следующим образом: вероятность нахождения любой из
функций Xk (t), ВХОДЯЩИХ · в совокупность функций х (t), в интер­
вале (х1, х1+dx1) в момент времени· t1 и·в интервале (х2, х2+
+ dx2) в момент времени t2
Р(Xi<x(ti)<xi+dxii Х2<х((а)<Х2+dx2J=
= W2 (х1, t1; Х2, t2) dx1 dx2,
(3 .5)
где w2(х1 , t1 , х2 , t 2) - двумерная плотность вероятности или дву­
мерная функция распределения случайного процесса х (t).
50


На рис. 3.3. приведена поверхность двумерного нормального
$акона "распределения плотности вероятности для случайных величин
с нулевым средним значением в 1v~оменты времени t1, t2.
-
. Рассуждая
аналогичным образом, можно ввести понятие о трех­
мерной w3 (х1, t1; •х2, t2; х3, t3), а также о п-мерной Wn (х1, t1; Х2,
t2 ; х3 , t3 ; .•• ; Хп, tп) плотностях вероятности случайного процесса
х (t). Тогда вероятность сложного события, заключающегося в том,
что в момент времени t1 функция х (t) находится . в интервале (х1,
х1+dx1
), в момент времени 1 2 ·- функция х (t) находится в интер­
вале (х2, х2 + dx2) и т. д., в момент· времени tn находится в интер­
вале (хт х+dхп) и т. д.,
Р[х1<х(t1) <х1+dx1 ;
Х2<х(t1)<Х2+dx2; ...;·.
Хп<ХUn)<Хп·+dхп]== Wn(x1t1;
X2f2~
•_•• ; Хпtп)dx1, dx2, ~ •• ,
d.хп·· (3.6)
Чем больше число п, тем точнее п-мер-
ная функция распреде~[Iения характеризует
-- --
X(t2
)
статистические свойства случайного про-
цесса. Однако п-мерные функции распре-
Рис. ✓3.3
деления моFут быть · получе·ны с ·помо"
щью довольно сложной и трудоемкой обработки множества реали­
заций . случайного процесса. При пользовании п-мерными функ­
циями распределения встречаются существенные математические
трудности. Поэтому на практике чаще всего оп~рируют конечным
числом числовых характеристик, которые дают безусловно менее
полную характеристику случайного процесса, но достаточны для
. решения · ряда
важных задач и, кроме того, могут быть получены
путем сравнительно простой обработки реализации случайного про­
цесса.
3.2. Числов.ьiе .характеристики случай~ого процесса
Простейшими моментными функциями, в основном ис~ользуе­
мыми для характеристики ·случайных процессов, являются моменты.
распределения первых двух порядков: математическое ожидание,
дисперсия и корреляционная функция случайного процесса.
-
Математическое ожидание (или первый момент одномерного
закон.а распределения) - выражается формулой
•
00
а[х(t~H = т1[х(ti)]= f xw1 (х, t1 ) dx.•
(3.7)
~
-00
Физи~е~ки математическое ожидание В!:>Iражает среднее значение
совокупносrи выборок случайного процесса (случайной величины
х (t1)) в оnределенный момент времени t1
.
51


Дисперсия (или второй центральный момент одномерного закона
распределения) - это матем атическое ожидание квадрата отклоне~
ния величин х (t1) от математич еско го ожидания в определенный
момент времени t1 , опр едел я емое выражением
00
= J {x1-a[x(t1)]} 2 w~(x, t1)dx.
(3.8)
~00
Дисперсия выражает меру разброса значений случайной вели­
чины х (t1) около математического ожидания, иными словами -
«степень случайности» величины х (t1).
Корень квадратный из дисперсии принято называть среднеквад­
ратическим отклонением случайной величины.
Аналогично можно найти среднее значение квадрата случайной
величины х U1)
00
cr2 [х (t1)] = m1(х2 (t1)} =:J x~w1 (х, t1) dx.
(3.9)
'
r,,,- ею
Положительный корень cr fх (t1)1 из этой величины аазывается
среднеквадратическим значением х (t1).
Из (3.8) можно установить следующую зависимость между дис­
персией и среднеквадратическим значением случайной величины
D(x(t1)J- f {x 2 ~2xa(x(t1)J+a2 [x(t1)]}w1(x, t1)dx--:-
...,,.
-
Sx2w1 (x, t1)dx-2a(x(t1H f xw1 (x, i1)·dx+
~~
~~
00
+а2[х(t1)] JW1 (х, t1)dx. ,
-оо
00
С учетом того, что Jw1 (х, t1) dx = 1, можно . ~:олучить
-оо
(3.10)
т. е. дисперсия равна разности квадратов среднеквадратического
значения и математического ожидания.
При а = О дисперсии D fx (t1)] совпадают с квадратом средне,
квадратического значения cr2 [х (t1)] случайной величины х (t1).
Математическое ожидание, дисперсия и среднеквадратическое
значение случайной величины являются в общем случае функцией
52


времени. Они приближенно характеризуют поведение случайного
процесса в отдельные моменты времени, но совершенно не затра- .
гиваrот связь между значениями случайного процесса в различные
моменты времени. Эту связь выражает корреляционная функция
Кхх (t1 , t 2), определяемая как среднее значение произведения зн·а­
чений случайной функции х (t) в моменты времени t1 и t2
•Связь между значениями двух случайных процессов х (t1) и у (t2)
в моменты времени t1 и t 2 соответственно выражает взаимная кор­
реляционная функция Кху (t1; f 2 ), определяемая как среднее значе­
ние произведения х (t1) у (f2)
Кху (t1, f2) = т1 [х U1) у (f2)J = f f X1Y2W2 (х01, f1; Y2,f2) dx1 dx2,
-
00- 00
(3.12)
Иногда рассматривают нормированную автокорреляционную rxx
и взаимную корреляционную r ху функции (ко§)ффициенты корреля­
ции), определяемые выражениями
(3.13)
(3.14)
Нормированные корреляционные функции удобны тем, что они
не превосходят единиiщ по абсолютной величине.
_
Математическое ожидание, дисперсия, квадрат среднеквадрати­
ческого значения и к9рреляционная функция, определяемые выра­
жениями (3 .7), (3.8) и (3.11), получены путем осреднения по мно­
жеству реализаций случайного процесса для фиксированных момен­
тов времени. Осредненные характеристики могут быть также полу­
чены путем обработки одной из реализаций случайного процесса
на достаточно большом интервале времени.
Среднее по времени значение случайного процесса определяется
- выр ажени ем
т
х= lim iJ, Sxi(t) dt,
Т-► оо
-Т
(3.15)
где xi (t) :__ реализация случайного процесса х (t); Т - время наблю­
дения процесса.
.
По аналогии пользуются понятиями среднего· по времени зна­
чения от функции х2 (t), от квадрата разности fx (t) - х] и от произ-
53


ведения х (t) • х (t + 't), определяемыми соответственно выраже­
ниями
т
х2= lim2~ \ •х;(t)dt;
Т➔ оо :_Т
(3.16)
т
[x(t)- Х]2 =t~~2~ .r[Х;(t)- Х]24f=
-т
т
т
'
=
lim Ь,jх1(t) dt-'- !im ; Jх1(t) dt+х2= х2~(х)2; (3.17)
Т-+ оо2 -Т
Т-+оо -т
т
х(t)х(t+'t)= lim 2~ Jxi(t)xi(t- 't)dt.
(3.18)
Т-+оо -Т
В общем случае для различных реализаций случайного процесса
получаются различные значения .среднего по времени от х (t), х 2 (t),
[х(t)- х] и х(t)•х(t+'t).
Если предположить, что х (t) представляет изменение напряже­
ния (или тока), то физически (3.15) равно мощности постоянной
составляющей, рассеиваемой на сопротивлении в 1 Ом. В связи
с этим считают, что среднее по времени х выражает мощность
постоянной составляющей реализации случайного процесса х (tk)- •
По аналогии можно считать, что (3.16) выражает полную сред­
нюю мощность, а (3.17) выражает среднюю мощность «случайной»
составляющей процесса х (t).
Если случайньrй сигнал является дискретным, то числовые
характеристики определяются выражениями
п
х •~ Pkxk;
k=1.
п
.
-2
~р2
Х = "'-,J kxk;
k=~
п
[х(t)- х]2=~Р1,(xk- х)2;
k=l
п
XkXk+e = ~ Р{. k+e XkXk+e,
k=l
(3.19)
где Pk - априорная вероятность случайной величины xk; Pk, k+e -
совместная априорная вероятность величин xk и xk+e; п - число
значений случайной величины х.
3.3 . Стационарные случайные процессы
в информационньrх системах очень часто встречаю·тся случайные
процессы, протекающие во времени приблизительно однородно. Эти
процессы имеют вид непрерывных случайных колебаний около
64


некоторого среднего значения, причем ни среднее знач'ение, ни харак­
тер этих колебаний не претерпевают существенных изменений во
времени. Такие случай~-ще процессы называются стационарными.
В качестве примеров стационарных случайных процессов можно
привести шумы на выходе электронных устройств, случайные коле­
бания в цепях питания ц т. д.
В любой динамической системе случайный процесс начинается
с так называемого «переходного» процесса и затем переходит в уста­
новившийся режим, который с некоторым приближением можно
считать стационарным. Строго говоря, стационарные процессы бес­
конечны во времени, т. е. не имеют ни начала, ни конца. Таких
процессов практически нет. Од.!,!аКо многие случайные процессы на
определенных отрезках времени с определенным приближением
можно считать стационарными .
Известно два понятия стационарности: стационарность в узком '
смысле и стационарность в широком смысле.
Под стационарными процессами в узком смысле понимаются
случайные процессы, для которых функция распределения плот­
ности ВерОЯТНОСtИ Wn (Х1, f1; Х2, f2,
...
,
Хпtп) ПрОИЗВОЛЬНОГО ПО·
рядка п не меняется при любом сдвиге всей группы точек t1, t2,
...
,
tn вдоль оси времени ! 14], т. е. для любых п и 't
Wn(Х1,f1; Х2, t2; .•• ; Хп, fп)=Wn(Х1,f1+'t;
Х2,t2+'t;
.• . ; Хп, tn+'t).
(3.20)
, Из приведенного
определения следует, что для стационарных
процессов:
-
а) одномерная функция распределения плотности вероятности
не зависит от времени, т . е.
W1 (х, f1) ·=
w}(х,t1+'t)= w1(х);
(3.21)
б) двумерная функция распределения плотности вероятности
зависит только от разности времени t2 - t1 = 't , т . е.
W2(Х1, t1; Х2, t2)=W2(х1, Х2; t2- t1)=W2(х1, Х2, 't); (3.22)
в) трехмерная функция распределения плотности вероятности
зависит только от двух разностей . времен t 2
-
t1='t1иt8
-
t1=
='t2,т.е.
W3(t1,t1;Х2,t2; Х3, tз)=W3(х1, Х2, Х3,J2- t1; tз- t1)=
= W3(Х1, Х2, Хз, 't1, 't2)ИТ.Д.
(3 .23)
Поскольку математическое ожидание и дисперсия выражаются
через Ьдномерную функцию распредел€ния плотности вероятности,
1
'
то на основании следатвия (а) можно утверждать, что для ста-
ционарного процесса математическое ожидание и дисперсия не за­
висят от - времени. Вследствие зависимости двумерной функции рас­
пределения только от разности времен 't = t2 - t1 , корреляционная
функция стационарного процесса также зависит только от разности
времен "·
55


Таким образом, для стационарных процессов
аrx(t)]=а(х);
D[х(t)J=D{х);
Кхх (t1, t2) = Кхх (,:).
(3.24)
На практике наиболее часто .- встречаются случайные процессы,
для которых при выполнении условий (3.24) моменты высших по­
рядков зависят от времени. Поэтому понятие стационарности ока­
залось целесообразным расширить, приняв за основу определения
стационарности условия · (3.24).
•
В связи с вышеизложенным введено понятие стационарности
в широком смысле (или стационарности в смысле А. Я. 1(инчина),
согласно которому стационарными процессами являются такие слу­
чайные процессы, у ,которых математическое ожидание и дисперсия
не зависят от времени, а корреляционная функция зависит только
от разности времен ,: = t2 - t1.
Случайные процессы, стационарные в узком смысле, будут всегда
стационарными в широком смысле, но не наоборот.
Стационарные случайные процессы по своей природе проще, чем
нестационарные и описываются более простыми . характеристиками.
Ввиду того, что стационарные • процессы встречаются на практике
очень часто, получила широкое применение специальная теория
стационарных случайных процессов. Раздел теории, посвящ,енный
изучению лишь тех свойств процессов, которые определяются момен­
тами первых .двух порядков, называется корреляционной теорией
случайных процессов.
Так как свойства стационарного процесса во многом опреде­
ляются свойствами корреляционной функции, то для изучения ста­
цтнарного процесса нужно, в первую ·очередь, определить свойства
корреляционной функции.
3.4. Свойства корреляционной функции стационарного
случ<!йного процесса
Определим, как ведет себя корреляционная функция при неогра­
ниченном увеличении разностного временного интервала ,: = t 2 - t1 .
По мере увеличения временного ' интервала ,: зависимость между
величинами х (t) и х (t + ,:) ослабевает. В пределе при ,: ->- оо эти
величины становятся независимыми. Тргда с учетом того, что ма­
тематическое ожидание произведения случайных независимых вели­
чин равно произведению математических ожиданий сомножителей
и что для стационарного процесса математическое ожидание не за­
висит от времени, получим
liшКхх(1:) = liшm1[х(t)х(t+1:)]=
't➔оо
't'➔ro
~
=
liш[m1[х(t)l]m1[х(t+1:)]= а2(х).
(3.25}
56


Таким образом, при •ыеограниченном увеличении арrумента t
корреляционная функция стремится к квадрату математического
о_жидания случайного п роцесса .
Следовательно, при -t ~ оо корреляциqнная функция равна · мощ­
ности -по~~оянной составляющей реализации случайного стационар­
ного процесса.
-
При уменьшении временного интервала 1t зависим9сть между
величинами х (t) ~ х (t + tt) усиливается и в пределе при 1=-+ О
получим
limК~х('с) ~ limm1 [х(t)х(t +1е)] = т1[х2(t)] = т2[х(t)]. (3.26)
1:--> О
1:➔О
Таким образом, при 1t = О корреляционная функция равна на"
чальному моменту второго порядка функции х (t). Физически на­
чадьный момент второго порядка выражает, как известно , полную ч
среднюю мощность случайного процесса. . .
---
. Следоват~льно,
дисперсия стацио н арного случайного процесса
D(х)==Кхх(О) - Кхх(оо).
(3.27)
В силу независимости функции распределения плотности вероят­
ности стационарного случайного процесса от начала отсчета вре­
мени корреляционная функция является четной функцией 't, т. е.
· (3.28)
М.ожно показать, что корреляциqнная функция по абсолютному
значению максимальная при 1t = О. Действительно, - если рассмот­
р .еть математическое ожидание квадрата суммы или рази . сти вели­
чин х(t) и х(t+ 't), то получим
m1{lx(t) +_х(t+rc))
2
} =пцjх2(t)J:1: 2т1(х(t)х(t +i)J+
+т1rx
2
(t + 1e)I ~ 2Кхх· (О) ± 2Кхх('С).
Так как среднее значение положительной велич_ины (квадрата
суммы или разности двух величин) не м0жет бБiть отрицатель- . _
ным, то
откуда
\
1 Кхх (,:) ·/ 1Кхх-(0) 1 •
(3~29)
На рис. 3.4 покаеаны типичные кривые корреляционной функ­
ции Кхх ('t). }5ак видно из рис. 3.4, асимптоtическое приближение
функции К.хх (1t) к установившемуся значению а 2 (х) может проис­
ходить как монотонно (рис. 3.4, а), так и немонотонно (рис. 3.4, б).
Н:а практике часто вместо случайного процесса х (t) рассматри­
вают его отклонение от математического ожидания х0 (t) = х (t)-
•-- а (х), называемое пульсациями или флюктуациями процесса.
57


Корреляционная функция пульсаций стационарного случайного
процесса равна
-т
К~х('t) = т1[Хо(t)Хо(t + 't)] = m1{[х(t)-а(х)][х(t +'t)-,-
-
а(х)}= m1[х(t)х(t+'t)]-а(х)т1[х(t+'t)]-
·
-
а(х)т1[х(t)J +а2(х)=Кхх('t) - а2(х).
(3.30)
X(r)
K(r)
l
о
r
/J
• Рис. 3.4
Из (3.30) следует, что математическое ожидание пульсаций
равно нулю, а их дисперсия
(3. 31)
Отношение
(3.32)
называется нормированной корреляционной функцией (коэффициен­
том корреляции) пульсаций случайного процесса (или _ случайного
процесса с нулевым средним). Типичные кривые нормированной
корреляционной функции пульсаций показаны на рис; 3.5.
-r
r(r)
-1qOТо
а
.r
Рис. 3.5
Г{'r)
f
Для чисто случайного стационарного процесса всегда можно
указать значение интервала 't = 'to, что при 't > 'to величины х (t)
и х (t + 't) можно·- считать практически независимыми, причем прак­
тическая независимость понимается в том смысле, что при 't > 'tn •
58


абсолютная ве.тrичина коэффициента корреляции остается меньше
заданной величины о
'
(3.33)
, Величина о обычно принимается
равной 0,05. Интервал 'to на­
зывают временем корреляции случайного процесса . Время корреля­
ции иногда определяется как половина ширины основания прямо­
угольника единичной высоты, площадь которого равна площади
под графиком коэффициента корреляции (рис. 3.5, а), т. е.
(3.34)
3.5 . Эргодичность стационарныХi процессов
Существует класс случайных процессов, обладающих важным
для практических приложений свойством эргодичности.
Случайный процесс называется эргодическим, если усреднение
по множеству с вероятностью, сколь угодно близкой к единице,
равно усреднению по времени.
Следовательно, для эргодических процессов справедливы ра­
венства
а(х) = mi[x_(t)] =х;
---=
D(х) =mi[х(t) - m1 (х(t)}]2 = [х(t)1-x];
а2(х)= mi[х2(t)]. :х2;
(3.35)
______...,.
Кхх('t) = mi[х(t)х(t+'t)]=х(t)Х(t+'t).
Развернув выражения средних по множеству и по времени, по­
лучим
-
т
а(х)=J.. XWi (х) dx = ;~~ 2~ 1xi(t) dt;
-
т
D(х)= r[х-а(х)]2Wi(х)dx = lim2~ r[Х1(t)-Х]2dt;
J
т➔"° J
-•
,
-Т
•
т
(3.36)
а2(х)= Sx2w1(х)dx = Iim2~ Sх~(t)w1 (х)dt;
т➔-
-
--
_-т
1.оо
СС1
Кхх('t) = S SХ1Х2~2(Xi, Х2, 't) dx1 dx2 =
т
, = lim2~ Sх1(t)х1(t+'t)dt.
Т-+-<» -Т
59


Эргодическое свойство случайного процесса имеет большое прак­
тическое' значение, При исследовании таких процессов нет необхо­
димости изучать большую совокупность реализаций, а достаточно
лишь одной реализации, наблюдаемой в течение длительного про­
межутка времени, Например, ста~истические свойства флюктуа­
ционных шумов на выходе электронных усилителей можно . изучать
в течение достаточно продолжительного времени на одном усили­
теле, а затем результаты этого исследования распространить на
все идентичные устройства.
3.6. Спектральная плотность стационарного
случайного процесса
Как установлено в пр'едыдущей главе, при изучении детермини­
рованных сигналов весьма удобным оказался гармонический ана­
лиз. В связи с этим желательно использовать аппарат преобразо­
ваний Фурье к случайным процессам. Однако непосредственно
приложение классичес~ого гармонического анализа к случайным
процессам невозможно в основном по двум причинам :
1) реализации случайного процесса xk (t) не удовлетворяют ус­
ловию абсолютной интегрируемости
..
fIхk(t)1dt< оо;
... ..
2) для случайного процесса х (t) частотный спектр (в классиче­
ском представлении) также является случайной функцией.
f
Рис:-. 3.6
Можно обобщить гармонический анализ, усредняя спектраль­
ные разложения, полученные для отдельных реализаций [ 14, 17].
Для этого введем новую функцию х; (t), совпадающую на интер-
вале [- ~ ; ~ ] с реализацией xk (t) случайного процесса, а за пре­
делами этого интервала . равную нулю (рис. 3.6)
приt</~/;
приt>/~/·
(3.37)


Для такой функции справедливо _ преобразование Фурье
't
-
2
Sк (j(J)) = I Хк (t) ехр {-jшt} dt.
't
--
-т
Средняя мощность сигнала х~ (t)
(3.38)
(3.39)
С другой стороны,. ~редняя мощность сигнала может быть вы­
ражена через частотный спектр -
(3.40)
.
• 1·Sк (jw) 12
Функция Gк (ш) = лТ
, стоящая под ин~егралом (3.40), ха-
рактеризует распределение мощност~ реализации по спектру частот
и называется спектральной плотност~ю мощности .
Для определения спектргльной плотности совокупности реали­
заций необходимо прове~ти усреднение по ансамблю возможных
знач ений функции Gк(ш)
•
1
1
m1
[
Gk
(
ш)]=пТ mi
{
jSk (jш)12};:=: пТ mi
{
8k
(/ш)Sk(/ш)} ==
.
т-
т
2
2
= n~ т1 { S xk (t1) ехр {-j(J)t1} dti i xk (t2) ехр {J(J)t11} dt~}-
т
Т
-2
~t-
T
Т
22
-
nT S Sт1{ xk(t1)х,,(t2)}ехр{_:_jю(t1- t2)}dti,d~ 2
.
•
т
т
--i
-2
/
Т'с.1к как


то
т
т
Т
2
mi[Gk (ш)] = n~ SКо('t)ехр {-jш't)d't S dt~ =
т'
т
2
=n s Kk('t)exp{-joo't)d't,
т
-т
=-т
Переходя к пределу при Т-+ оо, окончательно получим
-
-
о (ш)=lim ok (ш.)= 1.5к ('t) ехр {-jш't} d't = ~J к ('t) cos (j)'t d't, (3.41)
Т➔-
n
n
-оо
Таким образом, спектральная плотность О (ш ), являющаяся ус­
редкенной характеристикой совокупности реализаций случайного
процесса, представляет собой прямое преобразование Фурье для
корреляционной функции . ОбратноJ преобразование _ Фурье имеет
вид
-
-
к('t) = ; - 500 о (ш) ехр {jш't) dш =Jа(ш)cosШ'tdш.
Преобразования (3.41) и (3.42), связывающие функции G- (w)
и К ('t ), носят название преобразований Хинчина - Винера.
,
Если вместо круговой частоты ш ввести частоту f в герцах,
то выражения (3.41) и (.3 . ~ 2) примут вид
-
00
К ('t) = JG (t) cos Z:rт,f-t df;
(3.43)
о
00
G (f) = _4 JК ('t) cos2:nf't d't.
о
(3.44)
Так как для стационарных _ процессов усреднение по множеству
может быть заменено усреднением по времени, то функция G(ш)
может быть представлена в виде
,
G(ш) = lim Isk (t(J)) 12.
(3.45)
r➔ro 3t
Таким образом, энергети,ческий ~пектр стационарного случай­
ного процесса может быть вычислен двумя путями:
а) непосредственным . наблюдением одной реаJ1изации xk (t)
и нахождением предела (3.45);
62


б) нахqждением преобразования <рурье корреляционной функ-
ции.
.
Функция G(m) играет большуIQ_ рGль при исследовании преоб-
разований случайных сигналов линейными системами. '
Для выяснения физIJческого смысла функции G (m) примем в
(3.42) tt = О
00
К(О) = fG((J))d(J).
(3.46)
о
А так как К (О) выражает мощно_сть сигнала, то G (m) дает
усредненную энергетическую картину распределения мощности сиг­
нала по частотному спек1ру.
Из ,свойства преобразований Фурье следует, что при растяже- ­
нии функции К ('t) ее частотный спектр G (ю) сжимается и, наобо­
рот, , при сужении К (tt) частотный спектр G (m) расширяется
(рис. ~.7).
f(r)
-r
·r
Рис. 3.7
В . свяаи с этим свойством рассмотрим граничный и наиболее
интересный случай G (m) == G0 === const, т. е. случай, когда 1 спек­
тральная плотность мощности равномерна на всех частотах.
Случайный процесс, имеющий равномерный на всех частотах
спектр, называют «_белым шумом».
G(ы), .
~i.
K(r}I
.....
-
о
..
..
-(и
(J)
-r
о
r
Q
tJ
Рис. 3.8
Функция спектральной плотности белого шума предст_авлена на
рис. 3.8, а.
.
Корреляционная функция белого шума
со
К('t) = ; SG0ехр{j(J)t}d'ы= nG08('t), '
(3.47)
-со
63


поскольку интеграл .
ехр {juн) dФ
является, как известно, обратным преобразованием Фурье от дельта­
функции а (_'t) (см. пример 3.13).
Таким образом, !Sорреляционная функция белого шума выра­
жается дельта-функцией (рис. 3.8, 6)
К('t)={оопри't =О;
Опри't:;i=О.
Очевидно, что белый шум х (t) характеризуется тем, что зна­
чения х (t) в любые два (даже сколь угодно близкие) момента вре-
мени некоррелированы.
.
.
Такой случайный процесс иногда называют абсолютно слу­
чайным.
Необходимо подчеркнуть, что понятие «белый шум» основано
на спектральном свойстве случайного процесса и совершенно не
связано с законами rраспределения плотности вероятности. В част­
ности, если белый шум имеет нормальный закон распределения, то
его называют нормальным белым шумом.
Белый шум в точном смысле является идеализацией, никогда
не встречающейся в реа.тrьных условиях, хотя бы потому, что до­
статочно близкие значения случайной функции практически всегда
зависимы, а также и потому, что . реальные процессы имеют. ко-
К(т)
G(ы)
r
о
(,J
Рис. 3.9
Рис. 3.10
нечную мощность, а для белого шума полная мощность процесса
бесконечна. Однако подобная идеализация во многих важных
практических случаях значительно упрощает ~математический ана­
лиз и не вносит сколько-нибудь существенных погрешностей.
Спектры реальных процессов практически ограничены полосой
частот . 03 = wв - Ф н, вследствие ограниченности полосы пропуска­
ния реальных систем .
Если белый шум пропустить через идеальный фильтр низких
частот с граничными частотами Фн = О, Фв, то на выходе получим
шум с ог.ранD.ченным спектром (рис. 3.9).
64


1\орреляционная функция такого сигнала
wB
K('t}= GoCOSШ'tdш = G0 ш 8 -- = Ро --,
(3.48)
J..
sin w8 -c
.
s!n w8 -c
·
(t)B't
(t)B't
где Р0 = G0 шь-средняя мощность процесса. ·
График корреляционной функции (3.48) представлен на рис . 3. 10.
Для такого процесса интервал корреляции 'to имеет конечную
величину, которую можно определить, например, как интервал
между точкой 't = О и точкой, где К ('t) первый раз обращается
,t
в нуль, т. е. 'to = (J}в.
G{i,J)
Следовательно,
ограничение
спектра влечет за собо_й появление
корреляции, причем · по мере со­
кращения полосы частот Оэ = Шв
интервал корреляции увеличива-
1и
~~-
%
В случае, если для случайного
Рис. 3. 1:
процесса спектр непрерывен и сосре-
доточен около некоторой фиксированной . частоты (J)o, причем выпол ­
няется условие
Q
(J}з « 1,
о
то такой процесс называется узкополосным.
(3.49)
Если узкополосный спектр обладает максимумом при . ш 0 и сим­
метричен относительно этой точки (рис. 3.11), TQ корреляционная
функция процесса
""
w,
К('t) _:__ fG((J))cosШ'tdш =J.G(ro0- (J))cos(ш0- ш)-сdш =
~
~
•
= [SG0 ((J)o - (J))cosШ'td(J)] cosш0't+[jG((J)o - ш) siп(J)'t dш] sinш0't.
.-с о
-со
Поскольку по условию полоса спектра пренебрежимо мала по
сравнению с частотой (J)o, то верхние пределы интегрирования без
особой погрешности можно распространить до бесконечности .
Принимая во внимание, что второй интеграл, как интеграл . от
синуса в бесконечных пределах, Р<!Вен нулю, получим
где
Э б-371
""
К('t)~cosш0't·S G*(ш) cos W't dw = Ь('t) cosш0't,
_,.
..
..
Ь('t) = j G* (ш) cosш'td(J) = 2SG((J))cosш'tdш.
о
(3 .50) .
65


Из (3.5()) видно, что корреляционная функция узкополосного .
процесса, спектр которого расположен _симметрично около некото­
рой частоты w0, · равна умноженной на cos w0't корреляционной функ­
ции Ь ('t), которая соответствует спектру G* (w), полученному из
исходного смещением на величину w0 в область низких частот.
3. 7 . Эффективная ширина спектра случайного процесёа
При анализе случайных процессов . с неравномерным спектром
(рис. 3.12) часто пользуются понятием эквивалентной или эффектив­
6(w)
ной ширины спектра, определяемой
выражением
00
fG(w) dw
Оз = о-,.--....---
0макс (w)
(3.51)
Рис. 3.12
где Gмакс ( w) - наибольшее значение
функции спектральной плотности.
Средняя мощность процесса при этом будет равна
К(О)= G(О)Qз.
(3 .52)
И так как интервал корреляции определяется с учетом (3.41)
соотношением
00
IIК (t) 1d,:
о
:riG (О)
'to = --,-,К-,-(0:сс-)- = 2К (О) '
то может бып, установлена следующая связь между интервалом
корреляции и эффективной шириной спектра процесса:
:ri;
1
'to= 2Qэ=4Fэ.
(3.53)
3.8. Кодирование сигналов. Модели сигналов
при кодоимпульсной модуляции
При _передаче дискретных щобщений .должен передава1 ься ус­
ловный номер сообщения . Это осуществляется обычно путем коди• "
рования сигналов .
Под кодированием понимают преобразование д11скретных сиг­
налов в сложные сигналы (кодовые комбинации), представляющие
собой набор некоторых элементарных сигналов.
Элементарными сигналами, называемыми также сим·волами кода,
в технических информационных системах обычно служат одиночные
импульсы постоянного тока (rщдеоимпульсы) или переменного тока
66


(радиоимпульсы). Элементарным сигналом может служить пауза
между импульсами или комбинации паузы и импульса и так далее .
Кодирование преследует две основные цели: повысить помехо­
устойчивость передачи и повысить эффективность передачи, т. е.
обеспечить наилучшее согласование скорости передачи с пропуск­
ной способностью канала связи . В соответствии · с этим кодовые
сигналы должны строиться с учетом статистики источника инфор­
мации, структуры помех в линии ~вязи и параметров канала связи.
Кодирование обеспечивает изменение структуры сигналов и ни
в коей мере не должно изменять количества информации, заклю­
ченной в первонача .1ьном сообщении.
Элементарные сигналы (символы кода), составляющие кодовую
комбинацию, должны различаться по какому-либо одному или не­
скольким параметрам, называемым часто кодовыми признаками .
В качестве кодовых признаков применяются такие параметры, как
велнчйна, полярность, время (продолжительность или фаза импуль­
сов), частота заполнения l{мпульса и т. п .
Общее число символов, составляющих кодовую комбинацию,
называется значностью, ИJIИ длиной кода п. Количество значений
кодовых признаков, используемых в кодовых комбинациях, назы­
вается основанием кода т.
На рис. 3.13, а приведен пример кодовой комбинации с длиной
кода п = 5. В качестве импульсного признака · здёсь использована
величина импульсов. Основание кода (число значений импульсного
признака) т = 3. На рис. 3.13, б приведена кодовая комбинация _
с п = 5 и т = 3, ·в которой в качестве импульсного признака ис­
пользуется длительность импульсов.
X(t)
а
r5
Рис . 3.13
По условиям построения кодовых комбинаций коды делятся на
р авномерные и неравномерные. В равномерных кодах все сообще­
н ия передаются кодовыми группами и с одинаковым числом эле-
ментов п = const.
_
При использовании неравномерных кодов разные сообщения
могут передаваться кодовыми группами, содержащими не одинако­
вое число э,1ементов (п = var). Равномерный код обладает боль­
ш ими возможностями с точки зрения обеспечения помехо_защищен­
н ости передачи, так как потеря элементов или возникновение новых
элементов в кодовых комбинациях с п = const могут быть легко
обнаружены . Неравномерные ; Коды могут обеспечить наибольшую
экономичность построения . кодов и наибольшее быстродействие
з•
67


передачи сообщений. Такие коды используются при так называемом
статистическом кодировании.
Вместе с · тем неравномерные коды менее •помехозащищенные,
чем равномерные. Потеря или возникновение новых элементов
в комбинации в результате действия помех могут привести к со­
зданию новой разрешенной комбинации, воспринимаемой на прием­
ной стороне как истинной .
По числу различных символов (т) в кодовых комбинациях раз­
личают коды:
~ единичные, т = 1;
двоичные, т = 2;
коды с основанием т > 2 .
В единичном коде используются одинаковые символы . Кодовые
группы отличаются друг от друга лишь количеством символов
(импульсов). Такие коды называют еще числоимпульсными . Иллюст­
рация числоимпульсного кода дается на рис. 3. 14.
Единичный код отличается своей простотой. Однако, вследст­
вие того что он неравномерен (п = var), помехозащищенность его
низка . Кроме того, при передаче большого количества сообщений
происходит изменение в широких пределах длины кода, что выз ы­
'l11сло
f
A'(t}t
J ;((t}t
8 A'(t}t
fO ,((l}t
/(Off
□
-;i
-
□DD
•t
-
□□□□□□ • t
0□□□□□□□D□. t
Рис. 3.14
вает определенные неудобства.
В связи с вышеизложенным еди­
ничный код практически не исполь­
з уется для ·передачи информации по
каналу связи, а используется лишь
при промежуточных преобразова­
ниях сигналов на передающей и при­
емной сторонах .
Наибольшее распространение по­
лучили двоичные коды (т = 2). Это
обусловлено следующим. Формиро­
вание кодовых сигналов и их дешиф­
рация производятся с помощью
релей~ых устройств , способных зани­
мать ряд устойчивых состояний . Количество таких состояний опре­
деляется основанием кода. Очевидно, что простейшими релейными
устройствами являются устройства с двумя состояниями. К такого
типа устройствам принадлежит большинство электромагнитных реле,
электронных и других типов бесконтактных реле . Кроме того, следует
также учитывать простоту выполнения арифметических и логиче­
ских операций при двоичном кодировании.
Коды с основанием т > 2 пока не нашли широкого применения
в информационных системах.
По форме представления в канале передачи различают после­
довательные и параллельные , коды . При последовате.(Iьной форме
элементарные .сигналы , состав.nяющие кодовую комбинацию, посы­
лаются !з канале передачи последовательно во времени. Как правило,
они раздеJ1ены между собой определенным временн_ым интервалом.
68


При параллельной форме элементарные сигна·лы посылаются
одновременно по нескольким электрическим цепям, число которых
соответствует количеству э J1 е \1ентов кода.
Паралле.'!ьная форма представления кода, хотя и тр ебует мень­
шего времени для передачи сообщений, используется для передачи
информации по каналу связи редко. Практически парал.тrельная
форма кода при передаче информации по однопроводной линии связи
используется лишь в тех случаях, когда в качестве импульсного
признака применяется частота .
Параллельная форма представления кода часто использ уется при
преобразовании аналоговых величин в код и обратных преобра зо­
ваниях, в устройствах памяти, регистрации и при логической обра-
ботке информации.
,
По возможности обнаружения и исправления ошибок рааличают
простые и корректирующие коды. В простых кодах ошибка в оп~­
знании хотя бы одного элемента кода приводит к неправильной
регистрации передаваемого сообщения . Корректирующие коды стро­
ятся таким образом, что неправильное опознание одного или даже
нескольких элементов кодовой комбинации не вызывает ошибочной
регистрации_ передаваемого сообщения.
Накqнец, по основным законам кодообразования коды можно
разделить на два класса: числовые (арифметические} и комбинатор­
ные (нечисловые) . Первыf' основаны на известных системах сч исле­
ния, вторые - на законах теории соединений .
В технических информационных системах используются пре­
имущественно числовые коды .. Система счисления, полщкенная в
основу числового кода, сбусловливает структуру ' к.адовых комбина­
ций, основание системы счисления определяет основание т соот­
в етствующего кода.
Наиболее распространенным в настоящее время является поз и­
ционный принцип образования системы счисления . При таком прин­
ципе значение каждого символа зависит от его полож ения -- по­
зи ции в ряду символов, составляющих число. Единица каждого
следующего разряда больше единицы предыдущего разряда в tn
раз , где т - основание системы счисления. При этом любое п-раз­
рядное число N с основанием т может быть представлено в виде
су ммы
п
N=tе;т1,
(3.54)
i=O
гд е е1 - значение разрядного коэффициента i -го разряда.
Число возможных значений разрядного коэффициента каждого
разряда равно основанию выбранной системы счисления .
Простые · числовые коды содержат количество элементов , соот­
ветствующее числу разрядов числа N, выражаемого данным кодом .
Ка ждый элемент кодовой комбинации может принимать т различ­
ны х значений импульсного признака.
69-


Максимально возможное число кодовых комбинаций определя- •
ется выражением
Практически наиболее широко· используются двоичные коды,
т. е . КО,!J.Ы, базирующиеся на двоичной системе счисления. Матема­
тическая запись двоичного кода следующая: -
Здесь разрядные коэффициенты ei могут принимать два значения,
которые принято условно обозначать О и 1.
Максима.'lьно возможное число ко­
довых комбинаций числового двоичного
кода определяется выражением
X(t)t_
l
ОО
'-г,о--т-,о---'--'-т-,о,----'-L-т,ог-т-о..---•t
Рис. 3.15
На рис. 3.15. показана двоичная
кодовая комбинация длиной п = 7.
В качествЕ импуJrьсного признака здесь
используется полярность. Импульсам положительной полярности
соответствует 1 и импульсам отрицательной - полярности - О.
Кодовая комбинация содержит две единицы (два положитель­
ных импульса), но численное выражение (вес) каждой единицы
определяется их номером (разрядом). Так как обычно нумерация
разрядов идет справа, то __номер младшего разряда является нулевым
(i = О) и численные выражения первого и второго (справа) импуль­
сов соответственно будут
1.22=4и1•24=16.
В целом код, представленный на рис. 3: 15, выражает число
N=О •2°+О•21+1•22+О•23+1•24+О•25'+О•26=20.
При передаче непрерывных сообщений в информационных сис­
темах весьма широкое применение получила кодоимпульсная мо­
ду.'!яция (КИМ) сигна,1юв. КИМ складывается из трех операций­
дискретизации по времени, уровню и кодированию. Дискретизация
по времени заключается . в замене непрерывного во времени сигнала
· х (t) дискретным сигналом Хд (t), значения которgго для дискретных
моментов времени t0, t1, t 2, .. . , tn совпадают соответственно с мгно­
венными значениями непрерывного сигнала (рис. 3.16, а и 6). Такая
операция называется квантованием сигналов по времени. Дискре­
тизация по уровню (квантование по уровню) заключается в замене
непрерывного множества значений сигнала Хд (t) множеством дис­
кретных значений. При этом шкала возможных значений сигнала
разбивается на определенное количество интервалов и ·непрерывное .
значение сигнала заменяется ближайшим дискретным (рис. 3.16, в).
70


Полученные дискретные значения затем кодируются (обычно двоич­
ным кодом).
_ КИМ обеспечивает существенное повышение помехоустойчивости
передачи сообщений . Кроме того, дискретизация по времени позволяет
использовать одни и те же устройства (каналы связи, устройства обра­
ботки информации и пр.) для большого числа различных сигналов .
X(t)
~ (t)
,,..
/
'
'
/
'-
'-
foftfzт/(
fпt
(J
'о
J:g(t)
- ----- --
-------=-
Рис. $.16
При ким· весьма важным является правильный выбор способа
квантования сигналов по времен_и и уровню . В связи с этим рас­
смотрим некоторые вопросы теории квантования непрерывных функ­
ций по времени и уровню.
3.9 . l(вантование по времени
При квантовании по времени непрерывная по аргументу функ­
ция х (t) преобразуется в функцию Хд (t) дискретного аргумента .
Такое преобразование может быть выполнено путем взятия отсче­
тов функции х (t) в определенные дискретные моменты времени t 0,
t1, t2,
...
,
tn. В результате функция х (t) заменяется совокуп­
ностью мгновенных значений х (t;) i = О, 1, 2, ... , п.
Временной интерваJ1 Тк = t i - ti-i между двумя соседними фик­
сир ованными моментами времени, в которых задается дискретная
фу нкция, называется интервалом временного квантования. Величина,
обратная интервалу · временного квантования .
.,
1
к':"" т ;
"
наз ывается частотой квантования.
Частота квантования должна выбираться таким образом,
rro о:гсчетн'ым значениям х (t 1) можно было бы с заданной
ст ью получить исходную функцию.
(3.55)
чтобы
точно-
.71


Функцию х (t), полученную в результате восстановления по от- ,
счетам х (tJ, принято называть воспроизводящей.
Известно несколько критериев выбора частоты квантования по
времени. К таким критериям относится, в частности, частотный кри­
терий В. А. , Котельникова [4]. Данный критерий, который получил
название теоремы Котельникова, основывается на следующей мо­
де.1и сигналов:
сигнал, представляет собой стационарный случайный процесс;
спектр сигнала сплошной и ограничен некоторой частотой, за
пределами которой он тождественно равен нулю.
Теорема Котельникова формулируется следующим образом: если
непрерывная функция х (t) удовлетворяет условиям Дирихле (oгpa-
,..- ,
/
\
/
\
/
\
/
\
'
/
\
-(и
-1 ,Jc
S((J))
Рис. 3.17
ничена, кусочно-непрерывная и имеет конечное число экстремумов)
и ее спектр ограничен некоторой частотой fс, то она полностью
определяется последовательностью своих значений в точках, отстаю-
!
щих на расстоянии Тк = 21 друг от друга.
•
с
Для доказательства теоремы рассмотрим выражения прямого
и обратного преобразования Фурье непрерывной функции х (t)
~
S(jw) = Iх(t)ехр{-jwt}dt;
(3.56)
~
х(t) = 2~ I S(jw) ехр{jwt) dw.
(3.57)
-~
В рассматриваемом частном случае фун~ции с ограниченным
спектром можно записать
"'с
.
х(t) •2
1n I S (jw) ехр ·{jwt) dw.
(3.58)
-
WC
Дополним функцию S (jw) до периодической с периодом, рав­
ным 2wc (рис. 3.17) и раз.16жим ее в ряд Фурье
(3.59)
12


где
"'о
Ск=2~сSS(jw)ехр{-jлk:Jdw.
(3.60)
= roc
Сравнивая выражения . (3 .58) и (3.60) замечаем, что они совпа­
дают с точностью до постоянного множителя Лt = wn, если при­
с
нятьt= -k,Лt.
Следовательно,
Подставив найденное выражение для Ск в (3 .59), получаем
00
S (jw) = I: : х(-kЛt)ехр{iлk:J.
k=-oo
(3 .61)
После подстановки (3.61) в (3.58), замены знака при k (так как
суммирование производится по всем положительным и отрицатель­
ным значениям k) и перестановки операций суммирования и инте-
грирования . получим
-
"'с
1 '\.,
·r
Х (t) = 200с ,!..,J Х (kЛt) J ехр {jw (t- kЛt) dw.
k=- oo
Вычислим интеграл
wc
wo
S•ехр(jw(t- kЛt))dw = ,S cosro(t- kЛt)dw-
"'с
.
\.
2sinwc (t- kЛt)
-
JJ s1qw(t- kЛt)dw=
t_kм ,,
так как
"'с
Ssinw(!- kЛt)dw = О.
-"'с
Пооле подстановки (3.63) в (3.62) окончательно имеем
х(t)= '\1 , Л sin[wc(t- kЛt)]
,!..,J х(k t) wc (t - 'kЛt)
k=·- oo
(3 .62)
(3.63)
(3.64)
Полученное. выражение предстщ1ляет аналитически теорему Ко­
тельникова.
73


Из (3.64) видно, что непрерывная функция, обладающая огра­
ниченным спектром, может быть пр~дставлена разложением в ряд, ,
sin у
каждый член которого выражается одинаковой функцией вида -
у
(функция отсчетов), цо с различными коэффициентами .х (k. Лt)
(рис. 3.18).
•
Ряд (3.64) представляет собой каноническое разложение случай­
ного процесса с координатными функциями (детер~инированными
функциями времени) и весовыми коэффициен­
тами х (k • Лt), являющимися случайными вели-
7 чинами, равными мгновенным значениям сигна-
ла в точкахk•Лt[22]. .
t
Функция _отсчетов представлена графически
на рис. 3.19, где введено обозначение 't == t -
_
1 .• - kЛt. Эта функция в момент времени t == kЛt
A(lt,}r------- t
п
-- --- --
" ./""-...
Y(t)t ~~: •
достигает максимального значения , и равна
единице. В момент времени t == (k + i) Лt, где
i == · 1, 2, 3, ... , оо, функция отсчетов обра­
щается в ну ль.
t
Рис. 3.18
sin у
Как известно, функция вида --· представ­
.
у
ляет собой реакцию идеального фильтра ниж­
них частот с граничной частотой ffic на дельта­
функцию.
Следовательно, если в приемном устройстве поместить такой
фильтр и пропустить через него кванто~анный сигнал, представляю-
-
ы
щий собой последовательность с частотой f к = 2f с · == ~ весьма· крат- -
Jt
ковременных импу,пьсов, амп.питуды которых пропорциональны от-
Jli721rfcт
2лfcr
PtIC. 3 .19
S(ы)
Рис.. 3.20
счетам исходной н~прерывной функции, то, суммируя выходные
сигналы фильтра, можно воспроизвести . с доста'I_'очно высокой сте­
пенью точности исходный непрерывный сигнал. Такой способ интер­
поляции исходной непрерывной функции, базирующийся на теореме
Котельникова, обладает рядом н~достатков. Как видно из выраж~­
ния (3.64), для точного вос~тановления исходной функции необхо­
димо получить и просуммировать реакции фильтра на входные
74


импу.'1Ьсы на всей оси времени от - оо до + оо или хотя бы до­
статочно qольшого количества импульсов до и пос.пе аппроксими­
руемого участка функции. Практически реализовать это трудно .
Кроме того, на практике приходится иметь дело с сигналами, •
ограниченными во времени и обладающими, следовательно, беско­
нечно широким спектром, что противоречит основному условию
теоремы Котельникова.
Однако на практике никогда не требуется идеально точного
воспроизведения передаваемого сигнала .
Поэтому с целью использования теоремы Котельникова для
квантования сигналов реальный спектр сигнала, простирающийся
от нуля до бесконечности, условно ограничивают некоторым диа­
пазоном частот от нуля до ffic, в котором · сосредоточена основная
часть энергии спектра (рис . 3.20). Энергия отсекаемой части спектра
сигнала характеризует погрешность, возникающую за счет , ограни­
чений спектра сигнала частот wc .
Дисперсия приведенной погрешности, возникающей в результате
огранич~ния частотного спектра сигнала,
(3 .65)
..
где л~с SI S (jffi) 12 dw - средняя мощность отсекаемой части частот -
wс
ноге спектра функции х (t); Те - длительность функции х (t); Хмакс,
х,шн -- идеальные знач€ния функции х (t) .
Для ·удобства расчетов целесообразней (3.65) представить в виде
.
QwcPт
Dwc=(
)2'
Хмакс - х,шн
(3.66)
оо
Хмакс
где Рт ~ n~c J1~ (jw) 12 dffi = "lн x 2w (х) dx- средняя мощнос~ь сиг-
..
f•:S(iw)/2dw
нала; Qw0 = :с
,
-
относительная площадь отсекаемого .
S.iS(iw) /2 dw
о
участка энергетического спектра функции х (t).
Выражение (3.66) по з-аданной величине Dwc и при известных
Рт, Хмакс, Хмин и спектре функции_ х (t) позволяет определить час­
тоту wc, ограничивающую спектр.
75


'
Дальнейшее развитие теория квантования по времени случай!{ЫХ
_.,,.,-- процессов получила в работах Н. А. Железнова [19}. В основе мо­
дели сигналов, предложенной Ж·елезновым, лежат следующие допу­
щения:
сигнал х (t) представляет собой недетерминированный квазиста-
ционарный процесс;
длительность сигнала Тс конечная;
спектр сигнала сплошной и отличен от нуля на всей оси частот;
интервал корреляции сигнала 'to « Те;
мгновенная мощность сигнала ограничена и не может изменяться
скачком.
Критерий Железнова формулируется следующим образом: ква­
зистационарный сигнал с неограниченным спектром определяется
со сколь угодной малой ошибкой последовательностью его мгно­
венных значений, следующих друг за другом через интервалы Лt,
если Лt < 'to, а длительность сигнала Те» 't0 .
Ряд (3.64) применительно к критерию Железнова представится
в виде
2fcTc
~
sin [wc (t - kдt)]
х (t) = ,:;;_.
х(kЛt) wc(t_kлt)
,
k=I
(3.67)
где
Существенным преимуществом критерия Железнова является
приближение модели сигнала к реальным условиям (неограничен­
ность спектра и конечная длительность сигнала). Единственным огра­
ничением является ограничение про4олжительности функции корре­
ляции величиной 'to, определяемой выражением (3,34).
Трудности практической реализации методов Котельникова и Же­
лезнова обуславливают необходимость использования в ряде слу­
чаев других методов выбора требуемой частоты квантования сигн~­
лов по времени . В тех случаях, когда закон изменения •функции
с определенной достоверностью известен, более целесообразным явля­
ется метод, основанный · на замене непрерывной исходной функции
аппроксимирующей функцией. В общем случае исходная функция
аппроксимируется полинсJ\юм, кривая которого совпадает с кривой
функции для заданных дискретных моментов времени.
~..,,,
Простейшим видом аппроксимации является аппроксимация по­
/У линомом первого порядка, при этом производится кусочно-линейная
аппроксимация кривой функции, т. е. все точки кривой · исходной
функции, соответствующие отсчетным моментам времени, соединя­
ются отрезками прямых (рис. 3.21 ). Выбор частоты квантования
производится по критерию отклонения аппроксимирующей функции
от исходной на каждом из интервалов дискретизации д; .. Чаще
1
76


других для этих целей применяются следующиt: критерии : критерий
наибо,JJьшеrо отклонения, среднеквадратичный интегральный и ве­
роятностный. В первом случае необходимая частота квантования
выб~~рается из условия, чтобы предельные отклонения аппроксими ­
рующей ломаной прямой от действительного значения фу н кции
(рис. 3.21) не превосходили бы заданного значения . Зада ча может
быть решена с помощью интерполяционной формулы Ньютон а, в со­
ответствии с которой значение функции для любого момента вре­
мени внутри интервала Л 1 = t i+i -
-
t i определяется выражением
х'(t) =х(tд+ai(t-t1),
где
х(f;н)- х(ti)
а.=
- -',---------,- - -'- - -' -
i
fl+I - tl
.
Погрешность аппроксимации о
определяется остаточным членом
L_(t) интерполяционной формулы
1о1= 1L(t)1= х'(t)- х(t).
1
r
Рис . 3.21
В рассматриваемом случае остаточный член выражается следую­
щим образом:
Очевидно, что максимальное значение погрешности , аппрокси-
мации
1оj ==1L(t)1~ = _!__(d2x(t))- (tz+r- t,)2-
_!__(d2x(t)) .л2
макс _
макс
2 dt2
2
-
8 df2
t·
макс
ма 1<0
Следовательно, задаваясь допустимой погрешностью аппрокси­
мации омакс, можно определить интервал и частоту квантования
{
811макс
'Л,=
(d2x!t)) ; fк=
dt макс
(d2x (t))
dt2 макс
80 макс
Метод аппроксимации полин омом страдает определенной неточ­
ностью, обусловленной тем, что точный закон изменения функции
х (t) практически не известен, и поэтому невозможно точно опреде- •
лить максимальное значение второй производной функции ,
Более высокую точность обеспечит аппроксимация полиномом,
имеющим порядок выше первого. Кривая такой ·аппроксимирующей
функции может состоять из отрезков дуг окружностей , отрезков
парабол и пр.
77


3.10. Квантование по уровню
При квантовании по уровню непрерывное множество з}!ачений
функции х (t) заменяется множеством дискретных значений. Для
этого в диапазоне непрерывных значений функции х (t) выбирается
конечное число дискретных значений этой функции (дискретны~
уровней) и в процессе квантования значение функции х (t) в каж­
дый момент времени заменяется ближайшим дискретным значением .
В резуJiьтате квантования образуется ступенчатая функция Хд (t).
Квантование по уровню практически •может осуществляться
двумя способами. При первом способе мгновенное значение функ-
-
ции х (t) заменяется меньшим дискретным значением (рис . 3.22 , а).
t'
rJ
Рис. 3.22
При втором способе квантования мгновенное значение функций за­
меняется ближайшим · меньшим или большим дискретным значением
в зависимости от того, какое из этих значений ближе к мгновен ­
ному значению функции. В этом случае переход ступенчатой . функ­
ции с одной ступени на другую происходит в те моменты, когда
первоначальная непрерывная функция х (t) пересекает середину
между соответствующими соседними дискретными
уровнями
(рис. 3.22 , 6).
Расстояние между соседними дис15ретными уровнями называется
интервалом или шагом квантования Лх .
Различают равномерное квантование по уровню, при котором
шаг квантования постоянен, и неравномерное квантование по уровню ,
когда шаг квантования непостоянен. На практике преимуществен­
ное применение получило равномерное квантование в связи с про-
стотой технической реализации .
.
Вследствие квантования функций по уровню появляются мето­
дические погрешности, так как действительное мгновенное значение
функции заменяется дискретным значением·. Эта погрешность, кото­
рая получила название погрешности квантования по уровню (или
шума квантования), имееi случайный характер . Абсолютное ее зна­
чение в каждый момент · времени определяется разностью между
квантованным значением Хд (t)' и действительным мгновенным зна­
чением х (t) функции
Ок(t)=Хд(t)- х(t).
78


На рис. 3:23, а и б показан характер изменения абсолютного
значения погрешности квантования для способов квантования, пред­
ставленных на рис. 3.22, а и 3.22, 6 соответственно. При кванто­
вании методом замены действительного мгновенного значения фуI:Iк­
ции х (t) ближайшим меньшим дискретным значением абсолютная
погрешность квантования будет всегда отрицательной и находиться
в диапазоне О+ - Лх.
-
Закон распределения этой погрешности зависит от закона рас­
пределения х (t) . •
. о ~ ,N,P.,.i
-=-r.-rv t
- Otr
о
Рис, 3.23
Пусть функция х (t) подчиняется определенному закону распре ­
деления w(х) (рис.3.24) .Разобьем диапазон изменения функции х (t)
на интервалы величиной Л х- Пусть ок - случайное отклонение дей­
ствительного значения функции х (t) от ближайшего меньшего дис ­
кретно го значения (погрешность кв·антования). Очевидно, что ве­
роятность п оявления ошибки ок может быть определена как вероят­
ность р (ок) пqпадания значения функции х (t) в участок о,, любого
из интер в алов квантования
п-1 iдх+бк
р(ок)=~ I w(х)dx.
-
i=O iдх
Дифференцируя обе части дан­
ного равенства по Вк, найдем диф­
ференциальный закон распределе­
ния погрешности квантования
W(x)
Рис. 3.24
Умножив обе части равенства на Лх, получим
п-1
w(ок)Лх = ~ w(iЛ;+Вк)Лх.
i=O
• (3.68)
Правую часть последнего равенства можно рассматривать как
приближенное выражение плрщади, заключенной между осью х
и кривой w (х). Это приближение будет тем точнее, чем больше
число участков квантования. Следовательно, в пределе при п -+ =
79


или Лх - О выражение (3.68) приводится к виду
Хмакс
w(ок)лх =I w(х)dx.
(3.69)
о
Так как правая часть выражает вероятность нахождения функции
х (t) в пределах от О до Хмакс и, следовательно. равна единице, то 1
плотность вероятностей распределения погрешностей квантования
будет с достаточным приближением
1
w(ок)=Лх•
(3.70)
Таким образом, можно полагать, что при достаточно большом
числе уровней квантования погрешность квантования подчиняется
Рис. 3.25
L!, о L!,
-т2
Рис. 3.26
закону распределения равной вероятности, представленному на
рис. 3.25.
В соответствии с · рис. 3.25, можно записать, что
w(ок) =1~хпри-Лх<ок<:О;
ОприОк>ОИОк<-Лх.
Математическое ожидание погрешности квантования
о
Iо
Лх
а(ок)= 5окw(ок)dок=д;5окdок= --2
-.
(3.71)
-д
-д
х
х
(3.72)
При квантовании методом замены действительного мгновенного
значения функции ближайшим , меньшим или большим дискретным
значением погрешность квантования также подчиняется закону
распределения равной вероятности, но изменяется . в . пределах от
-
~х до + ~х (рис, 3.26). •
80


В данном случае справедливо, что
1
1
Лх"Лх.
.
Лхпри- 2<Ок<2'
w(ок)=
л
л
ОприОк>2ИЛИОк<- 2
.
Математическое ожидание погрешности квантования
а(ок)=о.
Дисперсия погрешности
Практически в процессе квантования могут иметь место случаи,
когда дискретные уровни не фиксированы относитеJ1ьно нулевого
уровня функции х (t) (рис. 3.27).
Так как при отсутствии фиксации дискретных уровней кванто­
вание производится практически путем замены мпrовенноrо зна че­
ния функции ближайшим меньшим дискретным уровнем и нижний
дискретный уровень принимается за первый, то будут иметь место две
X(t)
,(y(t}
,r(t,}
J
2
''-----+-------:--
t
Рис. 3.27
щ:1 i• ]±_Yii!
J.
•Ах
Lli. •
--~ ---
Yr'(ox,)
f
дх
-tк, -L1x О о;, -дх2 О L1.t" Uк2 ·L1x О Ах ~Е
а
rf
Q
Рис. 3.28
погрешности квантования: ок,, изменяющаяся в пределах от О до
-
Лх, и ок" изменяющаяся в пределах от О до + Лх. Эти погреш­
ности . независимы и подчиняются законам распределения равной
вероятности (рис. 3.28, а и б).
Суммарная погрешность квантования
ОкЕ=Ок1+Ок2
изменяется в пределах от -Лх до +лх. Закон распределения
суммарной погрешности является композицией законов распределе­
ния погрешностей ок, и ок, и выражается распределением Симпсона
(рис. 3.28, в).
81


Аналитически данное распределение аыражается следующим
. образом :
jrI+~:при
Лх.
w (окЕ) =
ВКЕ
1--
лЛхприо<ВкЕ<Лх;
х
о приОкЕ>Л,иОкЕ<-Лх.
Математическое ожидание суммарной погрешности квантования
а(окЕ)=О;
Таким образом, в случае отсутствия фиксации дискретных уров­
ней относителыю начальн9го уровня квантуемой функции сред­
!/
W(t)
Рис, 3,29
неквадратическая погрешность
квантовани~ увеличивается в
v2 раз.
В некоторых случаях, когда
вероятность распределения зна­
чения функции по шкале уровней
неодинакова, вводится неравно­
мерное квантование по уровню
с целью уменьшения среднеквад­
ратической погрешности кванта~
вания. При таком квантовании
значения функции х, вероятность
возникновения которых велика,
передаются ·с меньшей погрешностью квантования и маJ1овероятные
значения с большей погрешностью 'Квантования [20] .
Для реализации такого квантования . первичная функция под­
вергается нелин~йному преобразованию у· (х). Сущность нелинейного
преобразования иллюстрируется рис. 3.29 ; где w (х) - кривая ·рас­
пределения плотности вероятностей значения функции ,х (t) .
Величина у квантуется равномерно, при этом х квантуется
неравномерно. Тогда между погрешностями квантования функций
у и . х будет иметь место следующая связь :-
82


Для дисперсии погрешностей получим
Dук = Dхк (::)2.
Тогда усредненная по параметру дисперсия погрешности кван­
тования
Хмакс
D
'макс
-
r(икd D sw(х)d
Dхк=J Wх)(:~У.Х=у, (iiХ.
Хмнн
Хмй:1-1
Здесь множитель Dик вынесен за знак интеграла, так как кван­
тование функции у равномерное и дисперсия погрешности кванто­
вания не зависит от у . и, следовательно, от х.
Выигрыш в погрешности квантования оценивается отношением
D
в - -.!!.!:.- ______
-
D - Хмакс
Хк
(' w(d;))2 dx
Jdx
Хмин
где Dx,< - дисперсия погрешности равномерного квантования, рав­
ная Dик·
Для получения максимального выигрыша в погрешности кван-
.
dy
тования необходимо отыскать такую функцию dx ·' которая миними-
зировала бы интеграл
Хмакс
S w(x)
_
(:~) 2 dx.
Хмнн
Решение подобной задачи приводится в [21].
3.11 . Примеры
Пример 3. 1 . Найти математическое ожидание числа появлений
событий А в одном испытании, если вероятность события А
равна р.
Решение. Случайная _величина х - число появлений собьпий А
в одном ис~ытании - может принимать только два значения:
х1 = 1 (событие А наступило) с вероятностью р и х2 = О (событие А
не наступило) с вероятностью q = 1 - р. Искомое _ математическое
ожидание равно
а(х)=р•1+q•О=р.
83


Итак, математическое ожидание числа появлений события в одном
испытании равно вероятности этого события.
Пример 3.2. Производится три выстрела с вероятностями попа­
дания в цель, равными р1 = 0;4 ; р2 = 0,3 и р3 = 0,6. Найти матема­
тическое ожидание общего числа попаданий.
Решение. Число попаданий при первом выстреле есть случайная
величина х1 , которая может принимать только два з начения :
1 (попадание) с вероятностью р1 = 0,4 и О (промах) с вероятностью
q=1- 0,4=0,6.
Математическое ожидание числа попаданий при перво м выстреле
равно вероятности попадания (см . пример 3.1), т. е. а (х1) = 0,4 .
Аналогично найдем математические ожидания · числа попаданий
при втором и третьем выстрелах
а(х2)=0,3; а(х3)=0,6.
Общее число попаданий есть также случайная величин а , состоя­
щая из суммы попаданий в каждом из трех выстре лов
Х=Х1+Х2+Х3,
Искомое математическое ожидание равно
а(х)=а(х1)+ а(х2)+ а(х3).=0,4-+ 0,3+0,6 = l,3.
Пример 3.3. Найти дисперсию случайной величины х, которая
задана следующим законом распределения:
Таблица 1
-- ;--1~--~
,-5---~-
,2-
Решение. В соответствии с (3.19, а) дисперсия дискрет_ной слу­
чайной величины
3
D(х) = ~Рк[Хк - а(х)]2•
k=I
Математическое ожидание
а(х)=0,3 •1+0,5 •2+0,2 •5=2,3.
Тогда искомая дисперсия
D (х) = 0,3 (l -2,3)2 + 0,5 . (2-2,3)2 + 0,2 (5-2,3)2 = 2,01.
Пример 3.4 . Производится 10 независимых испытаний , в каждом
из которых вероятность появления события А равна р = 0,6. Найти
дисперсию числа появлений события А при испытаниях .
Решение. Число х появлений события А в п = 10 независимым
испытаниям складывается из •появлений события А в - отде.'!Ьных
испытаниях; т. е.
84


Величины х1, х2 , х3, ... , х10 взаимно независимы, поэтому дис­
персия суммы случайных величин равна сумме дисперсий этих
величин
D(х)=D(х1)+D(х2)+D(х8)+•••+D(хп).
На основании (3.10) можно написать следующее выражЕ>ние для
дисперсии величин х1 :
D(х1) =а2(х1)- а2(х1),
.
Математическое ожидание числа появлений события в одном
испытании равно вероятности события (см. приКiер 3.1 ), поэтому
а(х1)=р.
Величина а2 (х1) представляет собой математическое ожидание
случайной величины х;.
Так как Xi может принимать только два значения, а именно 12
с вероятно~тью р и 02 с веро'ятностью q, то
а2(х1)= m1·(х;) =р •12+q•О =р. •
Тогда
D(х1)=р-р2=р(1-р)=pq.
_
Очевидно для случайных величин х2 , х3, .... , х10 аналогично
будем иметь
D(х2)=pq; D(х3)=pq, ... ;
•D (Х10) = pq.
Следовательно, искомая диспер­
сия
D(х)= npq= 10•0,6 •0,4' ,,.2,4.
.!!.Оа
2
2
Пример 3.5. В измерительном
Рис. 3.30
приборе расстояние между сосед-
,r
ними метками шкалы постоянно · и равно а. При округленnи отсчета
до ближайшего целого деления погрешность округления по абсо­
лютной величине не превышает половины расстояния между сосед­
ними метками шкалы.
Найти плотность распределения вероятности, математическое
ожидание и дисперсию погрешности округления.
Решение. Погрешность при округлении отсчета можно рассмат­
ривать как случайную величину х, которая может принимать с рав-
•
·
а
а
ной вероятносrью любые значения в . пределах от
-
2ДО+2.
Следовательно, плотность распределения случайной величины х
а
а
постоянна в пределах от - 2 до + 2 и равна нулю за этими
пределами (рис . 3.30).
85


то
Так как должно быть справедливо равенство
а
а
2
2
5w1(х)dx= w1(х)5dx= 1,
1
W1(х)=
-
.
а
-. .;
Аналитически - закон равномерного распределения можно записать
а
О·прих<-2;
l
Математическое ожидание и дисперсия погрешности округления
в соответствии с (3.7) и (3 .8)
00
l'
а(х)=J
00
а
а
2
2
xw1 (х) dx = 5 x1⁄4d~=~;2/
а
2
=
3⁄4(-;~ -- -t) = О;
D(х)=5[х -а(x)J2w1(х)dx=
Пример 3.6. Случайная величина х распределена по нормаль-
ному закону, выражаемому функцией
•
w1 (х) = V I ехр{-(х; ~)2}.
2na 2
а
Показать, что а есть математическое ожидание, а а2 - диспер­
сия_ случайной величины х.
86


В соответствии с (3 .7) математическое ожидание а (х) случай­
ной величины х
.,
.,
а(х)= 'r XW1(х)dx = V rхехр{-(х
-2 ~)2}dx.
J
2ла2 .J
а,
>
-оо
Введем новую пере :v: енную
Отсюда
Тогда получим
х~а
Z=- -
a•
х=az+а; dx= аdz.
.,
а(х)= V;ла2 S (az+a)exp{--
~
2
}dz=
Первое слагаемое правой части- равно нулю, так как под знаком
интеграла нечетная функция : · известно, что интегр_ал
.,
Sехр{-
~
2} dz = V21t,
тогда
а(х) = а.
Дисперсия в соответствии с (3 .8)
D(х)=
.r[х-а(х)]2W1(х) dx = V;лa2S (х - а)2ехр{-(х ;:)
2
} dx.
Введем новую перем_енную
Отсюда
Тогда
х-а
Z=-a -· ·
х-а=az; dx_:__аdz.
•
а2r2
{
z2}
D(х)=VБiJzехр -2 dz.
-оо
Интегрируя по частям, положив и = z и z ехр {'-
~
2}dz = dv,
после определенных преобразований, получим
D(х)= cr2•
87


Пример 3. 7 . КонтроJJьно-измерительное устройство имеет систе­
матическую погрешность +зо мВ и случайную погрешность, рас­
пределенную по нормальному закону со среднеквадратическим
отклонением 10 мВ. Найти вероятность того, что общая • погреш­
ность устройства примет значение, принадлежащее интервалу
10-50 мВ.
Решение. Вероятность того, что погрешность х устройства не
превысит по абсолютной величине заданного предела, равна
50
•Р(10<х<50)=V2
1ncr2 jехр{-(х ;.~)
2
} dx.
10
-
Введем новую переменную
Отсюда
Тогда
х-а
Z=--
a•
х=az+а; dx=adz.
cr
О
p(l0<;x< 50)= ) 2; j ехр{~ ~
2
}dz= )2п j ехр{- ~
2
}dz+
\О-а
10-а
--
--
cr
а
50-а
50-а
+ )2п'S exp{-
·- t}dz- )2п l ехр{- ;
2
}dz-
o
,
о
10-а
-
)2л ~~ ехр{- ~2}d~ .
о
Пользуясь функцией Лапласа
х
Ф(х) = )2лJ ехр{- ~
2
}dz,
о
.
окончательно получим
-
р(10<х<50)= Ф(50;а)-Ф(10;а).
В нашем случае
а•30мВиа=10мВ.
Тогда с помощью таблицы функции Лапласа (см. приложение)
находим
.
'(50- 30)
(10 - 30)
J?(10<;х<;50)=Ф - 10- -Ф
-
1-0
-
.
=
= 2Ф (2) = 0,4472 = 0,9544.
88


Пример 3.8. Цель может быть с. равной вероятностью поражена
в J1юбой точке радиуса а. Определить математическое ожидание
и дисперсию отклонения точки поражения от центра окружности.
Решение. Случайное расстояние r точки поражения от центра
круга (рис. 3.31) может быть выражено через прямоугольные коор­
динатыхиу
Исходя из того что вероятность
•радиуса а равна единице, получим:
Рfiх!< а; iУ1<а]=
= И w2 (x, y)dxdy=
попадания в окружность
у
s
Так как ;J,всйной интеграл II dx dy
выражает площадь окружности ради-
Рис. 3.31
уса а и равен тса 2, то совместная плот-
ность вероятности случайных величин х и у а~tалитически может
быть выражена следующим образом:
{~прих2+у2<а2;
w 2(x, у)= na
.
_
О прих2+у2>а2•
Тогда математическое ожидание и дисперсия соответственно
21t
а
а(r)= jjn~2Vх2+у2dxdy= n~2jdcpjr2dr= ~а;
х2+у2,;а2
О
О
21t
а
D(r)= jj
n~2(;2 +у2)dxdy-а2(r) = n~2j dcpjr3dr-:-
х'+У' ,;а'
'
О
О
42а2
- ga =Th·
Пример 3. 9. Корреляционная функция случайного процесса х (t)
задана выражением
Кх (',)=А ехр {-а(',)},
где а > О (рис. 3.32). Найти спектральную плотность.
Решение. В соответствии с (3.41) спектральная плотность
00
00
2('
"
2А1
G(щ)= nJКх(1:) cosщ-~:d-i: = n Jехр{-a-i:} cosщ,:d-i: =
о
о
2Аа
89


График G (ш) показан на рис. 3.33.
Пример 3.1 О . Найти спектральную плотность для процесса
с корреляционной функцией вида о-функции.
!((т)
. G((u)
-r
r
-w
Рис. 3.32
Рис..3 .33
Решение. Исходя из определения о-функции как предела прямо­
!
угольного импульса о, (t), длительности 't и высоты - при 't-+ О
't
-
~
интегр ~л •I х (t) о (t) dt, где х (t)- произ вольная функция, может
быть представлен в виде
,.
со
со
2
S. x(t)o{t)dt= Iim s x ·(t)o , (t)dt= lim \
•
't➔O
't -+0 t..
-со
~со
't
Согласно -~:.еореме о среднем значении,
t
t
2
2
х(t) i_dt.
't
Iim S x(t)J_dt=Iim x (O)_!_ 5 dt=x(O).
't-+0
't
- r-+0
't
'
10 1.;,
'
-2
-
2
Таким образом,
~
Iх(t)о(t)dt= х(О).
-
~
(3 .75) ·
Тогда, согласно о бщей формуле (3.41), пользуясь (3 .54), найдем
спектральную плотность
~
~
G(ш)~ ~ - 5 Kx('t)exp{ - jш't)d; = ~ S o(t)exp( - jш't)dt =
= ~ 1ехр,{-jшJ) l,=Q= ~.
Следовательно, при корреляционной функции тип.а о-функции
спектр равномерен на всех частотах (сигнал типа .«белый шум»,
см. рис. 3.8, а и б).
90


Пример 3.11. Найти корре.11яционную функцию для процесса с спек­
тральной плотностью в виде о-функции -G (ш) = о (ш) (рис. 3.34).
Решение. Согласно общей формуле (3.42), пользуясь (3.54),
получим
00
=
K('t)={ i G(ш)ехр{iш")dш={ s,- o(ш)exp{jш't)d~ =
1
.
-
1
= 2 [ехр{Jш't}1,=о _2
.
График корреляционной функщш представлен на рис. 3.35 .
G(r,;}
K(r}
о
1,)
-т
о
r
Рис. 3.34
Рис. 3.35
Пример 3.12. Найти корреляционную функцию периодического
2п
•
сигнала х (t) с периодо\1 Т1 =
-
.
(1)
Решение. Корреляционная функция сигнала х (t) равна
т,
-2
Кх('t) _:__ m1[х(t) •х(t+'t)]= -f- 5х(t)·x (t+'t)qt.
'
1т,
-т
Представим периодическую функцию разложением в ряд Фурье
00
х (t) = 2- Ak ехр {jkш1t).
k=-oo
Тогда
т,
-2
00
Kx('t) = i1 j ~ Akexp (jkш1t)• ~ А1ехр{jlш1(t+ 't)} dt=
--
Т, k=-oo
l=-oo
-т
т,
-2-
)1 ~ ~ AkAtехр{jlш1't} jехр{j(k+[)w1t}dt =
k=.- oo l= -oo
Т1
•
-2·
00
00
_
sin(k+l)w1~1
= L~AkAt
т exp- {jlw 1t).
j(k+l)w1у
k=-oo l=-oo
91


т
Tf
sin(k+l)wi/
Так как щ12 = 1t, то дробь
---- --
равна нулю при
j(k+l)(J)l ~1
любых комбинациях k и /, кроме · k + l = О, при которой дробь
обращается в единицу . Следовательно,
.,
=2 ~ iAкl 2 coskщ1't.
k=1
• Как видно из полученного выражения, корреляционная функ-
ция периодического сигнала с периодом Т1 представляет собой
периодическую функцию аргумента 't с тем же .
периодом Т1 . Амплитуда гармоники корреля­
ционной функции равна удвоенному квадрату
амплитуды соответствующей гармоники х (t).
При этом Kxi't) как четная функция разла-
о
· Рис.
3.36
гается в ряд по косинусам .
Пример 3.13. Нормированная спектральная
плотность g (щ) случайной функции х (t) посто­
янна на некотором интервале частот ш 1 , ш 2
и равна нулю вне этого интервала (рис. 3.36).
Опреде.тшть нормированную корреляционную функцию .
Решение. Исходя из условия, что площадь, ограниченная кривой
g (щ), равна еДИНИЦе, НаХОДИМ ЗНаЧеНИе g (щ) ПрИ Ш1 3⁄4 (1) 3⁄4 Ш2
Из (3.42) имеем _
002
002
Г('t)= rg(ш)cosш'tdш=---['cosш1:dш=
J
W2- (J)l J
Общий вид функции r ('t) изображен на рис. 3.37 .
Пример 3.14 . Белый шум со спектральной плотностью G (ш) =
= 0 0 = const проходит через многокаскадный усилитель с частот­
ной характеристикой в форме гауссовой кривой (рис . •3.38)
G(щ) = G0 ехр{-(w ;~:0>
2
}.
92


Найти спектральную плотность и корреляционную функцию
оых одного сигнала.
Реше ние . Спектральная плотность выходного сигнала
G1 (w) = GoIС(ш)/2 = G0C~ехр{-(w -;2wo)2}.
Таким образом, спектр шумов на выходе усилителя также имеет
форм у гауссовой кривой.
r(r}
6(r,J}
Рис. 3.37
Рис. 3.38
Для случая, когда спектр сигнала узкополосный, симметричен
относительно частоты ш 0 и обладает в этой точке м_аксимумом, кор­
реляционная функция в соответствии с (3 .50)
К('t) =[201(w0- w)cosшtdwJcosw0t =
..
= ~G0C~cosw0t jехр{- ;:}cosшtd.w=
о
= v;G0C;~ ехр{- ~:~
2
} cos w0t.
Пример 3.15. Белый шум U0 со спектральной, плот.ностью G (w)=
= G0 = const подается на вход цепи, изображенной на рис. 3.39 .
Найти спектральную плотность , корреляци­
онную функцию и срещ1еквадратическое
з начение выходного сигнала И1 .
Решение . Спектральная плотность вы­
х одного сигнала
G(w) =G0 jK(jw)l2,
где К (jw)- коэффициент передачи цепи .
Для схемы , изображенной на рис . 3.39,
К(' )
Ri
а
• Jw · R1+R2+jwL=1+iwT
где
Рис. 3.39
93


Квадрат модуля коэффициента пере~ачи
1 к (jщ) 12 = 1 +(l(~Т)2.
Тогда спектральная плотность выходного сигнала
G(щ) GoIК(jщ)12= 1:,:~)2•
Корреляционная функция в соответствии с (3.42)
N
N
К('t) = iG1 ( щ) cos (J)'t dщ = G0а2s1~s(;;)2 dщ,
о
о
Введя новую переменную х-: щТ, получим
N
't
Goa2 scos -ух
/(('t) =т
1+ х2 dx.
о
Известно, что
м
~cosрх
л:.
-т---+2 dx = -2 ехр (-1 pq 1)'.
.
qх
q
о
Тогда
00а2п { 1't 1} nG0a2
{
/'t/}
К('t}=т 2 ехр - т
=2rexp --у-.
Среднеквадратическое значение выходного сигнала
V-
.
vл:GoaZ
О'= K('t}o=O = 27"·
Пример 3.16. На вход дифференцирующего устройства посту­
пает случайная функция х (t) с математическим ожиданием ах (t) =
= sin t и корреляционной функцией Кх (t 2, f1}=D (х) ехр {- а (t 2- t1)2),
где D (х)-:-- постоянная во времени дисперсия функции х (t). Опре­
делить математическое ожидание и дисперсию на выходе устройства.
Решение. Случайная функция у (t) на вых9де устройства связана
с входной функцией х (t) оператором дифференцирования
d
у(t} =dtх(t).
• Тогда математическое ожидание и дисперсия выходного сигнала
ау(t)= :t ах(t)= cost;
д2
•
,
Ки (t2, t1) _
-
дtiдt2Кх(t2,t1)= 2D(х}аехр(-а(t2-
-
t1)2} [1+ 2а (t2 - t1}2).


При
t2=t1
К,ц(t2- f1)=Dy(t)=2D(х)а.
Таким образом ,- дисперсия выходного сигнала также не зависит
от времени.
Пример 3.17. Определить погрешность квантования во времени
сигнала конечной длительности. Известно следующее:
1) _сигнал х (t) может принимать с равной вероятностью любые
значения В Пределах ОТ 0 ДО Хмакс;
2) частота квантования шк выбрана таким образом, что относи­
тельная величина площади энергетического спектра сигнала, нахо-
дящегося в пределах частот от шс = ~-шк
дош=оо,равна 5%.
Решение. Для решения задачи воспользуемся выражением (3.66).
По условию относительная величина площади отсекаемого участка
спектра сигнала Q"'c = 0,05. Средняя мощность сигнала Рт =
Хма1<с •
I х2ш (х) dx.
о
Так как сигнал по шкале уровней распределен равновероятно,
.
'
1
тош(х)= --.
Тогда
Хмакс
хмакс
Рт= fх2- 1
-
dx=
•
'о
ХМЭI<С
Х2макс
~
Следовательно, искомая погрешность квантования
.
О,05х2мака
о
Dwc=з. 2
•
1001/о = 1,7%.
Х макс
Пример 3.18. Передаваемый по каналу связи сигнал квантуется
по уровню способом замены его мгновенных значений ближайшим
мен ьшим квантованным уровнем. Определить необходимое количе­
ство уровней квантования сигнала прt! условии, что приведенная
сред неквадратическая погрешность квантования не превышает 0,3%.
Решение. При заданном способе квантования погрешность кван­
товэ ния отрицательная и может принимать значения от О до -Лх,
где Л х - шаг квантования.
.
Среднеквадратическое значение погрешности квантования в соот­
ветств ии с (3.72)
л
Gк=...::::L..v_; .
•
23
Приведенная среднеквадрашческая погрешность
Л
1
,
100 =
х •100= ---- ·
100
2VзNЛх
2V3N
'
9/S
..


где N- количество интервалов, на которые разбивается динамиче~
ский · диапазон сигнала . при квантовании. -
Так как количество уровней квантования М на единицу превы­
шает количество интервалов кванто~ания, то
50
50
М=N+1=v- +1=V- +1=97.
3,к%
3•0,3
.
Пример 3.19. В процессе передачи сигнала, предс·т_авляющего
напряжение постоянного тока, величина котqрого изменяется . в пре­
де~т~ах от О до 100 В, происходит последовательное преобразование
его · во временной интервал tх и в число-имру льсный код. Преобра­
зование напряжения Их во временной интервал tх осуществляется
с помощью время-импульсного преобразователя (ВИП), последующее
•
преобразование в число-им.:
t/к Вренп-uмn1J//hсньщ fк вмm1.1l!ь
л пульсный код осуществля-
лреМразо'Dштш11,
..._____,.
ется путем заполнения_ вре-
tо
менного интервала tx им-
мераmор Jma1101111od
'lастотм
пульсами генератора эта-
лонной частоты (рис. 3.40).
Рис. 3.40
Опр~делить суммарную от-
носительную среднеквадра­
тическую погрешность преобразования напряжения в код, если:
коэффициент преобразования время-импульсного преобразователя
Квип= 104 ~ ;
номинальное значение частоты эталонного ·генератора fO =
= 100 кГц;
относительное значение среднеквадратической погрешности
время-импульсного преобразователя 'Увип = 0,1 %;
относительное значение среднеквадратической погрешности эта- .
лонного генератора 110 = 0,05 % .
Решение. Количество импульсов п эталонного генератора, укла­
дывающихся во временном интервале fx и поступающих на- выход
венти·ля (рис. 3. 40),
Общая среднеквадратическая погрешнос·ть преобразователя, при­
веденная к выходу -устройства, определяется известной зависимостью
V)2(
)2
•
(дп
дп
2
O'D=
\аг;авип + дf;;ato · +ак=
= V<tоС1вип)2+ <tха,.) 2 + а~; _
где авип, а,0 и ак - среднеквадратические погрешности время­
импульсного преобразовате,пя, эталонного генератора и преобразо­
вателя временного интервала в число импульсов ~оответственно.
Преобразование временного интервала tx в число импульсов п
сводится по существу к квантованию по уровню сигнала, представ­
ленного временцым интервалом tх· При этом щаг квантования
_
96·
1


1
равен Лх = t0 = То . Так как нет синхронизации между rюсылками
н мп у льсов эталонного генератора и началом временного интервала
txi то имеем по существу случай квантования, когда дискретные
уровни не фиксированы относительно нулевого уровня входного
си гнала (рис . 3.27). При этом погрешность квантования распреде­
J 1 е на по закону Симпсона, а среднеквадрати чес1юе значение этой
погрешности
Лх
1
ak=Vи=Va•
так как шаг квантования Лх, приведенный к выходу устройства,
равен единице (одному импульсу). Тогда общая среднеквадратиче­
ская погрешность преобразователя
GD = v-(f_o_UB_И_П.,....)-~-+-(t_x_Uf-0)_2_+_· -,-~.
Переходя к относительным величинам, получим
1Е%=~100= 1/(авип)2+(~)2+__!_ ( 100 )2-
п
tx
fо
6 l(випfоИ х
-
V~ (0,1) 2 + <0,05) 2 + ~- (10-l~g010 2)
2
=0,12%.
КОНТРОЛЬНЫЕ ВОПРОСЫ
1. Какие трудности возникают при использовании п- мерных плотностей
распределения вероятностей случайного процесса для анализа систем передачи
информации?
,
2. Какими усредненными характеристиками описываются обычно случайные
процессы?
••
3. Что - понимается под математическим ожиданием и дисперсией случайного
процесса?
4. Что понимается под среднеквадратическим значением и среднеквадратиче•
ским отклонением случайной величины?
5. Что понимается под корреляционной функцией случайного процесса?
6. Что понимается под стационарносц,ю случайного процесса в широком
и узком смыслах; всегда ли процессы, стационарные в узком смысле, будут
ста ционарными в широком смысле, и наоборот?
7. Каковы основные свойства корр~ляционной функции стационарного
процесса?
8. Что понимается под временем корреляции случайного процесса?
9. Какие случайные процессы называются эргодическими?
10. Почему невозможно непосредственное приложение классического гармо•
нического анализа к случайным процессам?
11 . Какова связь между спектральной плотностью и корреляционной функ•
цией случайного процесса?
12. Какой случайный процесс называют белым шумом?
13. Какова корреляционная функция белого шума?
1'4. Что понимается под эффективной шириной спектра случайного процесса?
15. Какова связь между интервалом корреляции и эффективной шириной
спектра случайного процесса?
,,
16. В чем сущность квантования непрерывного сигнала по времени?
17. Что такое функция отсчетов и каков ее вид?
4 6-371
97


18. Сформулируйте критерий Котельникова, в чем значение этого критерия
для теории и техники передачи сообщений?
•
19. В чем заключаются противоречия критерия Коте.11ъникова?
20 . Сформулируйте критерий Железнова, сопоставьте критерий Железнова
с критерием Котельникова.
21. В чем сущность квантования сигналов по уров.ню и в каких алучаях
прибегают к такому квантованию?
_
22. Какие известны способы квантования сигналов по уровню?
23. В каi<их случаях прибегают к неравномерному квантованию по уровню?
Глава IV
ИНФОРМАЦИОННЫЕ МОДЕЛИ СИГНАЛОВ
Всякое информационное передающее устройство работает по
единой схеме (рис. 4.1). На вход устройства подается совокупность
сообщений Х1, Х2, ... ,
Хп, Задача устройства состоит В - ТОМ, чтобы
передать совокупность этих сообщений с достаточно высокой до_сто­
верностью, или, иными словами, чтобы перевести вектор сообщений
на входе Х (х1, х2, ... ,
Хп) в соответствующий ему вектор сооб­
щений на выходе У (у1 , у2 , ••• , Уп) без ошибок или с допусти-
Помещ
•
мыми ошибками [23, 24, 25, 26, 27].
В процессе передачи сообщение
может подвергаться многочислен-
х,}
!у, ным преобразованиям, существенно
Xz
lfнrрормаqионное
У:.2 меняющим его физические характе-
устроtlстОо
Хп
_______
Уп ристики. Однако _ передаваемая ин-
формация должна оставаться инва-
Рис. 4.1
риантной при всех преобразованиях.
Естественно, что количество пере­
даваемой получателю информации связано· с неопределенностью,
которая имела место относительно передаваемого сообщения. В связи •
с этим необходимо ввести количественную меру оценки информации
и неопределенности передаваемых сообщений.
4.1. Количество информации и неопределенность.
Энтропия как мера неопределенности
Фундаментальным вопросом для теории информации является
вопрос о количественной мере иrформации. Необходимо . отметить,
что всякая _информация получается потребителем после принятия
сообщения, т . е. в результате опыта. Сообщение, получаемое на
приемной стороне, несет полезную инqюрмацию лишь в том слу-
,,
чае, если имеется неопределенность относительно состояния источ- -
ника сообщений.
Если опыт имеет лишь один исход и не содержит никакой ,
_неопределенности, то наблюдатель · заранее будет знать исход этого
•опыта. В результате осуществления такого опыта наблюдатель не
получит никакой информатш.
118


Пусть опьiт имеет два равновероятных исхода. Результат кон- .
тро ля, например, должен указать, что контролируемый параметр
находится в пределах нормы или за ее пределами . Передаваемое
оо бщение в · этом случае может принимать два значения и содер­
жит определенную информацию.
Рассмотрим в качестве третьего примера источник напряжения,
выходное напряжение которого может с одинаковой щ~роятностью
11 р инимать десять различных значений. В этом случае будет боль­
ш ая предварительная неопределенность относител_ьно источника,
а поступившее сообщение (конкретный исход опыта) · даст более
уточненную характеристику состояния входа источника.
Рассмотрим общий случай, когда источник может передавать п
независимых и несовместных сообщений х1 , х2 , ... , Хп
с вероят­
ностями р (х1), р (х2), ... , р (хп) соответственно. Естествен.но,
что
чем меньшая априорная вероятность события, тем большее коли­
чество информации оно несет. Так, например, сообщение о том,
что летом температура воздуха в Крыму выше -нуля, не несет су­
щественной информации, ибо вероятность такого события очень
велика. Сообщение же о том, что температура воздуха на южном
берегу Крыма в июне ниже нуля, содержит значительно большее
количество информации, ибо такое событие является весьма редким.
Поэтому естественно предположить, что количественной мерой
неопределенности отдельного сообщения, а также -nередаваемой им
информации может быть величина, обратная его априорной вероят-
1
•
.
ности -(-) . Однако такая мера неудобна тем, что в случае, когда
рХ/
-
опыт будет иметь только один исход, т. е. вероятность такого
события равна единице, количество информации, согласн6 принятой
мере, ращю единице. В_ действительности же ·результат такого
опыта не дает никакой информации. Кроме того, такая мера не
обладает свойством аддитивности. Действительно, · если имеет место
сложное событие, состоящее из двух независимых событий Xi и
X j, то вероятность такого события будет определяться произведением
вероятностей р (xi) • р (xi)- Количество информации в сложном сооб-
щении должно оцениваться величиной 1 С этой точки
р(х;}р (xi) •
зрения более удоб·ной
и нфс,рмации
является логарифмическая мера количества
1
I(х,)=Iogaр(х;)•
(4.1)
При этом количество_.. информации, содержащееся в сложном
сообщении, представляющем совокупность событий Xi и х1, будет
ра вно
99


Логарифмическая мера, как видно, обладает свойством аддитив­
ности. Кроме того, эта мера в случае событий . ·С одним исходом,
дает нулевое количество информации .
Выражение (4.1) характеризует количество информации, содер­
жащееся в соо бщении Х;. Оно характеризует также априорную
неопределенность этого сообщения. В связи с этим выр ажение (4.1)
может быть использовано для количественной оценки неопреде­
ленности сообщения
(4.2)
Величину (4.2), характеризующую неопределенность отдельного
(i-ro) сообщения, принято называть частной энтропией.
Количество информации и неопределенность для всей совокуп­
ности случайных сообщений можно получить уёреднением по всем
событиям
п
п
I(Х)=~р(х;)IogaР(~;) =
-
~р (х;) loga р (хд, (4.3)
i=I
i=I
п
Н(Х)= -
~ р (x;)-Ioga р (х1).
(4.4)
i=I
Зависимости (4.3) и (4.4) выражают среднее на одно событие
(сообщение) количество информации_ и энтропии. Термин «энтро­
пия» заимствован из термодинамики, где аналогичное выражение
характеризует среднюю неопределенность состояния системы моле ­
кул вещества.
Несмотря на совпадение зависимостей (4.3) и (4.4) , энтропия .
Н (Х) и количес1:во информации / (Х) принципиально различны.
Н (Х), выражающая среднюю неопределенность состояния источника
сообщений, является объективной характеристикой источника сооб­
щений и, если известна статистика сообщений, может быть вы­
числена априорно, т. е. до получения сообщения. Величина же
I (Х) определяется апостериорно, т. е. после получения сообщений.
Н (Х) есть мера недостатка информации о состоянии отдельной
системы. С поступлением информации о состоянии системы энтро­
пия последней снижается.
Совпадение выражения (4.3) с выражением (4.4) свидетельствует
лишь о том, что количество получаемой информации равно численно
энтропии, которая имела место относительно источника сообщений.
На рассмотренной взаимосвязи количества информации с энтро­
пией проявляется известный диалектический закон единства и борьбы
противоположностей, так как информация рассматривается в связи
со своей противоположностью - энтропией и, с другой , стороны,
рассматривается как мера уничтожения, снятия энтропии .
Единицы измерения количества информации и энтропи и зависят
от выбора основания логарифма в формулах (4\ 3) и (4.4). При
использовании десятичных логарифмов количечво информации и
энтропия определяются в десятичных единицах - дитах. ~
. случае
.100


использования двоичных логарифмов измеряются количество ин­
формации и энтропия в двоичных единицах - битах. Наконец, при
11спользовании натуральных логарифмов единицей измерения яв­
ляется натуральная единица - нит.
При анализе информационных процессов в электронных вычис­
Jштельных машинах и других устройствах, функционирующих на
основе двоичной системы счисления, удобно пользоваться двоичными
единицами. При ан-ализе процессов в приборах, работающих в деся­
тичной (или двоично-десятичной) системе счисления, целесообразно
пользоваться дитами. В математических выкладках удобно поль­
з оваться натуральными единицами. При дальнейшем изложении
будем пользоiзаться •двоичными единицами - дв.
_
ед.
Мера количества информации в виде (4.3) впервые была пред­
ложена К. Шенноном в 1948 году и затем более строго определена
А. Я. Хинчиным [31]. • •
В случае равной вероятности сообщений выражение (4.3) для
количества информации приводится к виду
/(Х)= -log2р(х1) =log2п,
(4.5)
,
1
,
гдеп= -(
· ) - количество передаваемых сообщений.
рх,
Такая мера количества информации была предложена в 1928 году
Р . Хартли.-
•
•
4.2 . , Свойства энтропии дискретных сообщений
Формула (4.4) выражает энтропию дискретных сообщений.
Энтропия дискретных сообщений обладает следующими свой-
ствами:
•
1. Энтропия есть ,величина вещественная, ограниченная и неот­
рицательная: Это свойство следует из выражения (4.4), если учесть,
1 1то вероятности р (х1) есть величины неотрицательные, заключен-
ные в промежутке О< р (х1) < I.
,
'
2. Энтропия детерминированных сообщений равна нулю. Действи­
телыю, если заранее известно, какое будет собьr:гие, например х1,
то вероятность этого события равна едщшце, а остальных -' - нулю,
т.е.р(х1)=I;р(х2)=р(х3)= ..• == р(хп) =О.
Запишем выражение (4.4) в виде
п
Н(Х)= -[р(х1)log2р(х1)+ ~р(х1)log2р(х1)].
•
i=2
Первый сrлен равен нулю, поскольку log2 1 = О. Остальные
ЧJ1 ены также !обращаются в нуль при р (х;)-+ О. В самом деле,
устремляя р (х1) к нулю, получим
101


1
Введя замену -( -) = ~ и раскрывая неопределенность по пра- ,
рXf
вилу Лопиталя, получим
1
-
-log2 ~
1. log2~ 1. ~
О
1m -Q- = im-1
-
=.
~-но t'
~➔оо
3. Энтропия максима-льна, если все события равновероятны.
Нахождение оптимального значения вероятностей р (xi), при
котором обеспечивается максимум ~нтропии, может быть произ­
ведецо методом Лагранжа для отыскания условного экстремума.
Для этого необходимо составить вспомогательную функцию F
вида
п
F= - ~р(х1)log2р(х1)- л,
1-1
где л - множитель Лагранжа.
п
С учетом того, что ~ р (х1) = 1, представим вспомогательную
1=1
функцию в виде
п
п
F=-
~р(х1)log2р(х1) - л ~р(хе) =-
1=1
i=I
п
п
=-
~[р(хе)log2р(х1)+лр(х1))= ~F,
i=I
1=1
и найдем максимум этой функции.
Искомый максимум будет иметь место, когда
дF·
др(~,)= -log2р(х;)- log2е-л =О(i=1, 2, ... , п)
или
Величина вероятности р (xi) не зависит от номера i, что может
быть только тогда, когда все р (х1) равны меЖду собой.
_Следовательно,
энтропия максимальна при
Р(х1)= Р(х2) =
•••
=
Р(хп)= ..!... , ·
п
что и требовалось доказать.
Максимальное значение энтропии
п
. Н(Х)макс==-
~ J:. log2 J:. = log2n.
.t..J п п
(4.6)
•
i=I
Как · видно из выражения (4 .6), в случае равr1овероятных собы­
тий qнтрqщщ 5Qзрасtает с увеличением t<О.!Шчества событий.
102


4. Энтропия системы двухальтернативных событий может изме­
ня ться в прЕ>,целах от нуля до единицы .
Энтропия системы двух событий
Н (Х) = ....:...р (х1) log2р (х1) - р (х2) log2 р (х2) =
-
-р (х1) 1og2р (х1)- [1-р (х1)] log2 [1-р (х1)].
Из последнего выражения видно, что энтропия равна нулю при
р(х1)=О;р(х2)=1,
или
Максимум энтропии будет иметь место, когда
р(х1)=р(х2~-
Н(Х1)_,
При этом максимальное значение эн- rJВ. е 1
тр опии
1
1
Н(Х)макс= - 2 1og22 -
1
1
-
2 log22 =1дв.ед.
Таким образом, можно утверждать,
что одна двоичная единица - это энтро­
п ия системы двух равновероятных неза- r
висимых . событий.
о
0,S
f Р(х1)
Рис. 4.2
На рис. 4.2 представлена графически _зависимость
бин арных событий от вероятности одного из собьrтий.
энтропии
4.3 . Энтропия непрерывных сообщений
Непрер~шное сообщение, как случайная величина, характери­
зуется дифференциальным законом распределения вероятностей w (х).
W(,r}
-.х
о
Рис . 4:3
Пусть функция распределе­
ния плотности вероятности непре­
рывного сообщения имеет вид
(рис. 4.3).
Для определения энтропии
непрерывных сообщений восполь­
зуемся в качестве исходного вы­
ражения (4.4) для энтропии диск­
ретных сообщений. В связ и с этим
разобьем шкалу уровней непре­
р r,твной случайной величины х на небольшие участки Лх1 и внутри
1 н ждого участка выберем точки х1 так, чтобы выполнялось условие
I_w(х)dx = w(х1)Лх1.
(4. 7)
дх,
103


Вь!ра~ение (4.7) характериэует вероятность р (xl) попадания ,
случаинои веJ1ичины х в интервал Лх1 (рис. 4.3) при замене не­
прерывной случайной величины х совокупностью дискретных сооб­
щений х1, вероятности поступления которых определяются выраже­
нием (4.4). Такая замена будет тем точнее, чем _меньше участки Лх1.
Энтропия эквивалентного дис1{ретного сообщеющ в соответствии
с (4.4)
••
п
п
Н(Х)= -
~р(х1)log2р(х;) :.... -~ w (х1) Лх1log2[w(х1)Лх1J=
i=I
i=I
•
п
п
=
-
~ w(х1)Лх1log2w (х1)- ~ w(х1)Лх,log2Лх1,
i=I
l=I
Чтобы получить выражение для энтропии непрерывного сооб­
щения, осуществим предельный переход при Лх1 - О.
п
п
lim (-~ w(х1)Лх1log2w (х1) - ~ w(х1)Лх;log2Лх1) =
Ахг+О
i=I
•
i=I
..
=
-
Sw(х)1og2w(х)dx- Iim log2Лх1,
(4.8)
_
00
Ахг+О
так как
п
"
lim ~ w(х1)Лх1= S w(х)dx -:- i.
дх,➔О i=I
Второй член выражения (4.8) при Лх, - О стремится к беско­
нечности. Следовательно, энтропия непрерывного сообщения должна
быть равна бесконечности. Однако в реальных условиях отсчет
сообщений на приемной стороне производится в дискретных точках
вследствие конечной точности и разрешающей способности аппара­
туры, т. е. интервалы Лх, имеют конечную величину. Поэтому
выражение (4.8), определяющее энтропию непрерывного сообщения,
имеет две составляющие, одна из которых . определяется •законом
распределения сообщения, а вторая является постоянной величиной
и обычно исключается из рассмотрения.
Первое слагаемое
..
h(х)= -
Sw(х)log2w (х)dx '
.
(4.9)
представляет собой так называемую дифференциальную энтропию.
Дифференциальная энтропия зависит от статистики .сообщений. Если
п9ложить величину х безразмерной., то h (х) можно измерять в двоич­
ных единица_х, приходящихся на один определяющий дискрет в, смысле ,
В. А. Котельникова [27] . . Следует, однако, иметь в виду, что в
отличие от энтропии дискретных сообщений величина h (х) является
относительной, так как зависит щ масштаба х, а значит, от выбора
104


единицы измерения. В связи с этим h (х) отдельно не может слу­
жить абсолютной мерой неопределенности непрерывного сообщения
(9, 17).
Доказано [27], что при заданной средней -мощности (дисперсии)
максимальной энтропией обладает нормальный закон распределения
вероятностей. Если же задана пиковая мощность, то максимальной
энтропией облада~ равновЕ'роятный закон распределения.
4.4 . Энтропия сложных сообщений
При решении задач передачи информации часто имеют дело
с несколькими источниками, дающими· зависимые сообщения. Сово­
купность сообщений, вырабатываемых несколькими источниками,
назовем сложным сообщением .
Пусть имеются два · источника соо(Sщений. Сообщения первого
источника принимают значения х1, х2 , ••• ·,
Хп с вероятностями
р(х1), р(х2), ••• , р (хп)
и сообщения второго источника при- •
нимают зцачения у1, у2, ••• , • Ут
с вероятностями р (у1 ), р (у2),
·•·,Р(Ут)-
Совместную энтропию совокупности сообщений Х и У можно
представить в, виде
пт
Н(Х, У)=- ~~ р(х,, Yi) log2р(х1,-У1),
i=I i=I
(4.10)
где р (х,, Yi)- вероятность совместного появления сообщений Xt
и У!·
Учитывая, что совместная вероятность может быть представлена .
в виде р (х1, У1) = р (xi) • р (gJ!xi), где р (у/х1)-'. условная вероят­
ность сообщения у1 при условии, что поступило сообщение х,,
nыражение (4.10) можно привести к виду
.
,
п
т
Н(Х, У)=-~
~ р (х1) р (y/xt) log2 [р (х,) р (Yi{xi)] =
i=I j=I
п
т
= - ~ р (х1)log2р(х1)~р(у/х1)-
i=I
/=1
п
т
-
~ р(х;)~ , р (у/х1)log2р(y/xi).
i=I
J=I
т
С учетом того, что ~ р (У1/х1) = 1, так как при наличии сооб-
1-1
~
щения Xt обязательно будет одно из сообщений ансамбля у1, выра-
жение для совместной энтропии может быть преобразовано сле­
дующим образом:
п
п
т
Н(Х,•У) = -
~ р (х1) log2 р (х1)-:--- ~ р(х,) ~ р (у/х1) log2 р (у/х1) =
i=I
i=I
/ь!
п
=Н(Х)+~р(х1)Н(У/х1),,
(4.11)
i=I
105


т
.
где H(Ylxi)=-L p(yJx;)log2 p(yJx1)-тaк называемая частная
i=I
условная энтропия, выражающая энтропию сообщения У при усло-
вии, что имело место сообщение Х. Второй член выражения (4.11)
представляет собой усреднение Н (Y/xi) по всем сообщениям :Х-1,
х2 , • •• , Хп и называется средней условной энтропией сообщения
У при условии поступления сообщения Х. Обозначив его через
Н (У/ Х), окончательно получим
•
•
где
Н (Х, У)= Н (Х)+ Н (У/Х),
п
пт
Н(У/Х)= -Lр(х1)Н(У!х1)= -L ~р(х1)р(у/х1)Х
~1
~1~1
пт
•~ log2 Р(yJxt) =
-
L ~ р (х1, Yi) log2 р (у/х1).
i=I j=I
(4.12)
Основной смысл условной энтропии Н (У!Х) состоит в том, что
она показывает, какую энтропию дают сообщения У, когда уже
известна энтропия сообщений Х.
где
Из очевидного равенства Н (Х, У) = Н (У, Х) получим
Н(Х, У)= Н(У)+Н(XJY),
пт
Н'(Х/У) = -
~ ~ р (х1, У1) log2 Р (xtfYi)-
i=l /=I
.
Таким образом, совместная энтроrшя двух сообщений равна
сумме безусловной энтропии одного из с0общений и условной эн- .
тропии второго сообщения :
При некотором множестве сообщений Х, У, Z, . . .
совместная
энтропия
Н(Х, У,Z, ...) = Н(Х)+Н(У, Z, . ../Х) =
=
Н(У)+Н(Х,Z, .. .!У) = Н(Z)+'Н(Х, У, ...!Z)=...
Можно отметить следующие основные свойства энтропии слож­
ных сообщений:
1. При статистически: независимых сообщениях Х и У совместная
энтропия равна сумме энтропий с0общений -
'
Н(Х, У)=Н(Х)+Н(У).
(4.13)
Действительно, при статистически независимых сообщениях услов- .
на.я вероятность равна безусловной р (yJix1) = р (у1), а совместная
вероятность равна произведению вероятностей р (х1, у1) - р (х1) • р (у1).
Тогда условная энтропия •
тп
Н(У/Х) = - ~ ~ p(x1)p(y1)log,p(u1>•
1-11-1
106


п
Произведя суммирование по i, с учетом равенства ~ р (xi) = 1,
i=I
получим
пт
т
Н (У/Х) =
-~ ~ р(xt)р(Yi)log2р(Yi)=
-
L. p(yi) IogaP(Yi)=H(Y).
i=I /=!
i=l
Следовательно, при статистически независимых сообщениях услов-
ная энтро~ия событий равна безусловной.
,
2. При полной статистической зависимости · с:ообщений Х и У сов­
местная энтропия равна безусловной энтропии одного из сообщений.
Действительно, полJ-Iая статистическая зависимость соответствует
случаю, Iшгда условные верояпюсти р (y/xi) и р (x;/Yi) рiiвньr нулю
или единице. В этом случае выражения
р(y/xi) log2 (y/xi) = О и р (xJyi) log2 (xJyi) = О
и, следовательно, условные энтропии Н (У!Х) = О и Н (Х/У) = О.
Тогда получим
Н(Х, У)= Н(Х) = Н(У).
3. Уславная энтр9пия может изменяться в пределах
О<Н(У/Х)<Н(У).
(4. 14)
Так как условная энтропця положительна, равна нулю при пол­
ной статистической зависимости событий, максимальна при полной
статистической независимости событий и равна безусловной энтро- •
пии, то отсюда непосредственно вытекает это свойство. •
4. Для совместной энтропии всегда справедливо соотношение
Н(Х, У)<Н(Х)+Н(У).
(4.15)
Данное свойство совместной энтропии непосредственно вытекает
из предыдущего соотношения.
•
Если Х и У являются непрерывными случайными f!еличинами,
то по аналогии с выражение~ для безусловной энтропии (4.9) выра­
жение для энтропии объединения сообщений Х и У можно пред­
ста вить в виде
h(Х, У)=
-
55w(Х,У)log2(Х, У)dY=
.,
.,
'
=
5 f · w(X,Y)Iog2 w(X)dXdY-
107


-
Произведя интегрирование в первом слагаемом по У и учитывая, ,
что
..
Iw(Х,У)dY= w(Х),
получим
..
h(Х, У)'=- IW(Х)lbg2W(Х)dX-
..
"'
JJw(Х, У) log2 w(У!Х)dXdY=h(Х) +h(У/Х),
"'
гдеh(Х)= -
I Щ.1 (Х) log2 W (Х) dX - дифференциа.льная энтропия
"'
..
.
сообщения Х; h (У!Х) = -
JJw(Х, У)log2 w(У/Х)dXdY-
условная дифференциальная энтропия сообщения У; w (Х, У)­
плотность совместного распределения Х и У; w (Х)- плотность рас­
пределения Х; w (У/Х)- условная плотность распределения У . от­
носительно Х.
4.5. Количество информации
при неполной достоверности сообщений
-
В реальных условиях передача сообще1шй происходит при воз-
действии помех. Помехи искажают сообщения, вследствие чег-о сооб­
щения на . приемной стороне будут в той или иной степени отли­
чаться от переданных, т. е. будет иметь место неполная достоверность
передачи. Оценим количество передаваемой при этом информации
для случаев дискретных и непрерывных сообщений.
1. Дискретные сообщения
Вследствие отличия принимаемых сообщений от передаваемых,
при оценке количества передаваемой информации целесообразнее
рассматривать две . системы: систему передаваемых Х и систему
принимаемых сообщений У. .
Пусть передаваемое сообщение может принимать значения ·х1,
, х2, ••• , Хп с априорными вероятностями соответственно р (х1,),
Р (х2), ... , Р (хп),
Принимаемые сообщения характеризуются совокупностью значе­
ний у1 , у2, •.. , Уп, Наличие помех нарушает однозначное соответ­
ствие между передаваемыми • и принимаемыми сообщениями. Так как
помехи имеют случайный характер, то при приеме какого-либо
сообщения Yi невозможно · точно установить, какое сообщение было
передано. Можно говорить лишь об усJЮвной вероятности р (x/yi),
108


опреде.ТJяющей вероятность передачи сообщения Xi при условии, что
будет принято сообщение у1 .
Оценим количество информации, которое содержится в одном
из принятых сообщений у1 об одном из переданных сообщений Xi,
Условная вероятность р (xJy1) свидетельствует о том, что имеется
неопределенность в сообщении у1 относительно сообщения Xi, Эта
неопределенность может быть оценена условной энтропией _
(4.17)
Таким образом, вследствие воздействия помех начальная априор­
ная энтропия сообщения х1, определяемая количественно выражением
Н (х1) = -log2р (xi), • снимается при получении сообщения у1 не
полностью, а лишь уменьшается до значения Н (xJy1). Количество
получаемой информации в этом · случае будет . равно снятой части
неопределенности
Р (XflY1)
I (У1, х1) = Н (х1)-Н (xtly1) = log2 Р (xt)
(4.18)
Формула (4.18) выражает количество информации, которое содер­
жится в принятом сообщении Yi относительно переданного Xi. Это
количество информации принято называть частным количеством
информации, содержащимся в сообщении у1 относи:rельно сообще­
ния Xi.
Среднее количество информации о всех х1, содержащееся в одном
принятом сообщении у1, можно получить путем усреднения, по всем Xt
Формула (4. 19) выражает частное количество информации, содер­
жащееся в принятом сообщении у1 относительно всей совокупности
переданных сообщений Х.
•
•
Наконец, для того чтобы определить количество информации,
содержащееся во всей совокупности принятых сообщений У отно- •
сительно всей совокупности переданных сообщений Х, необходимо
осуществить усреднение по всем у1
п
п
I(У,Х)=~Р(У1)1(У1,Х)=1}Р(У1)Х
j=I
•
j=I
п
пп
~.
р (x1/Yi)
~~
Р (х1/У1)
Х.L,;.р(х/у,)log2 Р(xi) = ~LJР(У1)Р(xi[Y1)log2 Р(xt)
i-1
J=l i=l
(4,20)
Используя равенство
Р(У1)Р(xJy1) =Р(Xt, YJ),,
109


получим
(4 .21)
Формулы (4.20) и (4.21) определяют среднее количество инфор­
мации, содержащееся в У относительно Х.
Формулу (4.21) можно · привести к виду
п
п
I(У, Х)=~ ~р(х;, Yi)1og2р(xJyi)-
i=I j=I
п
п
-
13 ~р(Xt, Yi) log2р(х1) = _:_н(Х/У) -
-
i== 1 j.::1
п
п
-
~ ~ р (Xif'P (у/Xt) log2 р (х;).
i=I J=I
(4.22)
Произведя преобразование во втором слагаемом правой части
п-,1
выражения (4.22) с учетом равенства ~ р (у/х1) = -1, получим
•
j=I
п.
I (У, Х)=-Н(XIY)- ~ р(xt)log2р(х1) =Н(Х) - Н(Х!У).
i=l
(4.23)
Таким образом, среднее количество информации, получаемое
при неполной достоверности сообщений, равно разности безуслов­
ной энтропии Н (Х), характеризующей начальную (априорную) неоп­
ределенность сообщений, и условной энтропии f/ (Х/У), характери­
зующей остаточную (апостериорную) неопределенность сообщений.
Используя свойство условной энтропии
Н(Х/У)=Н(Х, У) - Н(У),
.
выражение (4.23) можно привести к виду .
I (У, "1) = Н(Х)+Н(У)_:__В(Х,.У).
(4.24)
Следовательно, количество передаваемой информацщ~: может быть
выражено через сумму энтропий передаваемого Х и принимаемого
У сообщений за вычетом совместной энтропии Н (Х, У).
то
или
110
Так как
Н(Х, У)=Н(У, Х),
Н(Х)+Н(У/Х)=Н(У)+Н(Х/У),
Н (Х)...:... Н (Х/У) = Н (У)-Н (У/Х).


•Из последнего равенства следует, что
/(У,Х)=/(Х,У),
(4.25)
т. е . количество информации; которое содержится в сообщении У
относительно сообщения Х, равно количеству информаци и, содер­
жащемуся в Х относительно У. Поэтому / (У , Х) и / (Х, У) назы-
вают также полной взаимной информацией.
•
2. Непрерывные сообщения
Для определени·я количества информации при непрерывных сооб­
ще ниях воспользуемся . в качестве исходного. выражением (4.23);
определяющим количество информации при дискретных сообщениях .
В этом выражении начальная и остаточная энтропии сообщений
с оответственно
п
Н(Х)=
-
~ р (xi) log2 р (xi),
i=1
п
п
•Н(Х!У)= -
~ ~ р (xi, У1) log2 р (xJy_1),
i=l /=!
(4 .26)
Для перехода к непрерывным случайным величинам выразим
вероятности через функции распределения плотности вероятности
р(xt) = w(xi)Лх1,
Р (У1) = w (у._) Лу1;
Р(Xi, У1) = W(Xi, У1) Лхiлу,;
р(xtlY1) = w (x;lyJ) Лх;,
где Лхt и Лу1 - элементарные участки, на ~оторы_е разбитьi r.μкалы
уровней случайных величин х и у, w (xi), w (У1), w (xt, У1), w (хtlУ1)­
знач ения функций распределения при аргументах Х = Xt, У= у1 .
Тогда, произведя в (4.26) соответствующие замены, получим •
.
п
/ (У, Х) = --~ w(xt)Лхilog2[w(х;)Лхi]+
· i=l
п
п
+ ~ ~ w(xt, у1) Лх;Луi log2 [w (xtly1) Лх;].
i=l j=l
Осуществим предельный переход при Лхt - О и Лу1- О.
Предел выражения для начальной энтропии Н (Х) при Лхt - О
00
•
limН(Х)=
-
) w(X)log2w(Х) dX - lim log2Лх;.
дхг~о
.
_
. ,.,
.
дх, .... о
111


Определим предел для остаточной энтропии
так как
пп
lim (~ ~ w(х,, Yi). Лх;Луi log2 [w (xJyi) Лxi]j =
дх1 -о i=l j=I
Ayj-+0
п
п
. ~ lim (~ ~ w(xi, у1)ЛхiЛу1log2 w (х;!у1)J+
ЛХ;-+0 i=l j=l
'
Ауг•О
п
п.
+ lim \ ~ ~ w(~i, yJ)Лx;Лyilog2Лxij =
Ах;-+0 i=l i=l
Ауj -+О
=
S S w(X, Y)log2w(XlY)dXdY +
п
п
+ liш (log2Лх;~ ~ w(х,, У1)Лх;Луi) =
Ах;-+0
i=l /=!
дуi-+0
S Sw(Х, У)log2 w (Х/У)dXdY+ lim log2Лхс,
~оо ~00
лхi-.-о
п
п
~~w(х;, у1)ЛхiЛу1= 1.
.
i=l i=I
Таким образом, после осуществления предельных переходов по­
лучаем выражение для. количества информации при непрерывных
сообщениях
..
I(У,Х)=h(Х)- h(Х/У)=- Sw(X)Iog2w(Х)dX+
+ _5 S w(X, Y)1og2 w(XIY)dXdY.
• (4.27)
Следовательно, и прц непрерывных с·ообщениях количество пере­
даваемой информации определяется разностью начальной и оста­
точной энтропии сообщения.
Если учесть, чrо . .
w(Х.У)
s
w(Х/У)= w(У) иw(Х)=
w(Х, У)dY,
то выражение (4.27) можно, представить в ином виде;
I(У,Х)= -
5Sw(Х,У)log2w(Х)dXdY+


....
+ ssw(ХУ)log w(Х. У)dXdY=
'
•
2 W(У)
""
""
= s sw(Х, У) log2 w7if~~i)dX dY.
(4.28)
В отличие от дифференциальной энтропии. количество инфор­
мации не зависит от масштаба непрерь_шных сообщений, если мас­
штабы Х и У одинаковы.
В заключение рассмотрим два предельных случая передачи
сообщений.
Полная статистическая зависимость передаваемых Х и прини­
маемых У сообщений_.
Практически это имеет место при незначительном уровне помех .
или при полном отсутствии помех.
•
В этом случае условная ЭНТР.опия
Н(Х/У) = О.
Следовательно, количество информации, содержащееся в У от-
носительно Х, равно энтропии передаваемых сообщений.
_
Полная статистическая независимость сообщений Х и У. Это
имеет место при высоком уровне помех, когда помехи полностью
подавляют полезный сигнал.
В этом случае условная энтропия равна начальной и количество
информации, содержащееся в У относительно Х
1(У,Х)=О,
•
т. е. сообщение У не содержит никакой информации о сообщении Х.
Из рассмотрения частных случаев следует, что информация,
содержащаяся в У относительно Х, не превосходит энтропии Х.
Максимальное . количество ' информации в случае абсолютно досто­
верн ой передачи сообщений
/ (У, Х)макс = Н (Х).
(4.29)
Выражение (4.29) справедливо лишь для дискретных сообщений.
При абсолютно достоверной передаче непрерывных сообщений
количество информации не равно ни энтропии Н (Х), ни дифферен­
циальной энтропии h (Х)" сообщения. Так как непрерывные сооб­
щения воспроизводятся с ограниченной точностью, то количество
информации зависит не только от статистики сообщения Х, но и
от способа его воспроизведения. При этом количество информации,
содержащееся в отсчетах Х* относительно сообщения Х, опреде­
лится разностью дифференциальных энтропий
_
/(Х*, Х)=h(Х)- h(Х/Х*),
(4.30) .
где h (Х!Х*)- условная дифференциальная энтропия, характери-
113


зующая потерю информации за счет ограниченной точности воспро·
изведени:я сообщения.
Выражение (4.ЗQ) можно привести к виду
00
00
. / (Х*, Х) = s sw(Х, Х*) log2 ww(t~·w1i•) dXdY.
Возможны случаи, когда задаются требования к верности вос­
произведения Х. В качестве критерия верности может быть исполь­
зовано допустимое значение среднеквадратичного отклонения Х*
отХ,т.е.
а*=VS S(Х-Х*) w(Х,'Х*) dX dX*.
Варьируя условной плотностью вероятности w (Х/Х*) = w~~x~•),
можно иsменить количество информации / (Х*, Х). _Очевидно, что
наиболее выгодным будет то значение функции w (Х/Х*), при ко­
тором / (Х*, Х) имеет наименьшее значение, ибо при этом обес­
печивается заданное требов ание к верности воспроизведения при
получении минимального количества информации. Наименьшее зна­
чение / (Х*, Х), _при котором удовлетворяется это требование, на­
зывают эпсилон-энтропией [60]. Согласно определению, эпсилон­
энтропия равна
Н.(Х)=мин1(Х*,Х)=h(Х)- максh(Х/Х*)
при
где в0 - допустимое · значение ошибки воспроизведения, эпсилон­
энтропия определяет информационную емкость источника непре­
рывных сообщений при заданном критерии верности воспроюше­
дения [9] ,
В общем случае эпсилон-энтропия определяется как минималь­
ное количество информации, определяемое двумя ситуациями (слу­
чайными величинами), одна из которых задана и мера различия
между которыми определ~ется некоторым условием (е) [2] .
. 4 .6 . Энтропия и количество информации .
при статистической зависимости элементов сообщений
При определении энтропии •и .количества передаваемой инфор­
мации предполагалось, что элемеюы сообщений с_татистически не­
зависимы . Однако в реальньrх условиях независимость элементов
сообщений - явление довольно редкое. . Например, при передаче
114


русского текста вероятности появления отдельных букв зависят
от того, какие буквы им предшествовали. Например, если пере­
дана буква «п», вероятность того, что следующей буквой может
быть «а» гораздо больше, чем вероятн ость по явления буквы «р».
После буквы «ъ» никогда не ожидается- появление буквы «н» и
т. п. Та!\ая зависимость между эл~ментами • о бразовалась истори­
чески в процессе длительного формирования современного русского
языка.
Очевидно, что при определении энтропии и информации в сооб­
щениях, элементы которых коррелированы, . нельзя ограничиваться,
как это мы делали до сих пор, только · безусловными вероятнос­
тями элементов сообщений, необходимо учитывать и условные ве­
роятности появления элементов. .
Будем полагать, что передается конечное число сообщений х1 ,
Х2, х3, ••• ,
Xg, Хп, Xi, Xj, . .. , Хп-1, · хп, Коррелятивные связи между
элементами сообщений могут распространяться на различные группы
элементов. Если эл~менты сообщений независимы, то условная
вероятность передачи элемента xi будет равна безусловной
р(х/х1, Хп, Xg, ... , Х2, Х1)= Р(xj).
Если имеется коррелятивная связь. только меJКдУ двумя сосед­
ними элементами, то вероятность передачи любого элемента сооб­
щения будет зависеть лишь от того, каков был . предшествующий
символ, т. е. условная вероятность передачи элемента xi будет
равна р (х/х 1). В этом случае элементы сообщений составляют
простую односвязную цепь Маркова. .
Если коррелятивные связи охваты13ают три э:лемента сообщений,
то последние представляют двухсвязную цепь Маркова и услов­
ная вероятность передачи элемента xi будет равна р (х/хiХп),
Большинство сообщений в реальных условиях представляют
собой · эргодическую последовательность, у которой коррелятивные
связи распространяются на конечное число элементов. При доста­
точной длине такой последовательности с достаточной точностью
могут быть определены вероятности и ус:ювные вероятности появ­
ления отдельных сообщений. Язык является типичным примером
такой последовательности. В любой книге на данном языке (кроме
узкоспециальных) частота повторения .отдельных букв и . их раз­
личных сочетаний будет постоянной, независимой от содержания
книги. .
Пусть сообщения составляют простую, т. е . односвязную, цепь
Маркова. В этом случае энтропия э.rrемента xi будет определяться
условной вероятностью р (xjlxi).
_
Для данного фиксированного Xi энтропия сообщений будет
определяться частной условной энтропией
.
п
Н(X/xi)= -
Lр(хilx1) log2 р (х/х,).
• i-l
115


Произведя усреднение по всем х;, получим выражение для .
средней энтропии соо~щения
п
п
п
Н(Х)= ~ .р(xi)Н(Xlxt)= - ~ р(xi)1: р(х/х1)log2р(xj/x;) =
i=I
i=l
i=l
п
п
= - lJ }:р(xi, xi)log2 р(x1/Xi),
i=l j=I
(4. 31)
В случае наличия коррелятивных связей между тр~мя элемен­
тами энтропия сообщений будет равна
п
п
п
Н(Х)= - ~ ~ р (х;, х,,) ~ р (х/х;, Хп)log2p(х/х1, х,,)=
n=I i=I
j=I
п
п
п
= ~ ~ ~ р(xj, Х;,. Xn) log2р(x/xi, х,,).
n=l i=l j=l
- (4.32)
Если коррелятивными связями охвачено большее число элемен­
тов, ,то энтропия определится аналогично.
При наличии коррелятивных связей между элементами энтро­
пия сообщений, а следовательно, и количество передаваемой ин- ·
формации уменьшаются, причем это уменьшение будет тем интен­
сивнее, чем сильнее коррелятивные связи и чем большее число
элементов будет охвачено этими связями.
4. 7. Избыточность сообщений
Как у)!{е отмечалось, средняя энтропия сообщений при одина­
ковом количестве элементов может быть. различной .в зависимости
от статистических характеристик сообщений. Энтропия максимальна
и определяется выражением (4.5), если ~ элементы сообщений равно­
вероятны и взаимно независимы. Если поступление элементов сооб­
щений не равновероятно, то энтропия уменьшается и определяется
выражением (4.4).
Еще меньшей будет энтропия при наличии коррелятивных свя­
зей между элементами сообщений. Для случаев, когда коррелятив~
ные связи охватывают два и три элемента, энтропия определяется
выражениями (4.29) и (4.30). Сообщения, энтропия которых маКс~­
мальна, являются оптимальными с точки sрения наибольшего коли­
чества передаваемой информации.
Мерой количественной оценки того, на.сколько данное реальное
сообщение по своей энтропии отличается от соответствующего ему
оптимального сообщения-, является коэффициент сжатия
Н(Х)
JJ, "':" · н(Х).
'
мака
где Н (Х)- энтропия реального сообщения; Н (Х)мака - энтропия
соответствуюr.u.еrо ему оптимал1:~ноrо сообщения.
116


Если неопrимальное и оптимальное сообщения характеризуются
одинаковой общей энтропией, то справедливо равенство
nfl (Х) = n' Н (Х)макс,
где п-число элементов неоптимального сообщения; п~ -число
элементов соответствующего оптимального сообщения.
Так • КШ{ средняя на элемент энтропия оптимального сообщения
максимальна, то число элементов неоппiмального сообщения всегда
будет больше числа элементов соответствующего ему оптимального
сообщения.
Коэффициент сжатия можно выразить через количество элемен­
тов сообщений
Н (Х)
п'
!J,=
-
Н (Х)мака n
Таким образом, реальные сообщения · при одинаковой информа­
тивности об..1Iадают определенной избыточностью в элементах по
сравнению с оптимальными сообщениями.
Мерой количественной оценки избыточности является коэффи­
циент избыточности
к_п-п'
_
Н(Х)макс- Н(Х)
и-
--------=!-~
п
Н (Х)макс
•
(4.33)
Избыточность приводит к увеличению времени передачи сооб­
щений, излишней загрузке канала связи. Однако не всегда нужно
стремиться к тому, чтобы избыточность Кн= О. Некоторая избы­
точность бывает полезной для обеспечения требуемой надежности
систем, повышения помехоустойчивости передачи сообщений. Напри­
мер, иногда практикуется повторная передача одного и того же
сообщения с целью повышения достоверности передачи в условиях
воздействия помех.
Имеется определенная избыточность и в русском языке. Оценка
статистики русского языка показывает следующее.
Средняя вероятность ~ повторения отдельных букв -в русском
языке иллюстрируется табл. 2.
Таблица 2
БуквБI
1о1е1а1иIт.rи1сrр
Вероятность повторени~ 1О, 11 1 0,0871 0,0751 0,0751 0,0651 0,0651 0,0651 0,048
ВуквБJ
r в 1лIкIц1
щ
1
з
1•ф
Вероятность повторения 1 0,0461 0,042 ·1 0,0341 0,0051 0,0041 0,003 1 0,002
117


Русский алфавит содержит ' 31 букву (при условии, если не раз­
личать буквы «е» и «ё», а также мягкий и твердый знаки). С уче­
том пробела между буквами русский язык, таким образом, обла­
дает 32 сим-волами.
При условии равновероятности и независимости символов сред-
няя энтропия на символ будет _ максимальна .
Н(Х)мако= log232= 5дв. ед•.
симв .
Если учесть различную вероятность символов, то
Н·(Х} = 439дв. ед•.
l
'
симв.
С учетом корреляции между двумя символами энтропия умень­
шается до значения
Н(Х)=352дв•ед.
2
'
симв.. '
между тремя символами - до значения
Н(Х)=305дв.ед:
З
·-'
симв. '
между восемью символами-до значения
Н (Х)= 2дв. ед-.-,
S
симв.
и д&льше остается неизменной.
Следовательно, избыточность русского языка составляет _
Кн=Н(Х)макс-Н(Х) =5-2=Об
Н (Х)макс ·
5
'•
Следует заметить, что у всех европейских языков избыточность
примерно _одинакова. Избыточность разговорных языков сформиро- 1
валась в результате очень длительной общественной практики и
позволяет восстанавлиRать целые слова и фразьi при их искаже­
ниях под воздействием различных мешающих факторов.
4.8. Преимущества и недостатки статистической мер111
. количества
информации
Такой подход к определению количественной меры информа-
• ции, когда в основу определения количества информации поло­
жены статистические (вероятI-lостные) характеристики событий,имеет
определенные достоинства _ и недостатки .
.
Основным достоинством статистической меры количества инфор­
мации является ее универсальность. Информация измеряется в од-
118


них и тех же единицах, независимо от ее физической природы
и содержания. В связи с этим рассмотренная мера количества
информации является во многих случаях весьма удобной при · аца­
лизе и синтезе сложных информационных систем и наиболее ра­
циональной при оптимизации характеристик систем. Важным пре­
имуществом статистической меры колич_ества информации является
ее объею ивность. Статистическая оценка событий не зависит от пси ­
хологических факторов, ибо устанавливается на основе экспери-
ментальных данных .
-
Вместе с тем то обстоятельство, что в основу измерения коли­
чества информации положены лишь статистические характеристики
событий, ограничивает возможцости данной меры информ,щии.
В ряде случаев · важно оценить смысловое содержание _(семан­
тику), а также ценность или целесообразность информации. Стати­
стическая мера количества информации не в состоянии обеспечить
решение данных задач.
В последнее время делаются попытки расширения области при­
менения теории информации за счет введения семантических мер
информации, мер . содержательности, целесообразности информации
и пр. Более подробное изложение этого вопроса смотрим в [28,
29, 30].
4.9 . Примеры
Прuмер 4.1 . Определить энтропию с_истемы, которая описы­
вается дискретной случайной величиной х со следующим рядом
распределения
р(х1)=р(х2) =р(х3)=р(х4)= 0,01, р(х5)= 0,96.
Решение. Используя выражение (4.2) для определения энтропии
дискретного распределения, получим
5
Н(Х)= - ~ р(xi)log2р(xi)= 4 •0,0llog20,01- 0,96log20,96 =
i=I
•
= О322дв.ед.
'
симв .
Пример 4.2. Определить энтропию сообщения из пяти рукв,
если общее число букв в алфавите равно 32 и все сообщения рав­
новероятны.
Решение. Общее число пятибуквенных сообщений_
п=325•
Используя выражение (4.5) для определения энтропии равно­
вероятных сообщений, получим
Н(Х)=l6g2п=5log232=25дв.?· -
•
СИМD.
119


Пример 4.3 . Определить дифференциальную энтропию непрерыв­
ного сообщения, распределенного по нормальному закону
1
{ (х- ах)2}
w(X) = V~exp -
22
•
2,i;cr2
а
Решение. Используя выражение (4.9) для определения искомой
дифференциальной энтропии, получим
..
..
h
r
d
5l
[ (х- ах)2]
(Х)= -
Jw(Х)1og2w(Х) Х::::;; - V2ncr2ехр - 2а2 Х
1
l
{ (х-ах)2}
•l5°'
l
{ (х-ах)2}
х og 2V_exp --2
-
2 - dX=log 2V_ V_exp --2
-
2- dX+
2:n:cr 2
а
.
.
2:n:cr 2
2ncr 2
а
-..
00
+Iog2еs( )2 • l
{ (х- ax)g}dX
2а2 х- ах V2na2 ехр - 2а2
.
•
-..
Интеграл первого слагаемого полученного вьrражения равен
единице, так как под интегралом имеется функция w (Х),
о!,"
а J w (Х) dX = 1. Второе слагаемое полученного выражения
-..
Таким образом,
h (Х) = Iog2V21tcr2 + ~ Iog2 е = log2V21tea2 дв. ед.
• Пример 4.4 . Измеряемая величина изменяется в пределах от
х0 до х0 + а и распределена по закону равной вероятности. Найти
дифференциальную энтропию данной величины .
. Решение.
Закон равной вероятности можно аналитически пред-
ставить в виде
•
·1l
w(Х)= априХо ,;;;:х.<Хо+а,
ОприХ<х0иХ>х0+а.
Тогда, используя (4.9), получим щкомую энтропию .
ot
I
х0 +а
h(Х)=
-
jw(Х)log2w(Х)dK= -
~5log2~dX=log2адв.ед..
Хо
120


Пример 4.5 .. Ансамбли событий Х (х1; х2, х3) и У (у1, у2) объе­
динены. Вероятности совместных событий р (Х, У) приведены
1;1 таq_л. 3.
Таблица 3
~, х,
1
х,
[х,
Yi
0,1 _
0,2
0,3
v~
0,25
о
0,15
-
.
Определить:
_
а) энтропию ансамблей Х и У;
б) энтропию объединенного ансамбля Х, У;
в) условные энтропии ансамблей.
Решен.не. Из очевидных равенств
"
п
~Р(х,,у1)=Р(xj}; L-Р(х1, У1) = Р(У1)
/=1
•
i~I
получаем
р(х1)=р(х1, У1)+р(х1, У2)=О,1+0,25=0,35;
р(х2)=р(х2, У1)+Р(х2, У2)=0,2;
Р(х3)= Р(Хз, У1)+Р(хз, У2)=0,3+О,15=0,45;
р(Yi)=р(х1,У1)+р(х2, У1)+Р(х3,У1)= 0,1+0,2+0,3 = 0,6;
Р(У2)= Р(х1,У2)+Р(х1,У2)+Р(хз,У2)=0,25+0,15=0,4.
Тогда энтропий событий
3
.
.
Н(Х)=- ~ р (х,)log2р(xt) = -0,35log20,35 - 0,2log20,2 -
i=I
-
2
-
0,45 log 2 0,45 = 1,512 дв. бед.; •
соо щ.
Н(У)=- Lр(у.)Iog2p(у1)=-0,6log20,6-0,4log20,4 q
j=I
I
-
=0971 дв~ ед.
'
сообщ. •
Энтропию объединенного ансамбля находим, используя (4.7)
3 \',
Н(Х, У)=- L Lр(х,, у1)log2р(х,, у1)=-О,llog2О,1-
l=I /=1
•
-
0,25 log20,25- 0,2 log20,2 - 0,3log2о;з ----О,15log2О,15 =
=2228 дв.ед.
'
сообШ---
121 _


Условные энтропии удобно определить, используя свойство (4.12)
Н (У/Х) == Н (Х, У) - Н (Х) = 2,228- 1,512 = 0,716 дБ.бед.;
.
соо щ.
Н (Х!У) = Н (Х, У) - Н (У) :__ 2,228- 0,971 = 1,257 дБ••бед •.
соо щ.
Пример 4.6 . Сигнал формируется в виде двоичнего кода с веро­
ятностями появления • символов 1. и О, равными соответственно
р (х1 ) = 0,6 и р (х0) = 0,4. Появления любого из символов _ взаимо­
связаны условными вероятностями :
р (х0/х0) = О, 1-,- вероятность того, что после О будет О;
р (х1/х0) = 0,9- вероятность того, .что после О будет 1;
р (х1/х1) ...: . О, 1- вероятность того, что после 1 будет 1;
р (х0/х1) = 0,9- верЬятноGть того, что после 1 будет О.
..
Найти энтропию сигналов .
Решение. Используя (4.31), находим искомую энтропи19
1
1
Н(Х)=
-
~р(хд~р(xJxi)Iog2р(xi/xi) =
i=O
j=O
= - (О,1log2О,1+O,9 log20,9) (0,6 +0,4) = 0,467 ~.
.
эл.
Пример 4.7 [101] . Вероятности появления сообщений х1, х2,
1
1
1
х3иХ4~авныр(~1)=2;Р_(х2)=4;р(хз)=Р(х4)=:8 .
Между сообщениями имеются корреляционные связи, описан­
ные табл. 4. На~ти энтропию сообщений.
122
Таблица 4
..
(Xj, Xj)
1
•р (х{•Xj)
1
р (X(/Xj)
1
х,, х,
1.
р (Х(; Xj)
r
р (X(/Xj)
XiXi
13/32
13/16
Х3Х1
о
о
Х1Х2
3/32
3/16
ХзХ2
о
о
Х1Хз
--
о
о
Х3Х3
о
о
Х1Х4
о
о
Х3Х4
1/8
1
Х2Х1
1/32
1/8
X4Xi
1/16
lf-2
Х2Х2
1/8
1/2
Х4Х2
1/32
1/4
Х2Х3
3/32
3/8
Х4Х3
1/32
1/4
Х2Х4
о
о
Х4Х4
о
о
Решение. Используя (4.31 ), получим и:скомую энтропию .
4
<i
Н(Х)= - ~ ~ р (х,, xi)Iog2р(x;/xi) = 13/32log2 13/16-
i=l /=1
- 3 /32 Iog2 3/16- l/~2 log2' l/8- 1/8 log2 1/2- 3/32 log23/8-
-
l/16 log2 1/2 _:_ 2/32 Iog2 1/4 = 0,886 дБ.бед• .
соо щ.


Пример 4.8 [91]. Задающее воздействие Х в виде электричес­
кого напряжения имеет 17 независимых дискретных зц,ачений
с шагом квантования Л , вероятности nоявления которых распре­
делены по двухстороннему экспоненциальному закону с плотностью
распределения w (Х) = 2~ ех р {- 1~ 1} (рис. 4.4), причем а = 0,53,
Л = 0,263.
•
Определить энтропию дис­
к ретного сигнала Х.
Решение. Вероятности появ­
ления уровней сигнала (pr1c. 4 .4)
определим по прIJближенной фор-
w(t)
м уле
~~;--==- -- -f+.1 --+- -- -- .::=,-
p(хд=w(хдЛ=
,,,
-= 0,2 ехр {- 10\ 1}.
Рис. 4.4
Вычисления сведены в табл. 5.
Таблица 5
х,
1
о
1
1
1
2
1
3
1
4
1
5
1
6
1
7
1
8
х,
о
0,2
0,4
0,6
0,8
1,0
·1.2
1,4 j1,6
w (х1) 1,00
0,67
0,45
0,30
0,20 0,14 0,091 0,061 0,041
Р (x-t) 0,200 0,134
.
0,090 0,060 0,040 0,028 0,018 0,012 0;008
Так как функция w (Х) симметричв:а, то вероятности для зна­
чений xi и -xi одинаковы . Тогда искомая энтропия будет равна
8
Н(Х)=-,-р(х0)1og2р(х0)- 2~р(х;)Iog2р(хд= 0,464 ~.
·
~
отсчет
Пример 4.9 . Найти совместную энтропию взаимосвязанных сооб­
щенцй Х и У и условную энтропию Н (Х!У), если двумерная
функция плотности распределения подчинена _ нормальному закону
w(Х, У) =2лсrcr~1_ , 2ехр[-(2~,2)(;:-
~::: +::)],
.
.
ху
,:
у
где r - коэффициент корреляции значений Х и У.
Решение. Совместная дифференциальная энтропия Х и У опре­
деляется соотношением
""
""
h(Х, У)=55w(Х,У)log2w(Х, У)dXdY,
-оо -оо
где
123


Подставляя значение !og'2 w (Х, У) в .выражение для h (Х, У),
получим
h(Х, У) ~ log2 (21taxay -vт==,:z'5I,w (Х, У) dX dY +
Так как
SSw.(X, У)dXdY= 1; •SrXYw(Х:У)dXdY= rахау;
-оо _...._с,о
..... 00 -оо
00
00
00
00
S SX2w(X, У)dXdY=а~; S SY2w(X, У)dXdY=а;,
.__со '-'-оо
...-со =-оо
то окончательно получим
1 ( V--2)
1
,2
h(Х, У)=
-
og2 21taxay 1-- r + -1
-
2log2е--1
-
2.log2е=
-r
-r
1(2V-1
-
2) дв. ед.
= og2 1teaхау
-
Г --,
отсчет.
Применяя формулу (4.11) и учитывая, что
h (У) = log2(~ау) ,
получим значение условной энтропии
h(Х/У)=h(Х,У)- h(У)=log2[V21te(1- r2) ах]~.
•
отсчет.
Пример 4.10 [27]. Контролируемый параметр Х может прини­
мать два значения х0 и х1 с. равными вероятностями р (х0) = р (х1 ) .
Вследствие ограниченной точности систещ,r контроля будут иметь
место ошибки контроля, т. е. вместо х0 может бьпь зафиксировано -
х1 и, наоборот, вместо х1 зафиксировано х0 • Условные вероятности •
таких событий равны 0,01.
Определить количество и11формации, получаемое при контроле.
Решение. Введем следующие обозначения результатов контроля:
у0 - система контроля указывает, что параметр Х имеет значение х0 ;
у1 - система контроля указывает, что параметр Х имеет значение х1.
124


Тогда условные вероятности ошибочного контроля будут соот­
ве·rственно равны р (х1/х0) = 0,01 и р(х0/х1) = 0,01.
На основании (4.23) количество получаемой информации при
неполной достоверно&ти контроля будет равно разности начальной
и остаточной энтропии
1
/(У, Х)=Н(Х)-Н(Х/У) = -
1: р (xi) log2P (xi) +
i=l
1
1
+ 1: Р (У1) 1: Р (xJy1) log2 р (x;JyI).
/=О
1=0
Начальная энтропия
Н(Х)=-р(хо)log2р(х0)-р(х1)log2р(х1)=
= 2 • 0,5 log20,5 = 1дв. бед.
соо щ.
Для определения условной энтропии Н (Х!У) необходимо знать
вероятности вида р (у1) и р (xJy/
-
Вероятности событий р (у.) вычисляем по формуле полной вера-
-
1.
.
ятности
Тогда
Р(Уо)= Р(хо)Р(yol"xo)+Р(х1)Р(YolX1)= р·(хо)11- Р(У11Хо)]+
+ р (х1) р (у0/х1) = 0,5 (1-0,01) + 0,5 • 0,01 = 0,5;
Р(У1)= Р(хо)Р(Y1fXo)+Р(х1)Р(yi!Xi)= Р(хо)Р(yi/Xo)+
+р(х,)[1- р(y0/Xi)J= 0,5. •
Условные вероятности р (х,/у.) вычисляем по теореме Байеса
1
.
( / ) _ р(xi)р(уjlxi)
рxiу.-
()•
'
-
рУ1
Тогда
( ! ·) _ р(х0)р(Yi/X0) _ 0,5 •0,01 _ ОOl•
рХоУ1-
р (Yi)
-
0,5
-
'
1
( ·/ )= р(х1)р(у0/Х1) = 0,5 •0,01= 001
РХ1Уо
р (Уо)
0,5
'
'
Таким образом, условная энтропия
Н (Х!У) = -р (Уо) [р (xofYo) log2 Р (хо!Уо) + Р (XilYo) l6g2 Р (x1IYo)J -
-
Р (У1) [р (xolYi) log2 Р (xolYi) + р (xilYi) log2 р (x1/y1)J =
-р (Уо) {[1- Р (x1IY0)] log2 [1 - р (x1IYo)J + р (х1/Уо) log2 р (x1IY0) ):-
-
Р (У1) {р (xofY1) log2 Р (xolY1) + 11 - Р (хо!Yi)] log2 11 - Р (хо/У1)) =
=О081дв.ед•.
'
сообщ.
125


Окочательно получаем
l(У••Х) = 1- О081= О92дв.ед•.
'
.
.
'
'
сообщ.
Пример 4.11 [27] . Опыт а состоит , в том, что мы ищем неко­
торое· число х из 1, 2, ... , N чисел. Опыт р уточняет это число,
таi< как он став ит уёловие, что искомое число должно делиться ,
на т. Какова информ ация опыта р относительно опыта а?
. Реш ение.
Искомое количество информации может быть опреде­
лено через разность безусловной и условной энтропий
Н(р, а)== Н(а) -Н(а/р).
Опытасостоитвтом,чтомыиз1,2,3, ..., Nчиселсоди-·
наковой вероятностью можем случай-но •выбрать любое число.
Поэтому энтропия такого опыта •
Н (а)= log2 N.
Осуществляя опыт р, мы будем иметь дело с двумя исходами:
число делится на т и не делится lia т. Пусть из N чисел q чисел
делится на т. ·Тогда вероятности первого и второго исходов
P._
_g_ .
.
N-q
1- N , Р2=---ТГ-.
Ч:астная условная энтропия, когда одно из q чисел делится
на т,
Н1 (а/р) = log2q. .
Частная условная энтропия второго исхода опыта р
Н2(а/р) = log2(N~q).
Результирующая усредненная условная энтропия
Н(а/р)= Pilog2q+Р2log2(N- q) = ; 1og2q+N;;qlog2(N-q).
Gледовательно, получаемая информация
.
q
N-q
/ (р, а) = log2N ~N log2q----тг- lоg2(N-:- q).
Пример 4.12 [27] . Передается четыре независимых сообщения
х1 , х2 , . х3 и х4 с одинаковыми априорными .вероятностями. Пусть
при правильном -воспроизведении информации передаваемых сооб­
щений на приемном конце сообщению х1 соответствует Yi, х2 - у2
и х3 - у8 . Вероятности правильного и ошибочного воспроизведений
сообщений соответственно равны р = q = 0,5 . Определить коли­
чество информации , содержащееся в У относительnо Х.
Решение . Безусловная энтропия сообщений Х •
Н(Х)=!о 4=2~.
g2
• сообщ .
126


Условная энтропия может быть определена из соотношения
где
4
4
.
Н (Х!У) =
-
~р(у.) ~р(xJy.)log2р(х/у.) ,
j=I
I i=I
•
1
1
Р(У1)=Р(х1)Р(y1lx1)+Р(х2)Р(У1/Х2)+р{хз)Р(у1!Хз)+
+ р (Х4) р (У1/Х4);
Р(У.2) = р(Х1) Р (У2/Х1) + Р (Х2) Р(У2/Х2) + р(хз) Р(У2/Хз) +
+ Р (Х4) р (У2/Х4); ,
Р (Уз)= Р (х1) Р (Уз/Х1) +Р (х2) Р (Уз!Х2) + Р (хз) Р (УзfХз)·+
+Р (х4) Р (УзfУ4);
р(У4)=Р(х1)Р(у4/Х1,)+Р(х2)Р(у4/Х2)+Р(хз)Р(у4/Хз)+
+ р (Х4) р (у~/Х4).
Так как справедливо равенство
Р (yix1) + Р (Уз!Х1) + Р (у4/Х1) ~ q,
то вследствие равновероятности событи_й
р(У2/Х1)= р(Уз/Х1) = р(у4/Х1) = i ·
Аналогично можно показать, что
.
.
q
Р(Y1fX2) = Р(Уз/Х2) = Р(};4/Х2) = 3;
Р(У1/Хз) = Р(х2/Хз) = Р(у4/Хз) = !;
Р(Y1IХ4) = Р(У2!Х4) = Р(Уз!Х4) = i •
С учетом тощ что р (У1/Х1) = р (у2!Х2) = р (у~!хз) = Р (у4/Х4) = р,
получим
Аналогично определяем
1
1
1
Р(У2)=4; Р(Уз)=4; р(у4)=4·
Условные вероятности р (х/у 1) находим на основании формулы
Байеса
Тогда
•
127


Аналогично находим
Р (x2IY2) = Р (хзfуз) = Р (х4/у4) = ();
Р (x2IY1) = Р (хз/У1) = Р (х4/у1) = Р (х2/У1) = Р (х31У2) = Р (х4/у2) =
= Р (х1fУз)= Р (х2fУз) = Р (Х4/уз) = Р (х1/У4) = Р (х2/У4) =
=Р(Хз/У4)=:•
Следовательно, условная энтропия
Н(Х/У)- -р(У1)[рlog2р+3: log2 i]-
-
Р(У2)[Рlog2P + 3; log2 i]-р(У3)[рlog2 р+ 3~ log2 ; ]-
-
q
q]
q
-
р(у4)[Рlog2р+33 log23 =-рlog2р- qlog23 .
Таким образом, получаемая информация
/(У, Х)=2+рlog2р+qlog2 : = 2+1/2log21/2+
+-21 log2 l/6 = 0,21 дв.бед •.
.
соо щ.
Пример 4.13. Определить количество информации, содержащееся
в одном замере случайной •величины х, равномерно распределенной
в пределах от О до 256, если погрешность измерения распределена
по нормальному закону и среднеквадратическое значение погреш­
ности О'= 5.
J.>ешение. Дифференциальная энтропия случайной величины Х
256
S1
1
h(х)= -
256 log2256 dx = 8 дв. ед.
о
Остаточная дифференциальная энтропия определяется погреш­
ностью измерения и на основании примера 4.3
h (8) = log2 V21tecr = log2 V21te5 =- 4,39 дв. ед.
Количество информации, получаемое в результате одного замера,
определяется разностью начальной и конечной энтропий
/(х)=h(х)- h(8)=8-4,39 =3,61 дв. ед.
Пример 4.14 [28]. Полна~ шкала измерительного прибора содер­
жит 1ООО делений. Погрешность прибора составляет ± 1% от пол­
ной шкалы и распределена . по закону равной вероятности. Опре-
делить избыточность шкалы прибора .
'
128


Решение. В оптимальном случае при приведенной погрешности,
равной ± 1%, достаточно иметь 50 дедений шкалы . Тогда на осно­
вании (4.33) избыточность
1000- 50
Кн = 1000 = 0,95.
П ример 4.18. Вырабатывается стимулирующий сигнал х (t)
с одномерным нормальным распределением и корреляционной функ-
цией вида
•
где
,
'
1
ах=10В; а=50-
.
с
Отсчет сигнала производится в т = 100 точках. Определить
энтропию квантованного сигнала и его избыточность.
Решение. Так как энтропия квантованного сигнала может быть
представлена приближенным равенством
т
'
Н (Х) = - ~ w(хJЛ (х) log2[w (х;)'Лх],
i=I
•
где Лх-шаг квантования, то при достаточно больш_ом ·числе уров­
ней квантования операцию суммирования можно заменить интегри­
рованием
00
Н(Х)=- Sw(Х)log2[w(Х)Лх]dX=
-
•
'
=- I w(Х) log2w (Х)dX-1og2Лх.
В случае отсутствия корреляции энтропия квантованного сигнала
Н(Х)мака·= log2 (~ах) ~ log2Лх =log2 ( ~;J.
Шаг квантования определим следующим образом :
Лх=Lx'
т
где Lx - динамический диапазон сигнала.
Для нормально распределенного s:иrнa.JJa можно принять
Lx = бах,
'l'О ГДа
6О"х • 60
,,
Лх=т=100=0,6В.
Следовательно,
•
Н(Х)м~ка=lоg2(~ 0106) =6,11 ~
.
,
отсчет
1! 0·371
129


Энтропия квантованного сигнала при наличии коrреляции
в соответствии с выр ажением для условной энтропии коррелиро• ,
ванного сигнала, пол ученным в примере 4.9,
Н(Х)=log2(V21te(1.:__ r2) ах) - log2Л(х) =
= _log2 (V21te (1- r2);J.
Коэффициент корреляции r может быть получен из соотношения
r_ Кх(-ro)
-
2
а(х) '
где 't o- интервал корреляции.
На основании (3.34) интервал корреляции
Следовательно,
r= Кх~-ro) =ехр{-аj-i:01}=ехр{-1}=0,368.
ах
.
Таким образом, энтропия квантованного сигнала при наличии
корреляции
• Н (Х) = log2(У21te(1- 0,368) 0106) = 6 дв. ед•.
,
отсчет
Избыточность в соответствии с (4.33) будет равна
Кн•Н(Х)ма1<с - Н(Х) =6,11 - 6 =О02_
Н (Х)ма1<с
6, 11
'
К:ОНТРОЛЬНЫЕ ВОПРОСЫ
1. Поясните сущность понятия энтропии.
2. В каких единицах измеряется энтропия?
3. Сформулируйте основные свойства энтропии.
4. К:ак определяется энтропия дискретной систе.мы с равновероятными
и неравновероятными состояниями?
5. Чему равна энтропия при неравновероятном и взаимозависимом рас•
пределении элементов системы?
6 . В чем заключается особенность определения энтропии для непрерыв•
ных распределений?
7. Что такое условная и совместная энтропия?
8. Сформулируйте основные <:войства энтропии сложных сообщений .
9. Поясните связь между энтропией и информацией.
10. Какие основные требш!'ания предъявляются к мере к,оличества инфор­
мации?
11. К:ак количественно . оценивается информация при полной и неполной
достоверности сообщений?
130


12. Что понимается под €-энтропией?
_
13 . Сформулируйте преимущ ества и недостатк и статистической меры коли -
чества информации.
14. Поясните сущность _ понятий частной и полной информации .
15. Что понимается под избыточностью сообщ е ний? '
-
16. Что является мерой количественной оцен к и из б ыточности ?
Глава V
ПЕРЕДАЧд И НФОРМАЦИИ
5.1 . Обобще н ные характеристики сигналов
и информационных каналов
Любую информационную систему можно · подразделить на источ­
ник, преобразователь, канал передачи, накопитель и отображающее -
у стройство информации, а информационные процессы, происходящие
в этих устройствах, представить в общем случае в виде процесса
п ередачи информации по некоторому каналу .
Обобщенная схема канала передачи информации представлена
на рис . 5.1 . Сообщения Х источника информации ИИ, после коди­
рования и модуляции в преобразователе П1 , превращаются в сиг­
нал У, поступающий в линию связи ЛС . В результате действия
помех ~ сигнал Z на приемной стороне отличается от У. Приемная
часть содержит преобразователь П2, демодулирующий и декоди­
рующий сигналы и перерабатывающий их в сообщения W, посту ­
пающие в приемник информации ПИ.
;;
,---л-----.
х
ии
Пt
Пz
пи
L
Рис. 5_
.1
Н епосредственным переносчиком информации является сигнал,
D общем случае представляющий собой случайно изменяющуюся
физическую величину. На практике при рассмотрении информа-
1~ион ных процессов удобно оперировать обобщенными показателями,
ха рактерными для множества сигналов данного вида и наиболее
t: ущественными с точки зрения передачи содержащейся в них
1111формации . Каждый сигнал имеет определенную длительность .
){J1ительность сигнала характеризует время передачи сообщений, про­
/ (О J1 жительность занятости информационного канала . Таким образом,
н110J1не естественно в качестве первой обобщенной характеристики
щ:щть время передачи сигнала Те, Каждый , сигнал характеризуется
111 1 лне опредf'ленным частотным спектром . Теоретически ширина
1·11 1,тра сигнала конечной длительности "неограничена. Однако
131


изучение спектров реальных сигналов показывает, что их спек­
тральная плотность убывает с ростом частотьr. Это позволяет при
определенных условиях рассматривать сигналы как процессы с огра­
ниченным спектром . . Существуют различные критерии ограничения
спектра сигнала. Одним из таких критериев являются допустимые
искажения сигнала. Например, практика показала, что при пере­
даче речевого сигнала разборчивость и качество речи практически
полностью сохраняются при ширине спектра от 300 до 3400 Гц (17].
Таким образом, второй обобщенной характеристикой сигнала должна
быть ширина его частотного спектра Fе• Третьей важной характе­
ристикой сигнала является его энергетическая характеристика -
])
])
t
tJ
Рис. 5.2
Рис. 5.3
средняя мощность Ре- Однако поскольку при передаче на сигналы
всегда воздействуют помехи, то в качестве энергетической харак­
теристики сигнала целесообразно брать отношение средней мощ­
ности сигнала Ре к средней мощности помехи Р~. Обычно это
отношение выражают в логарифмической мере D = log2 Рcl Р~ и назы­
вают динамическим диапазоном, причем при оценке информационной
содержательности удобно выражать динамиче<;кий диапазон через
логарифм с основанием 2.
Произведение
(5.1)
принято называть объемом сигнала. В геометрическом представле­
нии объем сигнала имеет в~д параллелепипеда с ребрами Те, F0
И Dc (рис. 5.2).
Информационный канал можно характеризовать также тремя
соответствующими параметрами: временем использования канала Тк,
шириной полосы частот, пропускаемых каналом Fк, и динамичес­
ким диапазоном канала Dк, характеризующим его способность
передавать раз,!]ичные уровни сигнала .
Величина
называется емкостью канала .
132
(5.2)


Неискаженная передача сигналов возможна только при условии,
что сигнал по своему · объему «вмещается» в емкость канала
(рис. 5.3).
•
Следовательно, общее . условие сагласования сигнала с каналом
передачи информации определяется соотношением
Vc<Vк.
(б.3)
Однако соотношение (5.3) выражае~ необходимое, но недоста­
точное условие согласования сигнала с каналом. Достаточным
условием является согласование по всем параметрам
Те< Тк;
Fo< Fк;
Dc<Dк.
(6.4)
Если при выполнении условия (5.3) не обеспечивается часть
условий (5.4), то можно добиться согласования трансформацией
сигнала при со:хранении его объема.
Например, если отсутствует согласование речевого сигнала
с каналом только ·по ~астате, т. е. имеют . место соотношения
То<Тк; '
Ре· > Fк;
Dc<Dк,
то согласование по частоте при пер.еда~е можно достичь, записы­
вая сигнал на магнитную ленту с одной скоростью и воспроизводя
его с меньшей скоростью. Предполо-
'
жим, что 11ри выполнении условий
JJ
Vc< Vк и D0 < Dк частотный спектр
си гнала в п раз шире полосы пропуска­
ния канала Fс = nFк•
Для согласования сигнала с кана-.
лом можно записать сигнал на маг­
н итную ленту со скоростью и1 , а пере­
давать со скоростью и 2 , в п раз мень­
шей скорости и1 . При этом длитель­
ность сигнала увеличивается в п раз
и во стол.ько же раз уменьшается
ширина его- спектра. Объем сигнала
Рис . 5.4
при этом остается неизменным. Гео-
ме·трическое представление трансформации сигнала по параметрам
F0 и Т0 показано на рис. 5.4 .
Среднее количество информации, передаваемое по каналу в еди­
ницу времени, называется скоростью передачи информации. В общем
с лучае скорость передачи информации зависит от длительности
нередачи сообщений Т. При достаточно длинных сообщениях ско­
рость передачи остается · постоянной. В связи с этим аналитичес ки
133


скорость передачи информации выражается следующим о~разом •
l(Z, У)=limI(Z,У),
Т•н• Т
(5.5)
где. / (Z, У) - количество информации, передаваемое сигналом дли­
тельностью Т.
Наибольшая теоретически достижимая для данного канала ско­
рость передачи информации называется пропускной способностью
канала.
Проп·ускная способность информационного канала равна
С= макс{! (Z, У)}.
-(5.6)
Скорость передачи информации в общем случае зависит от. ста­
тистических свойств сообщения, метода кодирования и свойств
кана)Ла . Пропускная •способность - это характеристика к.анала.
Она не зависит от фактической скорости передачи информации.
С целью наиболее эффективного использования информацион­
ного · канала необходимо принимать меры к тому, чтобы <;:~орость
передачи информации была как можно ближе к пропускной спо­
собности канала.
Bvrecтe с тем скорость ввода информации в канал не должна
превышать пропу~кну19 способность канала, иначе не вся инфор-
мация будет передана по кан;алу, •
•
АналИ1ически скорость ввода информации (поток информации)
выражается следующим образом:
J(Х) = lim 1 (Х),
(5.7)
Т-+оо Т
где / (Х)- средн;~е КОi!Ичество информации, содержащееся в сооб­
щении на входе ~анала; Т- длительность сообщения.
Таким образом, должно быть выполнимо условие
l(Х)<с.
(5.8)
Это основщ>е условl,!е динамического согласования источника
сообщений и информационного канала.
Одним из основных вопросов · в т_еории передачи щrформации
являе1ся определение зависимости скорости передачи информации
и пропускной способности от парf!метров канаJщ и характеристик
сигналов и помех. Эти вопросы были впервые глубоко исследованы
Шенноном [23].
Рассмо:;рим три щща каналов: дис~.рет~ый •'к.~~а,~ t:>уз помех,
дискретныи , канал с помехами и непрерывный канал а помехами.
5.2. Скорость передачи информации
и пропускная способность дискретного канала . без помех
Цод д~:rскретным каналом перещ:~чJ:1 И;I!Ф~РNoiЦ.IЩ принято пони­
мать совокупность средств, предназначенных· для передачи дискрет­
ных сигналов [2].
134 -


На вход такого канала подаются дискретные сообщения Х,
образующие первичный алфа~ит х1 , х2 , ... ,
Хп, Пос.Тiедние коди­
руtотся с помощью преобразователя П1 (рис. 5.1) и преобразуются
в кодированные сигналы У. Для кодирования цспользуется неко­
торый алфавит символов у1 , у2 , •.. , !Jm, а суще<;;тво код11рования
свод..,.ится vк пре4~_ тавлени1◊- отдел_ь:~~1х со9рщ~1IйЙ илй пос;JJедова­
тельностеи сообщений определенными комбинациями символов
ИСП9{1ЬЗУ.е1⁄49Г<? алфа~и.т.~.
Скорость ввода информации
7(Х) = Н~Х) = 'С\ Н(Х),
(5.9)
"'х
где Н (Х) - средняя энтропия одного сообщения;
длительность сообщения;
-
.
1
.
.
Vx = ;;;- - скорость выдачи
"'х
символов сообщения источ-
ником.
Под длительностью со­
общения понимается интер­
вал времени, в который по­
являются сообщения на вы­
а
Рис. 5.5.
i'х-средняя
ходе источника информации. Средняя дл~тельность ~~ при отсутствии
статистических зависимрстей между • сообщениями определяется вы­
раже нием
п
-tx= ~р(х,)'tx,,
i=I
(5.10)
где jJ (xt) и "х, - априорная вероятность и длительность i-го сооб­
щения ; п - количество сообщений.
В каgале б·ез помех каждому определенному входному сигналу
nсе гда будет с0ответствьвать один и тот же сигнал на вмходе
J<а нала, ИНЬ!МИ СЛОВаМИ, ВХОДНЫе И В]:?!ХОДНЫе СИГ'наЛЫ СВЯЗаНЫ
однознач,ной функциональной зависи~ост~ю (рис. 5.5, а).
В этом случае среднее количество инф0рм,щии, пер~носимое
одним символом, равно энтроriiш символа на вх0де канала
I (У)= Н (У) дв. _ef:.
-
симifол
Ско рость передачи информации
I (У)= йv • Н (У) дв.с~д-,
(5.11)
-
1
, ·де Ии = =- - скорость передачи элементарных симвgлов сигнала;
'Су
;11 - средняя длительность элементарных сигналов.
Пропускная ; способность дискретного канала без помех
С= макс{~ Н (У)}.
135


Полагая Ии заданной, получим, что максимальная скорость пере- ,
дачи информации будет обеспечена при максимальном значении
энтропии кодиров ащюго сигнала
С=lluмакс{Н(У)}=Ииlog2п,
(5.12)
т, е. при равномерном распределении вероятностей и статистической
независимости символов алфавита сигналов.
Таким образом, скорость передачи информации может быть
максимальной при условии, 0\:Ли статистические характеристики
источника сообщений определенным образом согласованы со свой­
ствами информационного канала. Для каждого источника сообще­
ний это corласование может быть достигнуто специальным выбором
способа кодирования сигналов.
.
На вопрос о том, в какой степени скорость передачи информа­
ции может быть приближена к пропускной способности информа­
ционного канала, отвечает теорема Шеннона для дискретного
канала без помех. Теорема формулируется следующим образом:
если поток информации, вырабатываемый источником, достаточно
близок к пропускной способности канала, т. е. если справедливо
рав·енство
7(Х) = С-о,
(5.13)
где о-· ~коль угодно малая величина, то всегда можно найти
такой способ кодирования, который обеспечит передачу всех сооб­
щений, щ,rрабатываемых источником, причем скорость передачи
информации будет весьма близка к пропускной способности канала
7(Z,У)=С-о.
Обратное утверждение теоремы заключается в том, что невоз­
можно обеспечить длительную передачу всех сообщений, ещщ:
поток информации, ·вырабатываемый источником, превышает про­
пускную способность канала
I(X) >С.
Таким образом, теорема Шеннона утверждает, что при выпол­
нении условия (5.13) СК()рость передачи йнформации .может быть
в принципе сколь угодно приближе~а к пропускной способности
I{анала. Это может быть обеспечено соо:rветствующим 1<одирова­
Н1fем сигналов. Однако рассмотренная теорема не отвечает на
вопрос, каким образом нужно .осуществлять кодирование.
5.3. Скорость передачи информации
и пропускная способность дискретного канала с· помехами
При наличии помех в канале передачи информации нарушается:
однозначf!ое соответств ие между входным и выходным алфавитами
136


канала. Одному входному сигналу могут соответствовать различные
выходные сигналы (рис. 5.5, 6). Вследствие случайного характера
помех невозможно заранее точно установить, какой сигнал может
быть принят на выходе канала при посылке определенного вход­
ного сигнала. Речь может идти только о вероятностях получения
на выходе канала элементарного сигнала z1 при условии, что был
отправлен элементарный сигнал у.. Вероятностный характер связи
'
t
между входным и _выходным алфавитами канала передачи инфор-
мации полностью определяется матрицей переходных вероятностей
РнР12Р1з•••Р1п
Р21Р22Р2з•,•Р2п
... ..
Рп1 Рп2 Рпз •••Рпп
где р if - условная вероятность перехода i-го символа входного
алфавита в /-й символ выходного алфавита.
Очевидна справедливость следующего равенства:
п
~Pt·-= 1.
/=1 /
Дискретный канал, по которому передаются только два эле­
. ментарных сигнала, называется бинарным каналом. Матрица пере­
ходных вероятностей для такого канала имеет вид
1::: ::: [.
Если все вероятности правильной передачи сигналов одина­
ковы и одинаковы все вероятности искаженной передачи, то такой
канал называется симметричным. Для симметричного бинарiюго
I{анала матрица переходных вероятностей имеет вид
где р = р11 == р22 - вероятность правильной передачи ; q = р12 =
= Р21 - вероятность искаженной передачи.
Так как в симметричном канале вероятности искажения всех
с имволов сигнала одинаковы, то можно утверждать, что в таком
канале помехи не зависят от передаваемых сигналов.
На рис. 5.6 приведен график переходных вероятностей двоич­
ного симметричного канала.
Скорость передачи информации по дискретному каналу с по­
мехами
7(Z, У)= Ии [Н (У)- Н (YIZ)J,
(5.14)
137


где Н (Y/Z)- остаточная энтропия сигнала, обусловленная дей­
ствием помех.
Выражение для скорости передачи_ информации может быть
представлено также в виде
7(Z, У)= Ии [Н (Z) - Н (ZIY)],
(5.15)
где Н (Z) - энтропия выходного сигнала; Н (Z!Y)- условная
энтропия выходного сигнала при известной энтропии входного
сигнала.
z,
Ка,налы, у крторых на каждый пepeдa­
prz,J ваемь1й -символ сигнала помехи воздейству­
ют независимо от того, какие сигналы пе-
~---,--,---,----~Z2
редавались ранее, называются кш~алами
без памяти . В ' таких каналах помехи не вы-
Рис. 5.6
Nz2J зывают дополнит-ельных коррелятивных
связей между символами. В настоящее время
основные выводы теории информации полу­
чены применительно к каналам без памяти.
Поэтому будем в дальнейшем рассматривать только каналы без
памяти.
_
В ~лу~ае н_е,заFЗ_исимости 01дeJ.I,!<>.f.IЬJX символов сигнала выраже­
ния (5.14) и (5.15) для канала без памя'!'и примут вид
п
7(Z, У)= Ии[-Lр(удlog2Р(Yt) +
i=l
п
п
+-L LР(zi) Р(y/z1) log2 Р(Y1fz1)] ;
l=lj=I
п
7(Z, У) =Иу[- ~р(zд1og2р(zд+
lal
n
11
+ t~1 i~' р (yf) р (z)y1) Iog2p (z1!Yi)].
(5.16)
(5.17)
Пропускная Сf!Оf~обность канала с помехами м'ожет быть опре-
делена, исходя из выражения (5.6) .
•
В качестве при~~р'q рас'Емо'I'рим бинарный ка~ал. Дл5-1 такого
канала алфавиты в,t'одного у и выходного z сигналов СОСТО-51Т из
двух символов
У - tY1, У2); Z= {z1, z2}.
Для • кра1нос'!'и записи обозначим вероя'!'ности искажения
сигналов
138
Очевидно, что вероятности правильной передачи будут
Р (z1IY1) = 1-q2; Р (z2JY2) = 1-q1.


При этом выражение (5.17) примет вид
1(Z, У) = Uu(-р(z1) log2р(z1)-р(z2)log2р(z2)+
+ р (У1) [р (z1IY1) log2 р (z1/Y1) + Р (z2IY1) log2 Р (z2IY1)J +
+ р (У2) [р (z1IY2) log2 р (z1IY2) + р (z2IY2) Iog2 р (z2IY2)J} =:=
= Ии t-P (z1) Iog2 р (z1)-p (z2)log2 р (z2) + р (У1) [(l-q2) iog2 (l-q2)+
+q2log2q2J+р(У2)[q1log2q1+(l-q1)log2(1-q1)J}.
Максимизируя правую часть · выражения (5 . 17), мы сможем
определить пропускную способность канала . Очевидно, что этого
можно достичь за счет оптимизации значений априорных вероят­
ностей р (у1) и р (у2) передачи сигналов у1 и у2 , так как никакие
другие параметры канала менять мы не можем.
Рассмотрим чцстные _ случаи.
1. •Вероятности искажений сигналов q1 = q2 = q. Этот случай
соответствует симметричному каналу. Для симметричного канала
условная энтропия
Н(Z/Y)= -fp(У1)+р(У2)][qlog2q+(1- q)log2(1-q)J=
q log2q + (1- q) log2(1- q),
(5.18)
так как р(У1)+р(У2)= 1.
Из выражения (5.18) видно, что условная энтропия не зависит
от априорных вероятностей р (yi) и р (у2). Следовательно, макси­
маль ная скорость передачи информации получается в этом случае
при таком распределении вероятностей р (у1 ) и . р (у2), при котором
э нтропия Н (Z) оказывается максимальной. Это будет иметь место
при равенстве априорных вероятностей р (z1) = р (z 2). .При этом
максимальное значение энтропии Н (Z).макс = 1 д.в. ед. и проr1уск­
натт способность канала определится вьrражением
(5.19)
Используя известное правило теории вероятностей
п
р(z1) = ~р(удр(zJyд,
(5.20)
i=l
можно показать, что равенство априорных вероятностей выходных
' l !ГJiалов Z1 И Z2 для си~метричного канала будет иметь место при
равенстве априорных вероятностей входных сигналов, т. _е. при
f)(u1)=Р(У2)-.
Таким образом, в симметричном бинарном канале с помехами
м аксима льна$! скорость передачи информации получается при та­
t< ОМ же условии, как и в канале без помех. Однако из сравнения
(11. 19) и (5. 12) видно, что 1щличие помех в канале приводит
1С уменьшению пропускной способности канала.
2. Вероятности искажений сигналов q1 = О, q2 =!= О, 1. е. имеют
мо то искажения лишь при передаче сигналов у2 •
139


Из (5.17) с учетом (5.20) для этого случая получаем
1 (Z, У)= Ии {-р (yi) log2 р (У1) q2 log2 q2-
-
[р(У2)+Р(У1)q2]log2[р(У2)+Р(У1)q2]}.
Максимальное значение скорости передачи информации будет
при ус.повии [10]
(5 .21)
Пропускная способность такого канала определяется выра­
жением
С = И11 {-р (Y1)orrг + log2 Р (У1)оп" + Р (у1)о~:,т q2 log2 q2 -
.
-
[1- Р (У1)опт +·Р (У1)опт qz] log2 ~ 1- Р (У1)_опт +Р (У1)опт qzJ} • (5.22)
.
с
-
-
•
На рис. ·5 _7 приведены графики =- = C'ty, р (У1)опт и р (У2)опт =
.
Ии
= 1- р (у1)опт как функции от вероятности q2 f 10) . Как видно из
графиков, с _увеличением q2 от О до 1 пропускная способно_ст--ь -
-
•1·
падает от И = - до нуля. Для дискретного канала с помехами
и 'ty
Шенноном док аза на ·следующая теорема: если поток информации,
вырабатываемый источником, достаточно близок к пропускной спо­
собности канала, т. е. если справедливо
{!8
q2
равенство
Т(Х) = с-а,
где а - сколь угодно малая величина, то
всегда можно найти такой способ кодиро ­
вания, который обеспечит передачу всех
. сообщений,
вырабатываемых источником,
а вероятность ошибочного опознания лю-
0 L--'---'-,.--'----'---==,,'---__.-
бого переданного сообщения будет сколь
42 41 0,648•l,O f/z • угодно малой, т. е. Рн. о< "f/, гдеРн.о -
Рис. 5.7
вероятность неправильного опознания
переданного сообщения; 'У/ - сколь угодно
малая величина.
Обратное утверждение теоремы состоит в том, что если поток
информации источника превышает пропускную способность канала,
то не существует способа кодирования, ·обеспечивающего передачу
любоrQ сооqщения с малой вер◊ятностьl(j ошибки .
Таким образом, рассмотренная теорема определяет соотношение
между скоростью создания сообщений источником, пропускной спо­
собностью канала при наличии помех .и достоверностью передачи.
Если для канала без помех представляет интерес эффективность
переда'!JI, то для канала с -помехами - как эффективность, так и
достоверность передачи .
140


Данная теорема, как и .теорема для канала без помех, не отве­
чает на вопрос, каким образом нужно осуществлять кодирование,
чтобы приблизить скорость передачи информации к пропускной
способности канала. Но для приближения скорости передачи к пр_е­
делу общим методом как для канала с помехами, так и для канала
без помех является кодирование длинных сообщений (10, 28] .
5.4 . Скорость передачи информации
и пропускная способность непрерывного канала с помехами
Под непрерывным каналом передачи информации принято пони­
мать совокупность средств, предназначенных для передачи непре­
рывных сигналов (21. В отличие от дискретных каналов в непре-
а
Рис. 5.8
рывных каналах вместо кодирующих и декодирующих устройств
может использоваться более широкий класс различных преобразо­
вателей. Для передачи информации по каналу может применяться
модуляция одного или нескольких параметров сигнала. Независимо
от конкретного характера преобразования сигналов входные и вы­
ходные сигналы непрерывного канала задаются в виде ансамблей
непрерывных функций с соответствующими плотностями распреде-
лени я вероятностей.
••
Пусть на вход канала поступает непрерывный сигнал У (t)
длительностью Т. Вследствие воздействия помех ~ (t) выходной
сигнал Z (t) будет отличаться от входного.
Количество информации, содержащееся в случайном· сигнале
Z (t) о случайном сигнале У (t), определяется известной зависи­
мостью
Iт (Z, У)= Нт {Z)-Нт (ZIY).
(5.23)
В соответствии с теоремой- Котельникова, непрерывные сигналы
У (t) и Z (t) могут быть представлены совокупностями отсчетов
Ui и z1 в дискретные моменты времени (рис. 5.8), представляющих
собой случайные величины.
Распределение совокупности случайных величин описывается
многомерными плотностями распределения вероятности
W(У1, У2, ••• ' Ут) ИW(z1, Z2, ••• ' Zт)·
141


Тогда дифференциальная энтропия сигнала на выходе канала
hт(Z) = -
f...т ...fw(z1, Z2, ... , zт)log2w(z1, Z2,
-оо
-оо
Так как в соответствии с критерием Н. А . Желе:3нова (3.9) при
квантовании случайных сигналов по времени интервал квантования
необходимо устанавливать равным интервалу корреляции функции "Со,
то случайные величины z1, z2,
••• ,
zi, . . . , Zm можно поJJагать
независимыми и
w(z1, Z2, ... , Zт) = w_(z1)w(z2)...w(zт).
Исходя из того, что энтропия совокупности случайных незави­
симых величин равна сумме энтропий случайных величин, получим
следующее выражение для дифференциальной энтропии сигнала:
т
hт(Z)= 1} h(zд,
{=~
..
гдеh(zJ= -
I w (z;) log2 w (zJ dzt - дифференциальная энтропия
i-го отсчета сигнала Z; т = :т - общее количество · отсчетов сиг­
нала Z длительностью Т; ЛТ - интервал временного квантования.
Ограничиваясь рассмотрением стационарных процессов, получим
w(z1)= w(z2)= ••• = w(zт);
Тогда
h(z1)= h(z2)= •• · =
h(zт)= h(Z).
hт(Z) . mh(Z),
.
где h (Z) - дифференциальная энтропия одного отсчета.
Аналогично можно показать, что условная дифференциальная
энтропия
hт (Z!Y) = mh (ZIY),
где h (ZIY) - условная дифференциальная энтропия одного отсчета.
Таким образом, выражение для количества информации прини-
мает вид
•
•
Iт (Z, У)= т [h (Z)- h (Z/Y)].
Скорость передачи информации
Iт(Z, У) = ; [h(Z)- п(ZIY)]= Fо[h(Z)- h(Z!Y)], (5.24)
т
1
.
где FO = Т = лт - частота временного квантования (отсчета).
142


Пропускная способность канала
С= макс [lт (Z, У)] = F 0 макс [h (Z) ....:_ h (ZIY)].
(5.25)
Максимальное значение правой части выражения (5.25) можно
достичь, варьируя w (У) , так как остальные параметрьr оцюсятся
к каналу связи, которые мы менять не можем .
Рассмотрим некоторые частные случаи [27].
-
1. Сигнал ограниченной мощности передается по каналу, в ко­
тором действует аддитивная помеха ограниченной мощности типа
белого гауссового шума.
При аддитивной помехе сигнал Z (t) на выходе канала будет
равен
Z(t)= У(t)+Е(t),
где Е (t) - помеха, действующая в канале передачи информации.
Средние мощности сигнала и помехи соответственно равны РУ
и Р~ = а:. Полоса пропускания канала ограничена пределами О
и Fк,
Ширина спектра сигнала и помехи ограничиваются полосой
пропуска1шя канала .
Частота временного квантования ограниченного по спектру сиг­
нала в сqответствии с теоремой Котельникова
Fo = 2Fк,
Тогда выражение (5.25) для пропускной способности канала
примет вид
•
С= 2Fк макс [h (Z)-h (Z!Y)].
(5.26)
При взаимно независимых сигнале У и помехе е вероятность
того, что при передаче сигнала У выходной сигнал будет равен
Z = У + е, должна определяться вероятностьютого, что помеха при-
метданноезначениее=Z- У, т.е.
•
а
w(ZIY)dY= wЩd~,
w(Z!Y)= w(Y + е!У) = w(YIY + UY) =
=w(У!У) •w(t!Y)= w(е).
(5.27)
Учитывая· (5.27); выражение для условной дифференщrальной
э юропии h (Z!Y) можно преобразовать следующим образом:
00
00
h(Z!Y)= -
S Sw(У)w(ZIY)log2w(Z!Y)dYdZ=
-со ' --00
00
00
= ~ sw(У)[-Sw(е)Iogz w (е)de]dY=
i:--00
-оо
=
h(~) fw(У)dY -h(е),
(5 .28)
... 00
1 ·11с /i (~) - дифференциальная энтропия помехи.
143


Таким образом, в случае аддитивной помехи условная диффе­
ренциальная энтропия h (ZJY) полностью определяется свойствами
помехи.
Ранее было установлено (см. пример 4.?), что дифференциаль­
ная энтропия сигнала, распределенного по нормальному закону,
(5.29)
Подставив (5.29) в (5.26), получим следующее выражение для
пропускной способности канала
С= 2Fк макс {h (Z)-1og2 У2тсеа~}.
(5.30)
Так как а~ задано, то максимальное значение выражения (5.30)
будет обеспечено при условии максимизации дифференциал~ной
- энтропии выходного сигн:ала h (Z). Так как средние мощности вход­
ного сигнала У (t) и помехи ~ (t) ограничены, то средняя мощность
выходного сигнала Z (t) также ограничена. При таком условии .
ве'личина дифференциальной энтропии h (Z) будет максимальной
в случае, если Z (t) характеризуется нормальным законом распре­
деления. Если же суммарный сигнал Z (t) и одна из его состав­
ляющих ~ (t) распределены по нормальному закону, то и вторая
составляющая, т. , е. входной сигнал Y(t), также должна иметь
нормальный закон распределения.
Таким образом, дифференциальная энтропия выходного сигнала
V-
V22
h (Z) = 1og2 2тсеаz = 1og2 (ау+ а~) 2тсе.
(5.31)
Подставляя (5.31) в (5.30), окончательно получим
С= 2F_к [1og2V(а~+а~)2тсе- 1og2 Vа~2тсе] =
2
2
= Fкlog2ау~ag = Fкlog2(~+:;),
(5.32)
где Ру=== а;- средняя мощность полезного •сигнала; Р~ = а:­
средняя мощность помехи.
,
Итак, скорость передачи информации сигналами с ограниченной
средней мощностью через канал, в котором действует белый гаус­
сов шум, оказывается максимальной при полном подобии между
сигналом и помехой. Следовательно, максимальная скорость пере­
дачи информации будет обеспечена, если - в качестве физического
переносчика информации применять стационарный случ1,J.йный про-
цесс в виде белого гауссова шума.
•
Как видно (5.32), пропускную способность канала можно -регу-
- лировать
путем изменения Fк •или Ру. Причем практически зависи­
мость пропускной способности канала от F к - при постоянной мощ­
ности сигнала нелинейная; Это обусловлено тем, что мощность
помехи Р~ также зависит от ширины частотного спектра. Действи-
144
\


тельно, энергетический спектр белого шума равномерен, поэтому
мощность такой помехи можно представить в виде
Р~ = РоFк,
(5.33)
где Р0 - мощность помехи, приходящаяся на полосу в 1 Гц (спек­
тральная плотность мощности помехи) .
Подставив (5.33) в (5 .32), получим выражение, определяющее
действительный характер зависимости пропускной способности ка­
нала · от ширины его полосы пропу­
скания
с
&10;,е
(5.34) Ри i
С=F,<Iog2 (1 + ))J:
Характер зависимости С= f (Fк) •
представлен графически на рис. 5.9.
Определим предел, к которому
стремится пропускная способность
канала гiри неограниченном увеличе-
о<-----------fк
нии его полосы пропускания
•
log2(1+ Ру) •
.
.
РоFк
11m С= I1m
•
1
.
Fк-+ оо
Fк-+-оо
_
F,<
,
Введя обозначение а. = ) , получим
к
.
.
Iog2( 1+ ~а)
11m С= !1m ---~ .
а
Рис . 5.9
Раскрьiвая неопределенность, получим предельное
пускной способнос'(и канала . •
значение · про-
1• С'Ру!
1m =Р. og2е.
Fк-+ оо
о
(5.35)
Из формулы (5.35) видно, что максимальное значение, к кото­
рому стремится . пропускная способность канала с ростом его ши­
р ины полосы пропускания, пропорционально отношению средней
мощности сигнала к спектральной плотности мощности помехи.
Из произведенного анализа можно также заключить, что нет
смысла сильно увеличивать полосу пропускания канала, так как по
мере расширения полосы пропускания рост пропускной способности
канала замедляется и в пределе при Fк-+ ro пропускная способ­
ность приближается к постоянной величине. Имеет смысл увели­
ч ивать полосу пропускания примерно до значения, равного отно-
шению 1 · Предельно возможное значение пропускной _способности
о
р
может быть увеличено за счет увеличения отношения у!. -
о
145


2. Сигнал ограниченной мощности передается по каналу, в ко­
тором действует аддитивная помеха в виде произвольного шума.
Как уже установлено, при определенном среднеквадратическом зна­
чении (при определенной мощности) помехи наибольшей энтропией
обладает помеха с нормальным законом распределения вероятнос­
тей. При любом другом зщюне распределения вероятностей помехи
ее энтропия (при том же среднеквадратическом значении) оказы­
вается меньшей. Зависимость энтропии от вида закона распределе­
ния побудила Шеннона характеризовать действие помехи не ее дей­
ствительной мощностью, а так называемой энтропийной мощностью
помехи. Под энтродийной мощностью Шеннон понимал мощность
эквивалентного белого шума, который, имея те же длительность
и ширину спектра, обладает такой же, как данная помеха, энтро­
пией.
Таким образом, если произвольная помеха ~ (t) характеризуется
энтропией на один отсчет h (~) . то тогда мощность эквивалентного
•
2
белого шума, т. е . энтропийная мощность а~э, может быть опреде-
лена из условия
откуда
(5.36)
Величина отношения средней мощности помехи а: и ее энтро-
"
•
u
2
•
пиинои мощности а~э определяется законом распределения помехи.
Обозначив это отношение через kэ, получим
(5.37)
В частности, для закона равной вероятности kэ = 1,3.
Используя rюнятие энтропийной мощности, можно выражение
для пропускной способности канала, в котором действует произ­
вольная помеха, представить в следующем . виде:
С = 2Fк [log2V(а: + а~) 21te - log2Vа~э21tе] =
(az + а:)
(.az+а:)
= Fкlog2 ~ =Fкlog2kэ~•
(5.38) ,
Для всех законов распределения (кроме нормального) коэффи­
циент kэ > 1, поэтому пропускная способность канала, в котором
действует произвольная помеха, будет всегда больше пропускной
способности канала, в котором действует . белый шум с такой же
средней мощностью, что и произвольная помеха . ·
Для непрерывного канала с помехами Шенноном ·сформулиро­
вана следующая теорема :
Если энтропия Н, (Х) источника непрерывных сообщений, опре­
деляющая количество информации, вырабатываемое в единицу вре-
146


мени при заданной оценке g верности воспроизведения, сколь угодно
близка к пропускной спЬсобности канала, т. е. справедливо соот• •
ношение
Н.(Х) = С-а,
, где а"-- как угодно мало, то существует метод передачи, при кото­
ром все сообщения, вырабатываемые источником, могут быть пере­
, даны, а верность воспроизведения при этом как угодно близка к g.
Обратное утверждение _этой тЕоремы говорит о том, что такая
передача невозможна, если
Н,(Х) ''> С.
Теорема позволяет находить предельно достижимую эффектив­
ность непрерывных каналов.
В заключение рассмотрим связь между пропускной способностью
и емкостью канала передачи информации (см. 5.1).
Количество информации, которое может быть · передано по ка­
налу за время его работы Тк при воздействии · помех типа белого
шума,
(5.39)
Практически в большинстве случаев мощность полезного сиг­
нала значительно превышает мощность помех. В этих с.'!учаях вы­
ражение (5.39) можно с достаточным приближением представить
в виде
Iт(Z, Y)=· Tкfкlog/P11 •
(5.40)
'
~
В формулах (5.39) и (5.40) члены log2( 1 + ~;) ·и log2 ;: вы­
ражают (с точностью до постоянного множителя) максимально воз­
можное количество информации на один отсчет. Тогда, сравнивая
(5.39) и (5.40) с (5.2), можно заключить, что емкость канала опре­
деляет максимально возможное количество информации, которое
может быть передано по каналу за время его работы. А так как
• пропускная способность выражает максимально возможное коли­
чество информации, которое может быть передано по каналу за
единицу времени, то связь между емкостью и пропускной способ­
ностью канала определяется зависимостью
Vк'= ТкС,
(5.41)
5.5 . Примеры
Пример 5.1 . В информационном канале без помех для передачи
сообщений используется алфавит с четырьмя различными симво­
_лами. Длительности всех символов одинаковы и равньi 't = 1 мс.
Определить про пускную способность канала передачи информации.
147


Решение. Для расчета пропускной способности дискретного ка­
нала без помех воспользуемся формулой
С=Иимакс{Н(У)} • 10;2N,
у
где N - общее количество сообщений; Ти - средняя длительность
сигнала .
•
Так как код ' каждого сообщения содержит четыре символа, то
длительность всех сигналов будет постоянна и равна
Ти==4't=4мс.•
Так как для передачи сообщений используется алфавит с че­
тырьмя символами, то
Следовательно,
с=250log244= 250log228= 2 .103ДБ.сед••
Пример 5.2 . Исто;чник вырабатывает символы с вероятностями
Р1==0,2; Р2=0,7 и р8 =0,1;
корреляционные связи между сообщеюrями отсутствуют . Передача
информации осуществляется двоичным кодом, длительность симво­
лов которого равна 't = 1 мс . Определить скорость передачи инфор­
мации по каналу без помех при использовании равномерного кода.
Решение. Скорость передачи информации определяем по фор-
муле (5.11 ).
•
Средняя энтропия сообщений на один символ
8
Н(У)=- ~ PiIog2р1=
-0,21og2 0,2 - 0,7 log2 О,7 -
,
l=J
-0,1 Iog20,1 = 1,16 ~-
симв.
ДJ.Jя передачи трех сообщений двоичным кодом необходимо два
разряда. Следовательно, длина кодовых комбинаций равна 2't и ско-
1
сообщ .
рость передачи сигналов ИУ = 2--с = 500 -с- .
Таким образом, скорость передачи информации
/(У)= UuH (У)= 500 , 1,16 .. 580 дв .с ед•.
П ример 5.3 . Источник, вырабатывающий четыре символа с апри­
орными вероятностями р1 = 0,4 ; р2 = 0,3; р3 - 0,2 и р4 = 0,1, под­
ключен к каналу передачи цнформации, обладающему пропускной
• способностью в = 1000 дв. ед •• • Передача информации ~существляе-
.
.с
тся равномерным двоичным кодом.
148


С какой скоростью будет осуществляться передача информации?
Решение. Скорость передачи информации определяем по фор­
муле (5 . 11).
Средняя энтропия сообщений на один символ источника
Н (У) = -;-0,4 log2 0,4 - 0,3 log2 0,3-_
0,2 log2 0,2-: О, l log2 О, 1=
= 1848дв.ед•.
'
•
симв .
Скорость передачи символов Ии может быть определена из вы­
ражения для пропускной способности канала. •Действительно, мак­
симальная энтропия будет иметь место при равной вероятности
и статистической независимости сообщений
макс(Н(У)}= log24 = 2дв.бед•.
соо щ.
Тогда из (5 . 12) получим
И=С
= 1000=500~
У макс {f/ (У))
2
с
Следовательно, скорость передачи информации
!(У)= ИuН (У)= 500 • 1,848 = 924 дв .сед.
Пример 5.4 . Сколько в среднем · можно передать, букв русского
текста в секунду по каналу с пропускной способностью . С =
= 1000 дв. ед•.
с
Решение. В 4. 7 установлено, что средняя энтропия русского
языка на одну букву с учетом всех коррелятивных связей
'Н(У)=2 дв.ед•.
букву
Следовательно, средняя скорость передачи русского текста по
!{ аналу
Иу= 1000 = БОО букв.
2
~
Пример 5.5. .При
передаче . непрерывных сигналов · по каналу
связи осуществляется кодоимпульсная модуляция. Квантование по
времени осуществляется с частотой Fк = 100 Гц. При квантовании
по уровню · шкала уровней сигнала делится на 64 дискретных
уровня.
Определить пропускную способность канала.
Решение. Количество дискретных уровней определяет количество
передаваемых сообщений . Следовюельно , максимально воз можна я
энтропия сообщений
макс(Н(У)}= log264= 6дв.бед.,
соо щ.
а пропускная способность канала
С""' Ии макс (Н (У)}= Fкмакс {Н (У)}= 100, 6 = 600 дв./д.
149


Пример 5.6 (из [27]). По каналу ~вязи с помехами передаются
три сообщения, которым соответствуют сигналы у1, у2 и Уз• При
этом канал таков, что сигнал у1 всегда передается безош ибочно,
а сигналы у2 и Уз передаются или правильно с вероятностями р,
или с искажениями, когда один сигнал переходит в другой с ве­
роятностью q. Априорные вероятности посылки сигналов р (у1) = р;
р (у2) = р (Уз) = Q. Схема передачи сигналов показана на рис. 5.10.
Определить пропускную способность канала, ес.'Iи скорость пере-
//, 0-------- .. .. 0 дачи сигналов равн_а Ии·
z,
Решение. Пропускная способность
р
'
У:,, 0 ---_q
_
_ __ _ ::: >с Zz дискретного канала с помехами может
.1⁄4О-:_ _ . , .. - -r -- - ~о z., быть очределена по формуле
Рис. 5. 10
С= Ии макс {Н (У)-Н.(У!Х)}.
Начальная энтропия сигналов
з
Н(У)= -
~р(yi) log2р(у1)=
-
[рlog2р+2Qlog2Q].
l=l
Остаточная энтропия определяется выражением .
З3
Н(У/Z) = -
'2:, ~ р (zд р (y/z,) !6g2 р(yjlz1) =
l=I /=!
-
= -р (z1) р (Y1lz1) log2 р (Y1lz1) - Р (z2) [р (Y2fz2) log2 р (Y2lz2) +
+ Р (Yзlz2) l~g2 Р (Yзlz2)]- Р (z3) [р (Y2lz3) log2 Р (Y2IZз) +
+ Р (УзlZз) log2 Р (узfzз)].
Так как по условию задачи р (y 1/z 1) = I, то первое слагаемое •
в нашем выражении будет равно нулю.
Кроме того, по условию задачи р (y2/z 2 ) = р (yзfz3) = р; р (у2/zз) =
= Р(y3/Z2)=q.
Вероятности р (z 2) и р (zз) находим из формулы полной вероят­
ности
Р(z2)= Р(У2)Р(z2IY2) +Р(У3)Р(z2fYз)= Q[р(z2IY2) +Р(z2fYз)]= Q;
Р (zз) = Р (У2) Р (zзfy2) + Р (Уз) Р (zзfуз)= Q[р (zзlY2) + Р (zзfуз)]= Q.
Следовательно, остаточная энтропия
Н(У/Z) = -2Q(рIog2р+qIog2q).
Таким образом, · пропускная способность канала определяется
выражением
С= Иумакс {-р iog2p-2QIog2Q + 2Q (рlog2 p+ q 1og2q)}.
Искомая величина С является функцией априорных вероятнос­
тей р и Q. Следовательно, нахождение максимума правой части
полученного выражения сводится к соответствующему выбору р и Q
при условии, что р + 2Q = I. Как известно, такие задачи на -мак-
150


симум решаются с помощью неопределенных коэффициентов Лаг­
ранжа. В соответствии с этим методом составим новую функцию
вида
•
F=:=рlog2р- 2Qlog2Q+2Q(рlog2р+qlog2q)+л(р+2Q),
где л-коэффициент Лагранжа.
Для удобства математических выкладок перейдем к натураль­
ным логарифмам
F=-рlnр- 2QlnQ+2Q(рlnр+qInq)+л(р+2Q).
Ищем максимум дщrной функции, для чего найдем предвари­
тельно ее частные производные по р и Q и приравняем их к нулю
ддF= -1 - lnр+л=О;
р
-
:~ = -2 - 2JnQ+2(рlnр+qInq)+2л=О.
Из полученных уравнений · найдем
р = е'-';
Q = ел-1 . e<plnp+qlnq).
Из условияр+2Q= 1найдем
ел-1 ( 1 + 2e(plnp+qlnq)) = 1,
откуда
где
о = e- (p!np+qlnq).
, Таким · образом, оптимальные значения априорных вероятностей
равны
8
р= 0+2;
1
Q=a+2·
Следовательно, искомое значение пропускной способности канала
-
[о
о
2
1
2
]
С=Иу -a+2ln1J+2-0+2lna+2-0+2lno -
= Uy[-:-Inoс,~2+0: 2)+ln(o+2)(0~ 2+0~ 2)]=
= Иу[ln(о+2)- lnо]=ИУln°t2.
Пример 5.7 . Определить пропускную способность непрерывного
канала с помехами типа_ беJiого гауссова шума. Полоса пропуск а­
ния канала Fк = 1000 Гц. Дисперсия полезного сигнала а;= Ру=
= 4000 В2, спектральная плотность мощности помехи Р0 = 0,002 В2/с_.
151


Решение. Для определения пропускной способности непрерыв­
ного канала с помех~ми воспользуемся формулой (5.34)
_(
Ру)
(
4•103 )
дв. ед.
C=Pкlog2 1 + РоFк = 1000log2 1 + 0,002 . 103 =10970-с- ·
Пример 5.8. Определить скорость передачи информации сигна­
лом, имеющим среднюю мощность Р-у = 4000 В2, длительность Т =
= 20 м и ограниченным полосой частот Р0 = 1000 Гц. При передаче
сигнал _ подвергается амплитудно-импульсной. модуляции (рис. 5. 11 ).
Величина сигнала распределена равновероятно по всей шкале уров­
ней. Дисперсия погрешности квантования по уровню не должна
•
2
7
Рис. 5.11
превышать О'к = 17 В2•
Решение. Скорость - передачи
информации определяем по фор­
муле
7(У)=UyIog2N =РеIog2No,
где N - количество уровней
квантования сигнала·; Uy = 2Р0-
-. част ота
квантования сигнала во
_
времени.
Количество уровней квантования может быть выражено через
· среднюю мощность сигнала Ру. Действительно, средняя ·мощность
сигнала при р~вной вероятности уровней квантования_
где Лу - величина шага квантования сиrна_ла по уровl!_ю.
Как известно, сумма ряда
ПриN»1
Тогда
N-
~•2 _ N(N+!)(2N+!)
,l...t
-
6
•
i=l
N2Л2
р~--у•
у=3•
Шаг квантования по уррвнiо связан со среднеквадратической
погрешностью квантования зависимостью (см. 3.10) •
Лу
ai< = 2Vз.
152


Следовательно,
откуда
Таким образом, скорость передачи информации
/(У)= 1000 log 2 60 .:. _
5910 дБ/д•.
Пример 5.9 (из [33]). Определить необходимую пропускную спо­
собность и полосу пропускания канала, предназначенного· для пере­
дачи телевизионного изображения. Можно полагать телевизионное
изображение состоящим из 300 ООО мелких элементов изображения.
Каждый из этих элементов может принимать 10 различных града­
ций ярости. Все градации можно считать равновероятными. За одну
секунду передается 30 кадров изображения. Кроме того , известно,
что для удовлетворительного воспроизведения изображения необ-
ходимое отношение сигнал/шум равно 1ООО.
•
Решение. По.скольку каждый элемент изображения может при­
нимать 1О уровней с равной вероятностью, то один элемент изобра­
жения содержит количество информации
i=Io 1О==,; 332 дБ.ед•.
g2
'
элемент
Один кадр содержит количество информации, равное 300 000i.
Поскольку за одну секунду должно быть передано 30 кадров, то
пропускная способность . канала
С=30·300000i= 29,9-, 106дБ.ед•.•
с
С другой стороны, при известном отношении сигнал/шум про­
пускная способность канала может быть определена . по формуле
(5.32), откуда полоса пропускания канала ·
С
29,9 • 106
Fк~--р- = 995 ::::::: 3 мГц.
у
'
log2 р
fi
Пример J>.10. Определить пропускную способность -Телефонног?
канала, обеспечивающего передачу разговора со скоростью 100 ~.
мин
Среднюю длину слова считать состоящей из 5 букв. -
Решение. Сч1пая, что на каждую букву в среднем приходятся
две двоичньrе единицы информации (см. 4. 7), получим следующее
значение пропускной способности канала:
•
С=100~5-, 2= 166ДБ.ед.
о
'
с
153


КОНТРОЛЬНЫЕ ВОПРОСЫ
1. Какими обобщенными характеристиками определяется сигн а л и !(аIЫЛ
передачи информации?
2. Что понимается под объемом сигнала и емкостью канала передачи
информации?
•
3. Сформулируйте необходимые и достаточные условия согласования сиг­
нала с каналом передачи информации?
4. Чем . вызвана необходимость согласования сигнала с каналом передачи
информации?
•
5. Объясните, как можно передать широкополосный сигнал через узкопо­
лосный канал без искажений .
6 . Что понимается под скоростью передачи информации и пропускной спо­
собностью канала?
7. Какими факторами определяется скорость передачи информации и про~
пускная способность канала?
•
---.__
8. Что понимается под дискретным каналом и непрерывным кана л ом?
9. В чем состоит сущность теоремы Шеннона для дискретного канала
без помех?
10. Что характеризует матрица переходных вероятностей?
11. Какими свойствами обладает симметричный бинарный канал?
12 . Что понимается под каналом без памяти?
13. Каким образом вычисляется скорость передачи информации · по дискрет-
ному каналу с помехами и без помех?
.
•
14. Каким образом определяется пропускная способность дискретного канала
с помехами и без помех?
15 . В чем сущность теоремы Шеннqна для дискретного канала с помеха м и?
16. Каким образом определяется скорость передачи информации по непре­
рывному каналу с помехами?
17. Каким образом определяется пропуснная способность непрерывного
канала с помехами при передаче сиг1:1ал.ов с ограниченной мощностью?
18. Объясните характер зависимости пропускной способности непрерывного
канала с помехами от полосы пропускания канала?
•
19 . Что понимается под энтропийной мсiщность.ю помехи?
20. В чем сущность теорем1;,1 Шiщнона для непрерывного канала с помехами?
21. Какова связь между пропускной способностью и емкостью канала?
Глава VI
ЭФФЕКТИВНОСТ~ ИНФОРМАЦИОННЫХ СИСТЕМ
6.1. Критерии оценки эффективности информационных систем •
Эффективность информационной системы характеризует ее споs
собность обеспе:Чить данное количество информации с наименьшими
затратами времени, полосы частот и мощности сигнала, :затратами
на обслуживание и т. д.
Одним из показателей эФ,фективности системы может служить
ее быстродействие, т. е. скорость передачи информации.
Для сравнительной оценки эффективности различных систем
используется крите~ий «удельной скорости» передачи информации,
154


т. •е. отношение скорости передачи информации к полосе частот Ре,
занимаемой в канале связи
Iт lт
R.=F=FТ'
(5•l)
с
сс
где Те-время передачи сигнала; /.--количество информации,
передаваемое за время Тс •
В iex случаях, когда мощность передатчика жестко ограничена
(например, в системах космической связи), в качестве критЕрия эф­
фективности применяется коэффициент использования мощности
сигнала
Таблцца 6
(6.2)
где Ру/Р~ - отношение мощ­
ности сигнала к мощности
помехи в канале передачи
информаци:и.
Коэффициент ~ играет
большую роль при сравни­
Вид связи
Телеграф Морзе
Телеграф Бода
Фототелеграф
Телефон импульсный
Телевидение
17 (дв./д·) 1 V
8. 102 0,45
80
0,45
2,2. 10 4 0,68
5,6 .104. 0,79
5,9 . 107 0,72
тельной оценке и энергетическом расчете радиоканалов с очень боль­
шими потоками информ_ации . Он показывает, во сколько раз средняя
мощность сигнала должна превышать среднюю мощность помех для
обеспечения заданной скорости передачи информации на 1 Гц полосы
частот, занимаемой в канале связи.
Ч:асто эффективность информационньrх систем характеризуют
коэффици_ентом
(6.З)
получившим название удельной содержательности сигнала, опреде­
ляющим количество информации в единице объема сигнала.
В табл. 6 приведены типовые значения скорости передачи ин- .
формации и удельной содержательности сигнала для наиболее рас-
пространею1ых видов связи I15).
•
Как видно из таблицы, наибольшим быстродействием из приве­
денных в ней систем передачи информации обладает телевидение,
но наиболее экономичной системой является телефон .
6.2. Способь1 повышения эффективности
информацlJонных систем
J\ак видно из выражений (6.1)-(6.3), при наложении ограни­
чений на физические параметры сигнала (мощность, частоту, дли­
тельность и т . д.) эффективность систем может быть повышена за
155


счет увеличения скорости передачи информации, т. е. для повыше­
ния эффективности системы передачи информации необходимо повы­
шать энтропию сообщений. Энтропия сообщений зависит от закона
распределения вероятностей. Следовательно, для повышения эффек­
тивности нео.бходимо осуществить перераспределение шютностей
э.rrементов сообщения.
•
Известно также, что при наличии корреляционных связей между
элементами сообщений энтропия последних уменьшается. Поэтому
повышение эффективности информационных систем можно также
получить за счет устранения или ослабления взаимосвязей между
элементами сообщений, т. е. за счет декорреляции сообщений.
Наконец, повышение эффективности систем можно получить за
счет соответствующего выбора способа кодирования, обеспечиваю­
щего экономию во времени при передаче сообщений. Очевидно, что
наибольшую эффективность системы даст F;Од, при котором среднее
количество кодовых символов, приходящееся на один элемент сооб­
щения, будет минимальным. Такой код называют эффективным.
Взаимные связи, существующие между отдельными сообщениями,
по.зволяют по данным наблюдений за предыдущими сообщениями
предсказывать последующие сообщения. Тогда, вычитая из предска­
занного сообщения истинное, можно в линию посылать полученную
разность (сигнал ошибки). РазноСТ?ЫЙ сигнал несет по существу
те новые сведения, которые не могли быть получены ранее по из­
вестным корреляционным связям между сообщениями.
Поскольку среднее значение сигнала ошибки меньше среднего
значения сигнала, то такой способ позволяет уменьшить объем
сигнала, а следовательно, увеличить эффективность системы.
Выбор того или иного способа повышения эффективности систем
из известных должен производиться с учетом сложности его техни­
ческой реализации, а также с учетом обеспечения необходимой
помехоустойчивости систем.
.
Расс-мотрим более детально некоторые наиболее широко извест­
ные способы повышеН}!Я эффективности систем передачи инфор­
маций.
6.3, Перераспределение плотностей вероятностей
элементов сообщения
•Ранее отмечалось, что наибольшей энтропией обладают сообще­
ния при равновероятном и независимом появлении их элементов.
Однако вывод был сделан без учета энергетических характеристик
сигнала. Более полное рассмотрение этого вопроса показало, что .
при наложении ограничений на мощность сигнала максимум энтро­
пии дает симметричное нормалfное распределение . Поэтому в реаль­
ных системах передачи информации целесообразно применять -рас­
цределение, приближающееся к нормальному. Следовательно, если
источник вырабатывает сообщения с распределением элементов, _
отличным от норма .'IЬного , то в целях лучшего использования канала
166


передачи информаций необходимо это распределение изменить так,
чтобы оно приблизилось к нормальному закону. В общем случае
изменение закона распределения возможно лишь за счет нелиней­
ных преобразований передаваемого сообщения . Сущность такого
преобразования рассмотрим на конкретном примере , описанном в [34]
и иллюстрируемом на рис.- 6 .1 .
/1
Рис. 6. 1
Сигнал х, характеризуемый плот~остью распределения вероят­
ностей w (х) и подлежащий преобразованию, подается на откло­
няющие пластины электронно-лучевой . трубки . Функции неJJинейного
пр еобразователя выполняет помещаемая перед экраном трубки
маска М с переменной прозрач-
-•
ностью, закон изменения которой !J=f(xJ t
.
у
описывается нелинейной функ- =="" -:_: -_ : -
цией f (х) (рис. 6.2).
.
l1
Световой поток Ф, проходя-
1- 1,---
щий :ер~з маску, находится в не-
1i/
линеинои зависимости от х
1 •11!JX
(6.4)
где k1 ~ коэффициент пропорци- w{x)
он альности .
W(fl)
С помощью специальной фо­
кусирующей системы Фе поток Ф
попадает на фотоэJJемент Ф . Э., ток которого
Рис . 6.2
пропорционален этому
потоку
•
I=kФ =k1kJ(х)=kf(х).
(6 .5)
Следовательно, если раньше вероятность уровня х ·определялась
плотностью w (х), то теперь та же плотность отвечает уровню
у = f (Х). Таким образом, ток на выходе фотоэлемента представ­
ляет собой новый сигнал с преобразованным распределением вероят­
ностей w (у).


Установим зависимость между плотностями распределения •
вероятностей входного и выходного сигналов преобразователя.
Из рис . 6.2 видно, что вероятность попадания входного сигнала х
в интервал dx равна · вероятности попадания выходного сигнала у
в интервал dy, т. е.
w(у)dy= w(х)dx,
(6.6)
где W (у) - ПЛОТНОСТЬ распределения верОЯТНОСТеЙ ВЫХОДНОГО СИГ·
нала у.
Функции (6.5) соответствует обратная функция
тогда
Подставляя
откуда
х= 1-1(у),
(6.7)
dx= d[f~:(у)]dy.
(6.7) и (6.8) в (6 .6), найдем
; (у)dy= w[f-1(у)[d[f~:(у)]dy:
(6.8)
(6.9)
Очевидно, что сигнал на выходе передающего устройства будет
искажен вследствие прохождения его через нелJiнейный четырех­
полюсник, поэтому в приемном устройстве полученный сигнал
необходимо подвергнуть обратной операции.
_
6.4 . Декорреляция сообщений
Известно несколько способов декорреляции сообщений: метод
укрупнения, метод предсказания и др. Эти способы подробно из.i:ю­
жены в литературе [ 15, 24, 32, 34, 35].
Рассмотрим в качестве примера сущность метода укрупнения.
Идея декорреляции методом укрупнения заключается в следую­
щем. Сигнал разбивается не на отдельные элементы, а на отрезки
(полиграммы), каждый из которых содержит группу элементов. Эти
отрезки рассматриваются как элементы нового сигнала . .При этом
оказывается, что взаимосвязь между укрупненными элементами
будет. слабее, чем между элементами у исходного сигнала.
Декорреляция сигналов тем значительнее, чем большее коли~
чество элементов включено в полиграммы.
При укрупнении сигнала кодирован·ию подвергаются не отдель­
ные элементы, а их · группы, т. е. осуществляется переход к коду
с более высоким основанием
(6.10)
где т1 - первоначальное основание кода; r - число элементов в
полиграмме; т 1 ~ новое - основание кода.
158


Энтропия, как известно, обладает важным свойством аддитивно­
сти. Переход к укрупненным элементам кода обеспечивает увели­
чение среднего значения энтропии на элемент сообщения в r раз,
так как среднее значение энтропии на полиграмму равно сумме
средних значений энтропии на элемент полиграммы. Как при этом
изменится избыточность сообщений?
Если среднюю энтропию на элемен_т исходного сообщения при­
нять равной h1, то после укрупнения средняя энтропия на элемент
будет равна h2 = rh 1 . Максимальная энтропия · сообщения с укруп­
ненными элементами
Н2макс=log2 N2 = r log2N1= rH1макс,
где N 2 - объем укрупненного алфавита; N 1 - объем первичного
алфавита; Н1 макс - максимальная энтрсшия первичного сообщения.
' Избыточность сообш:ения с укрупненными элементами
Н0
Н
kи2 = 1---
2- = 1•--
1- = kи1,
Н2 мако
Н1 мако
(6.11)
где kи 1 - избыточность первичного сообщения .
ЛJ
t1
fPC
x(f}
!J
о
Рис. 6.3
Выражение (6.11) показывает, что укрупнение элементов не обес­
печивает уменьшения избыточности сообщений. Это объясняется
тем, что при укрупнении элементов уменьшение избыточности за счет
ослабления связей между элементами компенсируется увеличением
избыточности за счет более неравномерного распределения вероят­
ростей элементов [61]. Поэтому для полного устранения избыточ­
ности укрупнение элементов должно сочетаться с использованием
оптимального статистического кода для кодирования укрупненного
алфавита или других мер, обеспечивающих перераспределение вероят­
ностей элементов сообщений.
В книге [35] описано устройство, совмещающее в себе функции
формироваl!ия укрупненного сигнала и перераспределения веро~т­
ностей. В_ устройстве учитываются лишь взаимосвязи двух соседних
159


элементов исходного сигнала . Схема этого устройства изображена
на рис. 6.3 .
Исходный сигнал подается на вертикально отклоняющие плас­
тины электронно-лучевой трубки, а на горизонтально отклоняющие
пластины поступает тот же сигнал, задержанный линией задержки
Л3 на время, равное длительности одного элемента. Луч трубки
в эtом случае отклоняется по горизонтали на величину, пропор­
циональную значению предшествующего элемента, а по вертикали -
.
на величину, пропорциональную значению данного элемента. Поло­
жение луча на экране :rрубки определяется, таким образом, парой
элементов lt и l1.
Закон распределения прозрачности маски М, расположенной
перед экраном трубки, выбран так, чтобы обеспечивался нормаль­
ный закон распределения вероятностей светового потока, поступаю­
щего через маску и фокусирующую систему ФС на фотоэлемент ФЭ.
Следовательно, ток фотоэлемента будет соответствовать укрупнен­
ному сuгналу с нормальным законом распределения вероятностей.
6.5 . Оптимальное статистическое кодирование
Оптимальное статистическое кодирование обеспечивает миними•
зацию •среднего количества кодовых символов на один элемент
сообщения. Этим обеспечивается получение максимально возмож­
ного количества информации, передаваемого кодовыми комбина­
циями при заданной длительности работы канала, а следовательно,
и пропускной способности канала.
Предположим, что кодирующее устройство может формировать т
различных кодовых комбинаций с длительностями t1 , t 2 ,
•..,
tm.
Задача состоит в том, чтобы установить такую зависимость
между длительностями кодовых комбинаций t 1 • и вероятностями их
поступления Р;, при которой обеспечивается максимум скорости
передачи информации .
Пусть для передачи сообщения длительностью Т необходимо N
кодовых комбинаций. Тогда должны быть справедливы следующие
равенства:
•
т
N=~nt;
(=~
т
Т='~ nJt;
(=J
(6.12)
(6.13)
(6.14)
(6.15)
где п, - среднее количество i-x кодовых комбинаций, используемых
при передаче сообщений.
•
160


Полное количество информации, • содержащееся в сообщении
д.Тiительностью Т при независимости появления его элементов
т
1 = -N ~ p/Iog2P1·
i=t
(6.16)
Поставленная задача. сводится к обеспечению максимума коли­
чества информации / соответствующим выбором величин N и Pi
при соблюдении условий (6.14) и (6 . 15).
Задача может быть решена методом неопред~ленных множите­
лей Лагранжа [9]. В соответствии с этим методом составим новую
функцию
•
in
т
т.
..
F= -N~Pilog2Pi+л1(1~~pJ+л2(Т- N~pJJ.
{=;1.
•
{=1
{=1
Определим· максимум этой функции, для чего найдем предвари­
тельно ее частные прщ1зводные по N и Pi и приравняем их к нулю
т
т
;~ = - ~Pilog2Pi-:----А2 ~Ptti=О;
i=;I.
i=~
дF
(
1)
. ...,
(• 1-
,
др,=-Nlog2Pi+ln2 - л1- л2Nti=О t= ,2, ... , т).
Из второго уравнения найдем
л·•
1•
log2p1 -- fv-'л.2t1 ln2 (l-1, 2, ... , т)
(6.17)
и, подставив это выражение в первое уравнение, будем иметь
откуда
N
л~ = -ln2'
Подставив найденное значение л1 в (6.17), получим
log2Pi= ....:......л2f1 (i=1, 2, . . . , т),
откуда
(6.18)
Выражение (6. 18) показывает характер зависимости между дли­
тельностями кодовь1х комбинаций и вероятностями их появления
при оптимальном ,кодировании. Из выражения видно, что кодовые
комбинации с малой вероятностью появления должны иметь боль
шую длительность и наоборот..
6 6-371
161


Для уяснения физического смыс.l_Iа коэффициента л2 подставим .
(6.18) в (6.16). Так как условие (6.18) определяет условие макси­
мизации количества передаваемой информации за заданное время Т,
то получим
•
.
.•
.
\
,п
'т
,
-N~ Pi(-л2tJ=Nл2~ PJi= л2Т_ •!макс,
i=t
i=~
откуда
т. е. ко;Эффициент л 2 численно равен пропускной спосоGности канала
передачи iц1формачии.
Таким образом, .
р,= 2-cti (i' 1 2
m)
'
,=
'
?... ,
'
(6.19)
или
ti =_logc2Pl (' 1 2
)
l=
,
,
...
,.m.
(6. _
20)
• Выражения •(6.19) и (6.20) определяют условие согласования
работы кодирующего устройства со статистическими свойствами
передаваемых сообщений, обеспечивающее передачу информации по
каналу со скоростью, практически равной его пропускной способ­
ности.
В настоящее время разработано большое количество ра~личных
способов оптимального статистического кодирования. Все они должны
обеспечивать решение двух основньiх задач:
1) при заданной статистике источника сообщений формирование
кодовых комбинаций со статистическими характеристиками, при
которых достигцется приближение скорости передачи информации
к пропускной способности канала;
2) возможность однозначноr-0 . декодирования сигналов на прием­
· ной стороне.
~ Для двоичного канала · с • отсутствием статистических связей
между символами этим требованиям удовлетворяет код Шеннона- •
Фано.
•
Известно, что при отсутствии статистических связей между
символами скорость ыередачи информации будет максимальна при
услGвии равной вероятности передачи символов О и 1. В соответ­
ствии с этим построение кода Ш~ннона - Фано производится ме­
тодом дихотомий (последовательного деления пополам) . Все подле­
жащие кодированию симgолы сообщения разбиваются на две группы
так, чтобы суммы вероятностей появлени~ элементов сообщений
2 каждой группе были бы по воз1-,Jожности одинаковы.
В результате такого разбиения как бы образовано новое сооб:
:цение, состоящее всего из двух элементов . верояtности появления
которых примерно одинакоtзы. Всем символам первой группы при­
пис ывае:гся • О и всем символам второй группы-). Каждая из
162


полученных групп . затем разбивается на две подгруппы с одина­
ковыми суммарными вероятностями и т. д. Процесс деления повто­
ряется до тех пор, пока в каждой . подгруппе останется по одному
символу.
Методика построения кода Шеннона - Фана для случая пере­
дачи четырех символов сообщения с .вероятностями р (х1) = 0,5;
р (х2) = 0,25; р (х3) = О, 125 и р (х4) = О, 125 иллюстрируется табл. 7.
Для удобства построения все символы сообщения выписываются
в таблицу в порядке убывания· вероятностей. При разбиении верх­
ним половинам групп приписывается символ О и нижним - сим-
вол 1.
1
Как видно из табл. · 7, полученный код является неравномер­
ным, так как длина кодовых комбинаций находится в обратной
зависимости от их вероятности. Для любой позиции всей совокуп­
ности кодовых комбинаций вероятности передачи О и 1 одинаковы.
Таблица?
Символы! Вероят-I Этапы деления на подгруппы 1Си1мво1
ы к:дов
1,х 1<омбинаций
сообще-
ности
1
1
1
1
ния
11
2
·з
4
3
4
1
Х1
0,5
}I
о
Х2
0,25
}}I
l
о
Х3
0,125
II
}!I
l
l
о
0,125
II
II
1
,.
1
1
Х4
Помимо того, из таблицы видно, что ни одна из кодовых ком­
бинаций не является началом другой. Этим обеспечивается требо­
вание разделимости кодовых комбинаций, т. е. возможность одно­
значного декодирования сигналов.
Подсчитаем скорость пер~д<!ЧИ информации, . которая обеспечи-
вается полученным кодом.
-
.
Пусть длительность •• симводов кодщшх комбинаций . равна 't .
Тог да средняя длительность кодовых комбинаций
Т= р(хд • 't +р(х2),•2't +р(х3)•3't +р(х4)3't = l,75't.
Средняя энтропия на символ сообщения
-
4
Н(Х)= -
~р(хдlog2р(хд = 1,75 дв.5ед•.
{=)<
.
соо щ.
Таким образом, скорость передачи информации
I(Х)=+
= Сдв./д·.
• Следовательно, полученный код в рассматриваемом случае •по­
зволил получить максимально возможное значение скорости пере­
дачи информации, т. е. обеспечить полное согласование статисти­
ческих характеристик источника сообщений со свойствами .канала.
6*
163


Это удалось благодаря тому', что в рассмотренном примере значе­
ния вероятностей р (xi) выбраны такими, что условия деления на
подгруппы удается выполнить точно . В ' реальных условиях это,
как правило, не обеспечивается и скорость передачи информации
будет меньше пропускной способности канала.
Эффективность кодирования может быть при необходимости уве-
/ личена путем перехода от кодирования одиночных символов сооб­
щения к кодированию групп символов сообщения, причем с укруп­
нением групп эффективность будет повышаться. Повышение эффек­
тивности происходит при этом за счет того, что при укрупнении
групп получающийся набор вероятностей можно , делить на более
близкие по суммарной вероятности подгруппы . Методика построе­
ния кода Шеннона - Фана путем кодирования групп символов
сообщения иллюстрируется в 6.6 примером 6.4.
6.6. Примеры
При мер 6. 1 (из [26]). Плотность распределения вероятностей
сигнала описывается законом
•.
{е_хр{-х} при х>,-0;
w(х)=О
-
при х<О.
,
\
Сигнал пропускается через . нелинейный преобразователь с ха­
рактеристикой вида
у=t(х)= 1Vx\.
Найти плотность распределения вероятностей выходного сигнала
преобразователя .
Реше н ие. Для определения закона распределения выходного
сигнала воспользуемся соотношением (6.9):
Обратная функция преобразователя 1
х= ,-1(у)=у4,
производная этой функции
d u-1 (у)] = 4уз.
dy
.
Тогда искомая функция распределения
w (у)= w[f-1 (у)] d и:; (у)] 4ехр {-у4) уз..
Пр им ер 6. 2 . По каналу необходимо передавать сообщение,
формируемое из независимых ,символов с вероятностями появления,
определяемыми та бл . 8.
•
Канал рассчитан на передачу _ элементов • сообщения со средней
длительностью •t' = 1 мс .
164
__j


Требуется построить оптимальный код с время-импульсной мо-
дуляцией.
•
Решение. Код будем строить на основании зависимости (6.16).
Пропускную способность канала определяем из отношения (5 . 12).
Средняя скорость передачи символов сигнала по условию
эад ачи
СимволыIх, 1х, 1х, 1х. 1х. 1х, 1х, 1х, 1х, 1Х10
Вероятность! 0,251 0,20 \ 0,15 t ~,lб 1 0,10 1 0,05 1 0,05 1 0,03 [ 0,01 10,01
и- =~= 1000 симв•.
у
't
с
Тогда пропускная способность канала
С=Ииlog2п= 1000log210=3320 дв. ед;
.
с
Да нные расчета оптимального кода сведены в табл. 9.
_
-
Таблица 9
Символы
1
х,
1
х,
-1
х,
1
х.
1
х.
1
х,
1
х, 1 х,Jх,-,х"
-
log2 р (х1) 2,00 2,32 • 2,74 2,74 3,32 4;32 4,32 5,06 6,64 6,64
--
--
-
--
---
--
--------
ft, МС
0,602 0,698 0,827 0,827 1,0
1,3
1,3 1,52 2,0 2,0
Приме р 6.4 (из (10]). По каналу необходимо передать сообще-
1111с, формируемое из 3-х независимых символов, с вероятностями
1юлвления, определяемыми табл. 10.
Таблица 10
Таблица 11
Символы
1
х,
1
х,
1
х,
Символ
] :Код
сообщения
Вероятность
0,2
0,7
0,1
Xi
00
Х2
01
Х_в
10
Канал обладает · полосой пропускания, допускающей передачу
кодовых комбинаций с длительностью символов ,: = 1 мс.
Определить скорость передачи информации по каналу при ис­
пользо вании:
а) равномерного двоичного кода;
165


б) кода Шеннона - Фана при ·кодировании .отдельных символов
сообщений;
в) кода Шеннона-Фано . при кодировании групп из двух сим­
волов сообщения.
Решение. а) длина (количество разрядов) п равномерного двоич­
ного кода определяется из отношения
п = 1og2m.
. где
т - число элементов СQобщения .
При т = 3 длина кода должна быть равна п = 2.
Возможные варианты кодовых комбинаций представлены в таб­
лице 11.
Длительности кодовых комбинаций
Т=2-с=.2мс.
Энтропия сообщения
3
Н(Х)= - ~p(xt)1og2p(xt)=·
t=l
•Скорость передачи информации при использовании равномерного
двоичного _ кода
!(Х)=НТ(Х) •
1,16 = 580 д\!~ е-!1.· ;
2 ••10 ,3
.
•
с
б) построение кода Шеннона - Фано с кодированием отдельных
символов сообщения производится в соответствии с методикой, из­
ложенной в 6.5, и иллюстрируется табл. 12.
166
Таблица 12
Символ
1
1
Деление
1
Длительность
сообщений
Вероятности
на · !]Одгруппы
Код
•
кодовых комби-
•
наций
Xi
0,7
}
I
о
,:
Х2
0,2
}П.}I
10
2,:
Хз
-
0,1
}II
11
2-с
Средняя длительность кодовых комбинаций при этом
3
Т= ~ р(хдТi=(О,7 , 10-з+о,2.2. 10- ~+
•
i=;=l ·
+о,1,2 , 10-3) = 1300 мкс.
Скорость передачи информации
/(Х). ·1,16 6 = 890 дв. ед• .
= 1300-10
с1


в) для построения кода Шеннона -Фано с · кодированием групп
из двух символов сообщения вычисляем вероятности отдельных
групп по формуле р (xixi) = р (xi) р (х1), рассматриваем в дальнейшем ·
полученные группы как символы . нового сообщения и производим
кодирование по методике пункта (б). Построение кода иллюстри­
руется табл. 13. •
.
Таблица 13
.
Группы Вероят-
символов ность
Деление на подгруппы
Код
-
Х2Х2
0,49 }1· ,
-
о
Х1Х2
0,14
lп}1
..
}1
100
Х2Х1
о, 14
}I1
. 101
Х2Хз
0,07
jIJ
}1 \}1•
1100
Х3 Х2
0,07
1101
Х1Х1 .
0,04
}II
)1
1110
Х1Х3
0,02
1
}11
}1
11110
Х 3Х1
0,02
}11 }I
111110
Х3Х3
0,01 )
}11
111111
~редняя длительность кодовых комбинаций :
Т=0,49,:+2•О;-14,3,: .+2.• 0,07•4,: +0,04•4,: +
+0,02,5,:+0,02•6,: +0,01.6,: = 1,165 мс.
Скорость передачи информации
-
·
116
I(Х)= 1165,. 10 3
'
= 995 дв. ед.·.:·
с
Пропускная способность двоичного канала
С = ..!.. ....:.. 1000 дв. ед•.
't
с
Длитель'
ность
кодовой
комбина-
ции
't
3-_
3-_
41:
41:
4,:
51:
61:
5-_
Таким образом, в случае (в) обеспечивается наибольшее при­
ближение скорости передачи информации к пропускной · способности
I<а нала.
'
I<ОНТРОЛЬНЫЕ ВОПРОСЫ
.
1. Что понимается под эффективностью системы передачи ицформации
и какими показателями она :,сарактеризуется?
.
2. Как заnисит эффективность системы передачи информации от избыточ-
ности сообщений?
•
1
3. В чем сущность метода повышения эффективности систем за счет перерас­
пределения плотностей вероятностей элементов сообщения?
4.' Как влияет корреляция между элементами сообщений на эффективность
систе мы передачи информапии?
5. В чем состоит суть метода укрупнения?
6. В чем состоит суть оптимального стаrистическоrо кодирования?
7. Каким основным требованиям дою1<'ны удовлетворять оптимальные ста-
тис тические коды?
•
..
•
• 8. Объясните методику построения кода Шеннона - Фано.
167


Гпава VII
ПОМЕХОУСТОRЧИВОСТЬ ИНФОРМАЦИОН НЫХ СИСТЕМ
7.1 ;· Общая характеристика помех
в системах пере,11.ачи информации
Под помеха_ми понимаются любые возмущения в . канале пере­
дачи информации, вызывающие случайные отклонения принятого
сообщения от переданного [2]. Помехи обычно кщссифицируются
по месту их возникновения, по статистическим свойствам . и по ха­
рактеру воздействия на полезный сигнал.
По месту возникновения помехи можно разделить на внешние
и внутренние. К .внешним помехам относятся помехи, источники
которых находятся вне системы передачи информации. Сюда можно
отнести:
1) атмосферные поме_хи (вызванньrе ·грозовыми разрядами);
2) космич~ские помехи, вьrзванные радиоизлучением Солнца
и других небесных тел;
3) промышленные помехи, . обусловленные работой различных
электрических устройств и агрегатов. ,,
.
· Внутр енние
помехи возникают в самой аппаратуре системы пе­
редачи информации. Сюда можно отнести помехи в виде теп ,~rовых
шумов электронных ламп, полупроводниковых приборов, сопротив­
лений и других элементов; помехи, вызванные изменением парамет­
ров линий связи, влиянием линий друг на друга, а · также за счет
кратковременных разрывов связи; помехи, возникающие при преоб­
разовании сигналов в отдельных . элементах системы (шумы кванто­
вания, искажения сигналов за счет ограниченного значе!fИЯ полосы
пропускания элементов, за счет нелинейности характеристик пре­
образования и пр.); пом~хи, обусловленные нестабильностью эле­
ментов аппаратуры, а также аппаратурные искажения, вызванные
технической неисправностью или недостаточно точной _настройкой
аппаратуры .
.
По своим свойствам помехи могут быть детерминированными
и случайными. Защита прqтив детерминированных помех не вызы ·
вает особых затруднений : В дальнейшем рассмотрим только слу·
чайные помех·и.
Все случайные помехи можно объединить в · три группы :
1) импульсные помехи;
2) флюктуационные · помехи;
3) синусоидальные помехи.
Импульсные помехи представляют , в общем случае последова ­
тельность импульсов произвольной формы со случайными ампли­
тудой, длительностчю и моментом появления . Характ~рной особен­
но~тью импульсных помех является то, что переходные процессы,
вызванные в аппаратуре · каким-либо импульсом, успевают практи­
чески затухнуть до появления следуюЦ!его импульса .
168


Характерными примерами импульсных помех являются помехи
от гро:ювых разрядов, от системы зажигания двигателей внутрен -
1-r его сгорания, помехи, связанные с коммутационными процессами
ит.п.
,
Флюктуационная помеха представляет собой совокупность боль­
шого числа кратковременных нерегулярных импульсов со случай­
н ыми параметрами. Переходные процессы от воздействия отдель­
ных импульсов, накладываясь друг на друга, образуют непрерыв- -
н ый случайный процесс. Характерной особенностью этих · помех
является отсутствие выбросов, превышающих средний уровень бо­
лее чем в три-четыре раза [20, • 36].
Так как длюельность переходного процесса определяется · поло­
сой пропускания канала , передачи информации, то и характер помех
з ависит от ширины полосы канала. Одщ1 и та же помеха может
бы ть импульсной для широкополосной и флюктуационной для уз-
1юполос1-юй системы.
Флюктуационные помехи представляют , собой обычно белый
шум, гауссов шум или белый гауссов шум. •Последний характерен
JСак своей распространенностью, так и тем, что он принципиально
не может быть устранен.
К таким помехам можно отнести:
1) тепловые шумы сопротивлений и полупроводщ_шовых прибо -
ров, дробовый эффект . электронных ламп;
•
2) космические помехи;
3) атмосферные помехи в диапазоне коротких волн и пр.
Синусоидальные помехи представляют собой синусоидальные ко-
JТебания со случайно изменяющимися амплитудой, фазой и частотой.
Эти помехи характеризуются медленным • изменеНТiем параметров,
nследствие чего ширина спектра модулирующей функции синусои­
J\а льной помехи оказывается практически малой по сравнению
по лосой пропускания канала.
•
В качестве источников синусоидальных помех могут быть посто­
ронн ие радиоустановки, генераторы переменного тока и пр.
По характеру воздействия на полезный сигнал помехи подраз­
!(еляются на аддитивные и мультипликативные_. Аддитивная по­
м еха - это помех?, представляемая не зависящим от сигнала
случайным слагаемым . Аддитивную помеху называют иногда «шу­
мом». Мультипликативная помеха - это помеха, представляемая
не з ависящим от сигнала случайным множителем [2]. Подавляющая
часть встречающихся на практике помех nринаДJ1ежит к группе
аддитивных помех .
Характерным · . примером мультипликативной помехи является
искажение сигнала за счет случайных изменений характеристик
канала передачи информации .
Все случайнь1е помехи представляют собой случайный про­
це сс и .описы в аются с помощью функций распределения вероят­
ностей либо числовых .характеристик в виде моментов распреде­
ле ния.
169


7.2. Критерии оценки помехоустойчивости
информационных систем
Помехоустойчивость определена в μервой главе как способность
информационной системы противостоЯ1:ь вредному действию помех.
В результате действия помех приня,тое сообщение будет в какой•
то мере отличаться от переданного. Поэтому помехоустойчивость
можно характеризовать как степень • соответствия принятого сооб•
щения переданному при заданной помехе. При сравнении несколь­
ких систем та из них будет более помехоустойчивой, которая
при одинаковой помехе обеспечит меньшее различие между при-
нятым и переданным сообщениями.
.
Для характеристики степени соответствия принятого сообщения
переданному введен термин «верность» [37 J. Количественная мера
этого соо~:ветстiзия выбирается по-разному в зависимости от харак­
тера сообщений.
При передаче непрерывных сообщений часто в качестве крите­
рия верiюсти используется критерий среднеквадра'I·ического откло­
нения принятого сообщения У (t) относите_льно переданного Х (t)
• а= V /Y(t)-:- -X(t)/2 •
Применяются также критерий абсолютного отклонения
оабс =/У (t)-X (t) /.
и критерий наибольшего отклонения
• Омако = max/У(t)- Х(t)/.
(7.1)
(7.2) •
(7.3)
Обычно для удобства сравнительной оценки помехоустойчивости
различных систем рассматриваются относительные отклонения
-
а.
ia-x•
,
э
0абс .
0~акс
iабс=Х--' iмако =-Г
•
э
о·
з
или приведеннъfе отклонеiшя
а
аа=Lx;
0абс
aaCic = --г:;- ;
(7.4)
(7.5)
где Хэ - эффективное значение сообщения; Lx - динамический ,
диапазон передаваемых . сообщений.
Если предположить, что канал передачи информации имеет
идеальную П-образную амплитудно-частотную и линейную фазо­
частотную характеристики, то при наличии флюктуационной помехи
типа белого гауссова шума среднеквадратическое •значение отк.rю­
нения принятого сообщения относительно переданного равно корню
квадратному из средней мощности помехи на выходе приемника
Рп . вых, а относительная величина этого отклонения выражается ·
170


через корень квадратный отношения средних мощностей помехи
и сигнала на выходе приеll!ника
•
(7.6)
ДJ1.я сравнительной оценки систем и практических расчетов часто
в качестве критерия помехоустойчивости принимают величину
«в ыигрыша системы»
(7.7)
rде ( ;х) и ( ~х) -·отношение средних мощностей сигнала
i: вых
·i;вх
•
и помехи на выходе и входе устройства.
В случае пЕредачи дискретных сообщений, а также непрерывных
со общений с кодоимпульсной модуляцией. сигналов, в качестве
I(ритерия верности цел_есообразно использовать вероятность пра­
вил ы-юго приема
Рпр = 1-Рош,
(7.8)
где_ Рош - вероятность ошибки в воспроизведении сообщения.
'
В реальных условиях вероятность ощибки Рош очень мала и зна­
чительно меньше , единицы. Поэтому очень часто использую1 для
оценки помехоустойчивости логарифмическую величину .
S=Ig_1
.
lg,-1 _1_.
_
.
Рош
-Рпр •
(7.9)
По смыслу опред~ления помехоустойчивость .понимается как
uойство системы передачи информации в целом. Однако оценка
1юмех оустойчивости .системы в цеJJом - довольно сложная задача .
Поэ тому обычно говорят о помехоустойчивости отдельных звеньев'
с истемы: о помехоустойчивости передачи (в частности, о помехо­
усто йчивости кода или вида модуляции) и о помехоустойчивости
прием а. _Помехоустойчивость кода может быть оценена величнной
(7.9), гдr Рош- вероятность искажения кодовой комбинации под.
13оздействием помех.
'
При оценке влияния вида модуляции на помехоустойчивость
системы .производят обычно сравнение различных видов модуJJяции
с амплитудой. С этой целью часто применяется коэффициент
~ (~:)вых
Rм=---
(7.10) .
( :; )вых АМ,
171


или
R
( ~; )~w~
м = ---, - -,, -(рх~)=---'
~ выхАМ
(7.11)
где (_! __) и ( ;х) - отношение эффективного значения сигнала
а€ вых:
€ вых
к среднеквадратичному значению помехи и отношение средней
,
мощtюсти сигнала к средней мощности помехи на выходе прием-
ного устройства при произвольном виде модуляции; ( Хэ)
1
а€ вых АМ
и(;х)
-
аналогичные отношения на выходе приемного уст-
€ выхАМ
ройства при амплитудной модуляции.
При приеме в зависимости от назначения сигналов могут иметь
место три вида задач [37): 1. Обнаружение сигнала. 2. Различение
сигналов. 3. Восстановление сообщений.
•
Задача обнаружения-состоит в том, чтобы по результатам обра­
ботки принятого сигнала, который может быть либо только помехой,
либо суммой полезного сигнала и помехи, решить, содержюся ли
полезный сигнал в принятом или нет. Пр·и этом могут быть ошибки
двоякого рода: 1) при отсутствии полезного сигнала принимается
ложное решение о наличии сигнала; 2) при наличии сигна:Ла при­
нимается ложное решение об отсутствии сигнала. Первая ошибка
называется ошибкой первого рода или «ложной тревогой». Вторая
ошибка называется ошибкой второго рода или «пропуском сигнала».
Количественно ошибки первого и второго рода оцениваются услов­
ными вероятностями а и ~ ошибочных решений о наличии полезного
сигнала, когда в действительности он отсутству~т, и об отсутствии
сигнала, когда в действительности он имеется.
Полная вероятность ошибочного решения определяется выра-
жением
Рош=qa+Р~,
(7.12)
где q и р - априорные вероятности отсутствия и присутствия по­
лезного сигнала.
Помехоустойчивость приемника, решающего задачу обнаружения
сигна.тrа, может быть оценена с помощью выражения (7.9), где Рош
определяется формулой (7.12).
•
Когда априори известно, что передан один из двух сигналов
х1 и х2, то ставится задача различения · двух сигналов, · т. е. задача
определения, имеется ли на входе приемника сигнал х1 плюс по­
меха, или сигнал х2 плюс помеха. Очевидно, помехоустойчивость
приемника в этом случае . также опреде.,пяется выражениями (7. ~)
и (7.12), причем величины а и ~ в формуле (7.12) являются услов­
ными вероятностями ложных заключений о наличии сигналов х1
или х2 , когда в действительности на вход приемника поступает
172


сигнал х2 или х1 соответственно, а q и р являются априорными
вероятностями поступления сигналов х1 и х2 .
Случай различения многих сигналов в принципиальном отно­
шении мало отличается от случая различения дву~ сигщмов.
Помехоус:тойчивость приемника в этом случае также может быть
оценена формулой (7.9), причем вероятность ошибки Рош опреде­
ляется с помощью выражения
п
Рош = ~ P/Xt,
(7.13)
--
i=I
,
-~
где Pt - априорная вероятность поступления i-го сигнала; ai -
условная вероятность ложного заключения о Jiаличии i-го сигнала,
когда в действительности на вход приемника поступает любой
другой из п сигналов:
1
•
•
Задача восстановления сообщения значительно отличается от ·
задач обнаружения и различения сигналов. Она сводится к получе­
нию выходного сообщения У (t), наименее отличающегося от пере­
даваемого с' точки зрения выбранного критерия верности': Помеха-
"
устойчивость приемника в этом случае може1.: _быть оценена
с помощью критериев отклонения, определяемых выращениями
(7.1) - (7.6).
Помехоустойчивость такого приемника может оыть также оце­
нена с помощью критерия (7.7). Однако нужно иметь в виду, что
эта величина не всегда может быть определена однозначно и не
позволяет объективно сравнивать между собой различные системы,
если помеха имеет более_ широкий спектр, чем сигнал и, в част­
ности, если она типа белого шума. Мощность · помехи на входе
приемника в этом случае определяется полосой пропускания ка-
•нала связи.
Различные системы могут существенно отличаться
полосой пропускания каналов связи . При одном и том же канале
связи могут применяться приемники с различными полосами про­
пускания.
Для устранения имеющейся неоднозначности можно сравнивать
на входе и выходе приемника отношения мощностей сигнала не
с мощностью помехи, а с удельной мощностью помех. В этом слу­
чае _выигрыш приемника оценивается ,соотношением
Рх
Р'
В'-~
-
Рх'
Р[вх
(7.14)
р,
PF. вых
где F. вых
-.
-F--
- -' - удельная
мощность помех на выходе прием-
вых
р , РF.вх
-
ника; F. вх = -F - - - удельная мощность помехи на входе прием-
.
вх
ника; Fвх и Fвых - полосы частот, в которых измеряется мощность
помехи на входе и выходе приемника.
173


ОчевидIJО,
где .
.
FBX •
р--· ­
-
Рвых •
7.3 . Способы повышения · помехоустойч ивости
информационных систем
(7.15)
В основе всех способов повышения помехоустойчивости инфор­
мационных систем :лежит использование . определенных разлиqиij .
между полезным сигналом и помехой. Поэтому для борьбы с по­
мехами необходимы априорt1ые сведения о свойствах помехи
и сигнала .
В настоящее время , известно большое число способов повышения
помехоустойчивости систем . Все эти способы удобнее разбить на
две группы. Пер~вая группа способов основана на выборе метода _
передачи сообщений. Вторая группа способов .связана с построе­
нием помехоустойчивых приемников .
Простым и •часто применяемым способом повышения помехо­
устойчивости передачи является увеличение отношения сигнал/помеха
за счет увеличения мощности передатчика . Однако этот метод, _,.
несмотря - Н!} свою простоту, может оказаться ·экономически невы­
годным, так как связан с существенным ростом сложности и стои­
мости оборудован-Ия . Помимо того, увеличение мощности передачи
сопровождается усилением !,fешаюμr.его действия данного канала на
другие.
j'
Важным способом повышения помехоустойчивости передачи не- •
прерывных сигналов является рациональный выбор вида модуляции
сигналов. Применяя виды модуляции, обеспечивающие значительное
расширение полосы частот сигнала , можно добиться существенного
повышения помехоустойчивости передачи. Оценка помехоустойчи­
вости отдельных видов модуляции произведена в параграфе 7.4.
Радикальным способом повыщения помехоустойчивости передачи
дискретных сигналов является использование специальных помехо­
устойчивых кодов. При этом имеются два . пути повышения помеха,
устойчивости кодов. Первый заключается в выборе таких способов
передачи, которые обеспечивают меньшую вероятность искажения
кода, второй - в увеличении к6рректирующих свойств кодовых
комбинаций .
-
Исследования первого пути показали высокую помехоустойчи­
вость кодов с большим числом частотных признаков [20 , 36 , 38, 39].
Второй путь связан с испо.т1ьзованием кодов, · позв0ляю1цих об­
наруживать и устранять иекажения в кодовых комбинациях. Такой .
способ кодирования связан с введением в код дополнительных, .
избыточных символов, что сопровождается увеличением времени
174


передачи либо частоты передачи символов кода . Это приводит
к расширению спектра сиг_нала.
Основные положения теории помехоустойчивого кодирования
изложены в параграфе 7..5 .
-
Повьп.μение помехоустойчивости передачи может быть также
достигнуто путем повторной передачи одного и того же сообщения.
На приемнqй стороне сравниваются полученные сообщения и в ка­
честве истинных принимаются те, которые имеют наибольшее число
совпадений . Чтобы исключить неопределе!jность при обработке
принятой информации и обеспечить .отбор по критерию большин­
ства, _сообщение должно повторяться не менее трех раз. Очевидно,
что этот способ повышения помехоустойчивости связан с увеличе-
нием времени передачи.
.
Системы с повторением передачи дискретной информации де­
J1ятся на системы с груш1Ьвым суммированием, у которых сравнение
производится по кодовым комбинациям (группам), и на системы
с посимвольным суммированием, у которых сравнение осуществ­
ляется по символам кодовых комбинаций. Исследования показали,
что посимвольная проверка является более эффективной, чем груп -
повая _ (см. пример 7.5).
.
•
Разновидностью систем, · у которых · повышение помехоустойчи­
вости достигается за ~чет увеличения времени передачи, являются
системы .с _обрЩЩ)Й связью.
-
При наличии искажений в передаваемых сообщениях информация,
поступающая по обратному каналу, обеспечивает повторение •пере­
да·чи . Нщшчие обратного канала приводит к усложнению системы.
Однако в отличие от систем с повторением передачи в системах
с обратной связью повторение передачи будет иметь место лишь
в случае обнаружения . искажений в передаваемом сигнале, т. е;
избыточность в целом оказывается меньшей.
Характеристика систем с обратной связью приведена в пара­
графе 7.1-З.
Помехоустрйчивый прием состоит в использовании избыточности,
а также априорных · сведений о сигналах и ПОJ11ехах для решения
· оптимальным способом задачи приема обнаружения сигнала, · раз­
ли чения сигналов или _ восстановления сообщений . В настоящее
время для синтеза оптимальных приемников широко используется
аппарат теории статисrических решений (см. параграфы 8.6-8.11).
Ошибки приемника уменьшаются с увеличением отношения
си гнал/помеха на входе приемника. В · связи. с этим часто произ ­
водят предварительную обработку принятого , •сигнала с целью
уве личения отношения полезной составляющей к помехе . К таким
методам предварительной обработки сигналов относится метод ШОУ
(сочетание широкополосного усилителя, ограничителя и узкополос­
ного усилителя), селекция сигналов по длительности, ме_тод компен­
сации помехи, метод фильтрации, корреляционный метод, метод накоп­
ле ния и др . Описание сущности некоторых из этих методов и их
характеристика будут приведены позже (см. параграфы 8.2 -8 .5).
175


7.4 . Помехоустойчивость различных видов модуляции
Переносчиком информации, как известно, является сигнал, ко­
торый в общем случае может быть представлен в виде
х(t)=f(а1,а2,... , ат t),
где а1, а2, ... , ап - параметры сигнала ."
Модуляция сигнала состоит в том, что один или несколько
его параметров изменяются в соответствии с передаваемым сооб­
щением. Воздействие- помехи на - носитель приводит к дополнитель-
ной (паразитной) модуляции его параметров.
,
При наложении помехи ~ (t) на полезный сигнал х (t) полу­
чается сложный сцгнал
y(t) = x(t)+Цt)+f1(а1+Ва1, а2+8а2,••• , ап+8am t),
где 8а1, 8а 2 ; ... , аа п - приращения параметров сигнала под воз­
действием помехи (паразитная модуляция).
Очевидно, что различные параметры сигнала будут по-разному
реагировать на воздействие помехи, т. е. помехоустойчивость раз­
личных видов модуляции должна быть неодинаковой. Оценку
помехоустойчивости модуляции будем производить с помощью кри­
терия (7.7) и (7.11).
Амплитудная и частотная модуляции
Предположим, что передаваемый сигнал и помеха изменяются
по гармоническому закону
х(t) = Аsinыоf;
~(t)=Вsinыt:
Суммарный сигнал, получаемый в результате наложения помехи
на полезный сигнал, можно представить
в виде
у(t)=Аsinы0t+Вsinыt=
=(А+ М) sin (ы0 + 8ы0) t,
где· ВА и аы - паразитная модуляция ам­
плитуды f! частоты сигнала.
На рис. 7.1 представлена векторная
, диаграмма,
иллюстрирующая образование
суммарного сигнала. На этом рисунке Х -
Рис. 7.1
вектор сигнала, вращающийся вокруг точки
О с частотой ы 0 ; Z - вектор помехи, вра­
щающийся вокруг точки 1 о частотой ы; У - вектор результирую­
щего сигнала, вращающийся вокруг точки О.
Вектор У совершает сложное движение с периодически изменяю­
п.1:ейся скоростьI6. При этом также будет периодически изменяться
[76


е го амплитуда . Периодические изменения скорости вращения век­
тора у и его амплитуды характеризуют частотную и амплитудную
п аразитные модуляции сигнала .
Для оценки паразитной модуляции разложим вектор Z на
составляющие М и I (рис. 7. 1) .
Проекция вектора Z на вектор Х выражает амплитудную пара-
зитную модуляцию. Эта проекция
•
М=Bcos(ш0-ш)t=Bcosоср=оА<В,
(7.16)
где
оср= (шо-ш)f='о1шt.
Чтобы найти паразитную частотную модуляцию, необходимо
определить угловую ск-орость вращения вектора У. Последняя равна
dcp
ill=dt,
Где ер = Шоf + а - МГНОВеННаЯ фаза вектора У.
Таким образом,
ш'=ш0+~~ =ш0+ош, _
·
~
-
где ош = dt- паразитная частотная модуляция .
~иМ«А
•
,
а=tgа=Вs~оср .
Следовательно,
•
da
в
d (оср)
в
ощ=7
= лcosоср--л--- =л01шcosоср,
(7.17)
где
0 _ d(оср)
1щ-dt•
Окончательно получим следующее выражение для угловой ско­
рости вектора У:
ш' = (1)0 + 1ощсоsоср.
(7.18)
Оценим величину отношения сигнал/помеха на выходе прием­
н ика при амплитудной модуляции. Так как на выходе приемника
стоит амплитудный детектор, то выходной · сигнал приемника про­
порционален изменен;иям модулируемого параметра .
С.rrедовательно, отношение мощностей сигнала и помехи на вы­
ходе приемника при амплитудной модуляции
(ЛА)2
.
(ЛА) 2
lвых АМ == . (оА)2
=~'
макс
где ЛА- максимальное значение изменения амплитуды сигнала
177


при полезной модуляции; Ммакс - максимальное значение изменения
амплитуды сигнала при паразитной модуляции.
При стопроцентной амплитудной . модуляции
ЛА=А.
Тогда
л2
,'}'вых
,
132 = tвх АМ•
л2
где '}' вх Ам ~ 732"" - отношение мощности полезного сигнала к мощ-
ности помехи на входе приемника.
Таким образом, выигрыш амплитудной модуляции
Влм·= 'УвыхАМ = l.
'Увх АМ
Следовательно, при амплитудной модуляции . оцюшения
сигн·ал/помеха на выходе и входе приемника одинаковы.
При частотной модуляция используются приемники с частотными
• детекторами.
При этом величина сигнала на выходе приемника
будет пропорциональна девиации частоты входного сигнала. Тогда
отношение мощностей сигнала и помехи· на выходе приемника
(Лw~) А2(Лw)2 ( Лw )2
lвыхЧМ = (оw)~акс = 82(01 w)2 = 01 w . lвхЧМ'
где Л(J} и (8(!} )макс - максимальные изменения частотьi сигнала при
полезной и паразитной частотной модуляции. ·
•
Следовательно, выигрыш, обеспечиваемый частотной модуля­
цией,
в~'УвыхЧМ_ (Лw)2
ЧМ-
-
8·w
•
'УвхЧМ
.
1
(7.19)
·обычно Лw > 81 ы, поэтому частотная модуляция подавляет
помеху и это подавление будет тем эффективнее, чем больше
девиация частоты Л(J} . при полезной модуляции. Таким образом, _
частотная модуляция по сравнению с амплитудной обеспечивает
•
'(Л)2
выигрыш в 81:
раз .
Общий случай'- по· каналу передается произвольный . сигнал.
Пусть сигнал характеризуется . энергетической спектральной . плот- '
ностью G ((J} ). В канале действует аддитивная помеха типа белый
шум с ·удельной энергетической спектр_альной плотностью Р0 . _.
Отношение мощностей сигнала и помехи на выходе приемника
для случая амплитудной модуляции
lвых АМ =
о
IG (w) dw
о
PoQ
(7.20)
где Q - полоса частот, в которой действуют сигнал п помеха.
178


Это же отношение для случая частотной модуляции
о-
}- (Лоо) 2 G (оо) doo
о
"(вых чм = -w-,""'+-=o______
s (oo-ooo)2Pod~
о
о
о-
(Л~)2 SО (оо) doo
о
- -9~ -----
Ро s_(81оо)2 d (а1оо)
о
3 (Лоо)2 f G(oo)doo
SО (оо) doo
о
.::_ 3(Лоо)2 • о
_
3r.2
p 0Q3
-
Q2
p0Q
-
t' lвых АМ•
Лы
•
где ~ = Q - индекс частотной модуляции.
(7.21)
Таким образом, при произвольном спектре сигнала частотная
модуляция по сравнению с амплитудной обеспечивает выигрыш
в 3~ 2 раз. Этот выигрыш достигнут ценой •расширения спектра
модулированного сигнала.
Кодоимпульсная модуляция
При кодоимпульсной модуляции имеют место два вида помех:
шум квантова,н:ия ок (t);
внешние помехи ~ (t).
.
.
Оценим влияние каждой из указанных помех. Шум квантования
представляет собой методическую погрешность, возникающую при
ква нтовании . сигналов по уровню. Как уже установлено (см. па­
раграф 3. 10), при . условии, что шаг квантовани-я Лх значительно
ме ньше динамического диапазона сигнала, шум квантования рас­
пределен · по закону. равной вероятности в пределах шага кванто­
ва ния, причем дисперсия шума квант0вания
.
л2
D (ок) = -тf.
Пусть величина сигнала распределена равновероятно в интервале
от О до А. Тогда дисперсия сигнала ,
.
А
Е!(Х)=sХ2~(Х)dX .. • ~
2
•_
о
Отношение мощности сигнала к мощности шума квантования
-
•
D (Х)
А2
.1ким= D(a) = 4-л2 •
(7 .22)
к,
х
Число уровней квантования
А
m=-.
Лх
179


Если квантованные сигналы кодируются двоичным кодом, то .
где п - количество разрядов в кодовой комбинации.
Тогда
,.,
-
4m' 2 = 22п+2
1ким .-
•
(7.23)
(7.24)
Если модулируемый сигнал имеет полосу частот О+ F с, то
. квантование
сигнала по времени должно осуществляться с часто­
той 2Fc , Пусть продолжительность кодовых комбинаций равна •
.
1
интервалу _временного квантования сигнала Тк = '2.F
.
Тогда при
с
условии, что длительность одного импульса 't в кодовой комбинации
равна длительности паузы между импульсами; получим следующее
выражение для ширины частотного спектра модулированного
сигнала:
•
откуда
лf12n
к::::::: - = т- =4Fсп,
't
1{
Лfк
n=4~
с
(7.25)
Как видно из (7.25), коэффициент ri выражает отношение спектра
. модулированного
сигнала к спектру исходящего немодулированного
сигнала, т, е. играет такую же роль, . как и индекс модуляции ~
при частотной модуляции .
Таким образом, · можно сделать заключение, что при кодоим­
пульсной модуляции отношение мощностей сигнала и помехи про­
порционально 22~ .
Высокая помехQустойчивость кодоимпульсной модуляции достиг­
нута как за счет расширения спектра модулированного сигнала,
так и за счет увеличения времени передачи.
Незн:ачителыюе увеличение спектра сигнала с КИМ (увеличение
п) сопровождается резким увеличением помехоустойчивости данного
вида модуляции. Однако, как видно из (7.23), рост п (при задан­
ном А) может быть осуществлен за счет существенного уменьшения
шага квантования Лх . Последнее . же может, в свою очередь, при­
вести к_ понижению пЬмехоустойчивости КИМ •за счет в.rrияния •
внешних помех .
,
Действительно, пусть в канале действует аддитивная помеха
~ (t). Действие помехи ~ (t) r приводит к ошибкам при квантовании
сигнала по уровню, если уровень помехи превосходит половину
шаг.а квантования. Вероятность такой ошибки
дх
-
2
00
Рош=
SwЩd~ = 2Sw(~)d~.
дх
2
180


При нормальном законе распределения помехи
25
00
{
~
2}_
•
(Лх)
Рош= V
ехр--2d~-
1-Фу-
,
2ncr:
2cr€
2 2а€
(7 .26)
о
где Ф ( J: )- функция Лапласа; . а€ - среднеква,цратическое
..
2 2а€
значение помехи .
На рис . 7.2 показаны графики
и вероятности ошибок в зависимости
~6:Щ)
.
1
.,.---
Рис . 7.2
изменения функций Лапласа
.
л
от отношения · V:. . . Как
2 2а€
видно, при увеличении шага кван'I'ования Лх происходит резкое
уменьшение вероятностей ошибок за счет действия внешних помех .
Таким образом, выбор шага квантованця Л"' при КИМ до.J_Iжен
осуществляться с учетом влияния обоих видов помех: внешних
помех и__шума квантования.
• 7.5. Помехоустойчивое кодирование .
Основные принципы помехоустойчивого кодирован ия
Помехоустойчивые коды - одно из наиболее эффективных средств
обеспечения высокой . верности передачи дискретной информации.
Создана специальная теория помехоустойчивого кодирования, быс'I'ро
развивающаяся в последнее. время .
Бурное развитие теории помехоустойчивого кодирования связано .
с внедрением автоматизированных систем, у которых обработка
принимаемой информации осуществляе1ся без участия человека.
Использование для обработки информации электронных цифровых
вычислительных машин . предъявляет очень высокие требования
к верности передачи информации .
.
Теорема Шеннона для дискретного канала с помехами утверж­
дает, что вероятность ошибок за счет действия в канале помех
может быть обеспечена сколь угодно м·алой путем выбора соответ­
ствующего способа кодирования сигналов . Из этой теоремы вытекает
181


весьма важный вывод о том, что наличие помех не накладывает
принципиально ограничений на верность передачи.
Однако в теореме Шеннона не говорится о том, как нужно
строить помехоустойчивьrе коды.
На этот вопрос отвечает теория помехоустойчивого кодирования.
Рассмотрим сущность помехоустойчивого кодирования, а также
некоторые . теоремы и определения, относящиеся к теории такого
кодирования.
•
Под помехоустойчивыми или корректирующими кодами понимают
коды, позволяющие обнаружить и устранить ошибки, происходящие
при передаче из-за в'Лияния помех.
Для выяснения идеи помехоустойчивого кодирования рассмот­
рим двоичный код, нашедший на практике наиболее широкое при­
менение.
Напомним, что двоичный •код - это код с основанием т = 2.
Количе.ство разрядов п в · кодовой комбинации принято называть
длиной или значностью кода. Каждый разряд ~южет принимать
значения О или 1. Количество единиц в кодовой комбинации назы­
вают весом кодовой комбинац·ии , и обозначают w,
Например, кодовая 1юмбинация 10010·1100 характеризуется знач- .
ностьюti •9ивесомw=4, -
•
Степень отличия любых двух кодовых комбинаций дащюго кода
характеризуется •так называемым расстояuием между кодами •d.
Оно выражается числом позиций или символов, в которых комби­
нации отличаются одна от другой. ..Кодовое расстояние есть мини­
мальное расстояние между кодовыми комбинациями данного Кf:Ща,
оно определяется как вес суммы по модулю два кодовых комбина­
ци~. Например, для определения расстояния между комбинациями ,
100101100 и 110110101 необходимо просуммиров·ать их по модулю
два
u:)00 lQ 1100
w110110101
010011001
Полученная в резу.'!Ьтате суммиров·ания новая к9довая комбина- ·
ция ха:рактеризуется _ весом w = 4. Следовательно, расстояние между
исходными кодовыми комбинациями d = 4.
•
Ошибки, вследствие воздействия помех, проявляются в том, что
в одном или нескольких разрядах кодовой комбинации нули пере­
ходят в .единицьr и, наоборот, единицы переходят в нули. В ре- .
зультате создается новая ложная · кодовая комбинация.
•
Если ошибки происходят только в одном· разряде кодовой комби­
нации,, то такие ошибки называются однократными. При наличии
ошибок в · двух, трех . и т. д. разрядах ошибки называются дву-
кратными, трехкратньrми и т. д.
.
.
Для указания мест . в кодовой . комбинации, где имеются иска-
жения символов, 'использует(:я вектор ошибки е. Вектор ошибки
п-разрядного кода .: _ это п-разрядная комбинация, единицы в которой
182


указывают положение искаженных символов кодовой комбинации .
Например, •если для пятиразрядного кода вектор ошибки имеет вид
ё = О 1100, то это значит, что имеют место ошибки в третьем
и четвертом разрядах кодовой комбинации .
Вес вектора ошибки We хар а ктер~зует кратность ошибки . Сумма
по модулю для искаженной кодовой комбинации и вектора ошибки
дает исходную неискюкещ1ую комбинацию .
.
Помехоустойчивость кодирования обеспечивается за счет введе­
ния избыточности в кодовые комбинации. Это значит, что из п
символов кодовой _комбинации для
- передачи
информации исполь­
зуется k < п символов . Следовательно, из общего числа N O = 2 п
возможных кодщ1ых комбинаций для передачи информации исполь-
зуется только N = 2k комбина-
•
ций . В соответствии С ЭТИМ все • Ar о'"'!!:'-._-=:::-·--
...:-?. 81
множества N 0 = 2п возможных
.
: --<::---- ~. :. .~ :- ~
кодовых . комбинаций делятся на А ; ~__.,..--~7~:::=-:
две группы. В первую 14.группу '.
-~~ -::2-~
_;
_
::>:~-} Нi
входит множество N = 2, разре-
: __,,:.--
·-- -- ::- -.,,<.:".::: ~
шенных комбинаций. Вторая груп- А;':
// 5=<~ -,-,,.,;Ь;} м;
па . включает в себя множество : _,:;:::::_ -- ·
------..:В2п
(NO- N)=2п-
~ k запрещенных А?~-
комбинаций.
Если на приемной стороне
установлено, • что принятая ком -
Рис: 7. 3
бинация относится к группе ра~решенных, то считается, что сигнал
пришел без искажений . В противном случае делается вывод, что
принятая комбинация искажена. Однако это справедливо лишь для
таких помех, когда исключена возможность_ перехода одних раз-
решенных комбинаций в другие.
•
В общем случае каждая из N разреше:н:ных комбинаций может
трансформироваться в любую из N0 возможнь1х . комбинаций , т. е.
всего имеется N • N 0 возможных случаев пер.едачи (рис. 7.3), ·и·з
них N случаев безошибочной передачи (на •рис. 7.3 обозначены
жирными линиями), N (N - 1) случаев перехода · в другие ·разре~
шенные комбинации (на рис. 7.3 обозначены пу.нктирными линиями)
и N (NO- N) случаев ·nерехода в запрещенные комбинации (на
рис. 7.3 обозначены штрих пунктирными линиями) .
Таким образом, не в~ искажения могут быть обнаружены .
Доля обнаруживаемых ошибочных комбинаций сосrавляет
N(Nо-N)_l
_
..Е._
N•N0 -
N0
(7.27)
Для использования . данного кода в качестве исправляющего
.
множество запрещенных кодовых комбинаций разбивается на N
непересекающи-хся подмножеств Мк. Каждое из подмножеств Мк
ставится в соответствие одной из разрешенных комбинаций.
Если принятая запрещенная комбинация щ)Инадлежит подмно­
жеству Мс, то считается, что передана комбинация Ai (рис. 7.3) . .
~
,
183


Ошибка будет исправлена в тех случаях, когда полученная
комбинация действительно образовалась из комбинации Ai . Таким
образом, ошибка - исправляется в (N0 - N) случ~ях, равных коли­
честву запрещенных комбинаций . Доля исправляемых ошибочных
комбинаций -от общего числа обнаруживаемых ошибочных комби-
наций составляет
N0 -N
1
N(N0-N)=N '
(7.28)
Способ разбиения на подмножества зависит от того, какие
ошибки должны исправляться данным кодом.
7.6. Связь исправляющей способности кода
с кодовым расстоянием
Для оценки степени различия между двумя произвольными
комбинациями данного кода используется, как уже отмечалось,
• характеристика, получившая название расстояния между кодовыми
комбинациями. Наименьшее расстояние между р·азрешенными кодо­
выми комбинациями называют кодовым расстоянием и обозначают
dмин- Это очень важная •характеристика кода, ибо именно она
характеризует его корректирующие способности.
•
Рассмотрим это на конкретных примерах.
Пусть не_gбходимо построить код, обнаруживающий все ошибки
кратностью t и ниже .
Построить такой код- это значит из множества N0 возможных
комбинаций выбрать N разрешенных комбинаций так, чтобы любая
из них в сумме по модулю два с любым вектором ошибок с весом
w, < t не дала бы в результате никакой другой разрешенной ком­
бинации. Для этого необходимо, чтобы кодовое расстояние удов­
летворяло условию
dмин:>t+1,'
(7.29)
В качестве примера рассмотрим код со значностью п = 3 . . Все
возможные комбинации: такого кода предстющены в табл . 14.
Матрица расстояний между кодовыми комбинациями имеет в,ид
(табл . 15) .
Таблица 14
А,
А,
Аз·
1
А,
1
Ао
1-
А,
А,
А,
ООО
,
1
1
1
001
010
011
100
101
11О
!!!
'
Для того чтобы код обеспечивал -обнаружение однократных
ошибок, необходимо из всего множества N 0 = 8 возможных ком­
бинаций выбрать . в качестве разрешенных такие , расстояние между
184


Таблица 15
1
А,
1
А,
1
А,
А,
1
л.
1
А,
1
А,
1
А,
А,
о
1
l
2
1
2
2
3
--- ---
А,
о
2
'1
2
l
3
2
Аз
о
1
2
3
1
2.
--- ·
А,
о
3
2
2
1
А,
о
1
1
2
,.
А,
о
-2
1
I
---
-
А,
о
1
-
---
..
А,
о
которыми было бы не менее d = 2. Как видно из матрицы рас­
стояний, в качестве разрешенных комбинаций в ·этом случае можно
выбрать следующие:
. • А1=000;
А4 =011; А6 =101; А7 =110.
Для обнаружения двукра1ных ошибок кодовое расстояние
должно быть равно dмин = 3. -
При этом в к'ачестве разрешенных
комбинаций можно выбрать
А1=ООО; А2= 111.
· Очевидна
справедливость условия
d< п.
(7.30)
Следовательно, в · данном случае двукратные ошибки не могут
- быть
обнаружены, так как в результате таких · ошибок одни раз­
решенные комбинации пер·еходят в другие со значностью п = 3.
Пусть теперь необходимо построить код, обеспечивающий устране­
ние однократных ошибок. Вь~бираем в качестве первой разрешенной
комбинации А1 = ООО. При наличии однократных ошибок комбина­
ция А1 может перейти в одну из следующих запрещенных комби­
наций: А2=001, А3=010 и А6= 100. Комбинации А2, А3и А5
можно принять в качестве подмножества за~рещенных комбинаций
185


комбинации А1 . Последнее означает, что в . случае приема одноii
из комбинаций этого подмножества выносится решение, что пере­
дана комбинация А1.
Пусть в качестве второй разрешенной комбинации выбирается
комбинация, отстоящая от первой на расстоянии d = 2, например
А4 = 011. Ей должно соответствовать подмноже,ство запрещенных
комбинаций Аз . О 10; А2 = 001 и Ав = 111. Однако получилось
пересечение подмножеств. При приеме запрещенных сигналов. А 2
или Аз нельзя однозначно устан.овить, какой был передан сигнал -
А1 или А4.
.
•
•Если же в
качестве второй разрешенной комбинации выбрать
комбинацию, отстоящую от А1 на d = 3, т. е. комбинацию Ав= 111,
которой соответствует подмножество запрещенных комбинаций
А4 = 011, А6 = 101 и А7 = 110, то в .этом случае. подмножества
запрещенных комбинаций не пересекаются. Следовательно, при
d = 3 обеспечивается устранение всех однократных ошибок .
В общем случае для •устранения ошибок кратности о кодовое
расстояние должно удовлетворять. условию
dмин>2о+1.
(7.31)
Аналогично рассуждая, можно установить, что для . исправления
всех ошибок кратности не более о и одновременного обнаружения
всех ошибок кратности. не более t (при t > о) кодовое расстояние
должно удовлетворять условиК?
dмин>t+О+1. •
(7.32)
При этом нужно иметь . в виду, что если обнаруженная кодом
ошибка имеет кратность t > о, то такая ошибка исправлена быть
не может, т . е. • в данном случае код только оqнаруживает ошибку.
7. 7. Построение кодов
с заданной исправляющей способностью
.До
сих пор при рассмотрении корректирующих кодов мы пред­
полагали заданной его значность п. Повышение корректирующей
способности кода достигалось при сохранении п за счет уменьшения
множества N разрешенных комбинаций (или . уменьшения количе­
ства k информационных симвоJюв). Обычно )!{е на практике . коды
, строятся •в обратном порядке: вначале выбирается количество
цнформационных символов k, исходя из объема алфавита источника,
а затем ·обеспечивается необходимая корректирующая способность
кода за счет добавления избыточных . символов.
Пусть известен объем алфавита источника N. Необходимое
количество информационных символов определяется из выражения .
k',log2N. /
•
Пусть . также известно полное число вектор.ов ошибок Е, кота,;
рое необходимо исправить.
186 1


Задача состоит в том, чтобы при заданщ,IХ N и Е определить
значность кода п, обладающего требуемыми корректирующими
возможностями.
Полное число ошибочных комбинаций, подлежащих исправле­
нию, равно Е • 2k = Е • N. Так как количество .ошибочных комби­
наций равно N O - N, то код обеспечивает исправление не более
NO - N комбинаций. Следователыщ необходимое условие для воз­
можности исправления ошибок можно записать в видЕ'
NE<.N0 -N,
откуда получим
(7 .33)
или
(7.34)
Формула (7.34) выражает условие для выбора значности кода п.
Рассмотрим частные случаи. Если имеются ошибки разной крат­
ности, . то прежде всего необходимо обеспечить устранение одно­
кратных ошибок, вероятность появления которых наибольшая.
Возможное количество векторов однократньiх ошибок •
В этом случае зависимость (7 .34) примет . вид
k
2п
2 =N<1+п·
(7.35)
При построении кода целесообразно пользоваться табл . 16 .
.
Таблица 16
"
2
3
J
4
5
6
1·
7
8
9
2п1
l+п
1,33
2
·1
3,2 • 5,33
9,2
j16
28,4
51,2
Нужно при этом иметь в виду, что код должен также удовле-
творять условию
•
• (7 .36)
Если необходимо обесп~чить устранение всех ошибок кратности
от I до /, то нужно учесть, что
число возможных однократных ошибок Ei = С;;
число во;з~ожных двукратных ошибок Е2 = С;;
число возможных !-кратных ошибок Е1 = С~.
187


l
Общее число ошибок Е = ~ С~.
i=I
При этом зависимость (7.34) с определенным приближением
примет вид
2п
N<---= -z --
1+~cJ
iio-1
(7.37)
7.8. Геометрическая , модель комбинаций двоичного кода
Комбинации п-разрядноrо двоичного кода можно рассматривать
как вершины п-мерного единичного куба, т. е. куба с длиной
ребра, равной 1.
010
110
fOIO
1110
01
ff
011
' ftl
/Ofl
□
r
1
0011' , -Off
1
1
1
1
OO(l(l :,,~100
,,,.,, .!fiio--
000!.J:rr-
fOO
tfooo~
110/J
00
fO
001
fOI
JOOI
1101
Рис. 7.4
Рис. 7.5
Риа. 7.6
При п = 2 точки_, отображающие кодовые комбинации, распо­
лагаются в вершинах единичного квадрата (рис. 7.4); при п = 3
в вершинах едию1чного куба (рис. 7.5), при п = 4 в вершинах
четырехмерного куба (рис. 7.6) и т . д.
Искажения кодовых комбинаций интерпретируются на геомет­
рической модели перемещением отображающих. точек из одних
вершин куба в другие. Кратность ошибки интерпретируется коли­
чеством ребер куба, на которое отстоит точка, отображающая
искаженную комбинацию, от . точки , отображающей исходную не-
искаженную 1):омбинqцию.
•
Вес кодовой -комбинации интерпретируется на геометрической
модели числом ненулевых координат точки кода.
Расстоянию между кодовьrми комбинациями соответствует на 1
геометрической модели число ребер куба, на которое отстоят друг
от друга соответствующие отображающие . точки.
Для исправления ошибок к подмноже ству каждой разрешенной
комбинации относят все вершины куба, лежащие в сфере радиусом
'2-1
-
.
"
"
"
-
2 - и це{!тром в вершине, соответствующеи даннои разрешеннои
комбинации.
'
В случае независим_ости ошибок точки, соответствующие раз­
решенным кодовым комбинациям, должны располагаться в прост-
ранстве равномерно.
•
188


7.9 . Показатели количества корректирующих кодов
Одной из основных характеристик корректирующего кода яв­
ляется . его способность обеспечить правильный прием кодовых
к омбинаций при наличии искажений под воздействием помех; т. е.
помехоустойчивость кода . Помехоустойчивость кодов количественно
оценивают величиной
1
S=lg-,
'
Рн. о
(7.38)
гдеРн.0 -
вероятность неправильного приема кодовой комбинации ..
Часто для оценки_ помехоустойчивости кодов пользуются поня­
тием коэффициента обнаружения
L
Кобн = М,
(7 .39)
где М - наиболее вероятное общее колич~ство искаженных ком­
бинаций из числа N переданных комбинаций; L - наиболее вероят­
ное количество искаженных комбинаций, ошибки в которых об­
н аруживаются.
При передаче достаточно большого числа кодовых комбинаций .
N можно считать, что общее количество искаженных комбинаций
М и количество искаженных комбинаций L, ошиб1ш в, кqторых
обнаруживают ся, соответственно
М~ Nрк;
L ~ NPo.o,
где Рк - вероятность иска:>f(ений кодовой комбинации; Ро. о - ве­
роятность появления о15наруживаемы.х искажений комбинаций.
Тогда
к •Ро.о
обн =-- •
:Рк
(7.40)
Важной характеристикой корректирующего кода является его
11 быточность, указывающая степень удлинения кодовой комбинации
)(JIЯ достижения определенной rtорректирующей способности.
Для оценки избыточности корректирующего кода пользуются
н о нятием коэффициента избыточности
р n-k
r=-= --
n
п.'
(7.41)
где р = п - k - количество избыточных позиций кодовой комбина-
1\ИИ, используемых для _обеспечения корректирующих способностей
~с ода.
7.10. Классификация помехоустойчивых кодов
к
//
.
настоящему •времени создано довольно большое количество
r<орректирующйх кодов. Классификация известных корректирующих
кодов может быть осуществлена следующим образом (рис. 7.7).
189


Все корректирующие коды можно разделить на два основных
• класса: непрерывные (рекурентные, или цепные) и блочные.
В непрерJ>шных кодах процесс кодирования и декодирования
восит непрерывный характер . Каждый избыточнЬiй (проверочный)
символ формируется по двум · или нескольким информационным
символам. Провер·очные символы размещаются в определенном
-порядке между информационными символами исходной · последова­
тельu_ости. Этот класс кодов появился . совсем недавно и не получил
пока широкого развития .
•
В блочных кодах каждому сообщению (или элементу сообщения)
сопоставляется кодовая . комбинация (блик) из п символов. Блоки
кодируются · И декодируются отдельно друг от друга.
l(оррект11рующие коиы
----
Итерат11Оные
Рис. 7.7
Блочные · коды могут быть , равномерными, когда п оста~тся
постоянным для всех комбинаций, или неравномерными, кщ'да п
непостоянно.
Неравномерные корректирующие коды не п·олучили пракц1ческого
применения из-за сложности их технической реализации .
Следует заметить, что рассмотренные ранее принципы помехо­
устойчивого кодирования, а также геометрическая модель комби~
наций кода относятся к ,блочным равномерным кодам.
Как непрерывные, так и блочные коды в зависимости от ме­
тодов внесения избыточности подразделяются на разделимые
и неразделимые. В разделимых кодах четко · разграничена · роль от­
дельных символов .. Одни символы являются информационными,
другие являются проверочными и служат для обнаружения и ис-
. правления
ошибок. Информационные и проверочные символы зани­
мают во всех кодовых комбинациях одни и те же позиции.
Разделимые блочные КОДЫ называются обычно п, k-кодами, где
п - значность кода, k - число информационных символов.
Неразделимые ·коды не имеют четкого разделею-щ кодовой
комбинации на информационные и проверочные символы : Этот класс
кодов пока немногочисJiен.
•
Разделимые блочные коды делятся, , в свою очередь, на несисте­
матические и систематические. В несистематических кодах прQ-
190


верочные символы представляют суммы подблоков длиной l, на
которые разделена последовательность информационных символов.
Такой код способен обнаружить серийные ошибки с длиной сер·ии .
r-ie превосходящей l.
•
Самый большой r<ласс разделимых блочных кодов со.ставляют
си~тематические;· или линейные .коды, у которых проверочные сим­
волы определяются в результате прщзедения линейных операций
над определенными информационными символами. Для случая
двоичных кодов каждый проверочный символ выбирается таким,
чтобы его сумма по mod 2 с определенными информационными .
символами стала равной _нулю. Декодирование сводится к проверке
на четность определенных групп символов. В связи с этим такие
коды получили другое название - коды с проверкой на •четность.
В результате проверок ga четность _ определенных групп символов
1(одовой комбинации дается информация _ о наличии ошибок, а в
случае необходимости - о позиции символов, где имеются ошибки.
Рассмотрим не~оторые типы сие-тематических кодов.
7.11. l(од с четным числом единиц
Код содержит лишь- один избыточньiй символ. Выбирается
избыточный символ таким, чтобы его сумма по mod 2 со всеми
информационными символами равн_ялась нулю. _ Благодаря такому
способу выбора избыточного символа кодовая комбинация содер­
жит четное число единиц.
Избыточность кода равна
r=}!_
пп'
гд е п - зна чность кода; _р -число проверочных символов~
Признаком искажения кодовой комбинации является нечетность _
д иниц в комбинации . Код позволяет обнаружщзать 6днократные •
ошибки и все ошибки нечетной кратности, так как только в этих
Jiучаях количество _ единиц в комбинации станет нечетн~rм.
7.12. Код с удвоением элементов и инверсный код
Код с удвоением элементов характеризуется введением допол­
н ительных символов для каждого символа информационной части
комбинации, причем единица дополняется . нулем и преобразуется
D 10, а нуль дополняеJСЯ единицей и преобразуется в 01. Тогда
исходная, например, комбинация 10101 будет представлена в ви­
де 1001100110. ,Показателем искажения . кода будет появление в
« парных» элементах сочетаний вида 00 или -11 .
Код позволяет обнаруживать все ошибки, - за исключением слу­
ча ев, когда имеют место двукратные ошибки в «парных» элементах.
Избыточность кода не зависит от числа элементов кодовой комби­
н ации
Г=О,5.
191


Естественно, что помехоустойчивость этого кода_ выше, чем кода
с четным числом единиц.
В основу построения инверсного кода положен метод повторе-
'
ния исходной кодовой комбинации. Причем в тех случаях, когда
исходная комбинация содержит четное число единиц, вторая ком­
бинация в точности воспроизводит исходную, если же исходная
комбинация содержит · нечетное число единиц, · то повторение про­
исходит в инвертироJ3анном виде . Например, комб~нации 01010 и ,
О 111 Q инверсным кодом представляются соответственно как
ОIО100101О и О111О100О1.
'Проверка кодовой комбинации производится с такой последо­
вательностью. Сначала суммируются единицы, содержащиеся в ос­
новной комбинации. Если их число окажется четным, то элементы
дополнителы10й комбинации принимаются в неизменном виде. После
этого обе комбинации сравниваются поэлементно (первый элемент
с первым, второй со . вторым и т. д.) и при обнаруж·ении хотя бы
одного несовпадения принятая комбинация бракуется.
Если же количество единиц основной комбинации нечетное,
элементы второй комбинации принимаются в инвертированном виде.
Затем, как и в предыдущем с.1Jучае, основная и дополнительная
комбинации сравниваются поэлементно.
Такое построение кода позволяет обнаружить практически все
ошибки в комбинации. Ошибки не будут обнаружены лишь тогда,
когда одноврем~нно исказятся два (четыре и т. д.) элемента в ис­
ходной комбинации. Очевидно, что вероятность таких ошибок чрезвы­
чайно мала.
7.13 . Коды Хемминга
Известно несколько разновидностей кода Хемминга, характери­
зуемых различной корректирующей способностью. Но в основу _
. построения
всех их положен один и тот же метод: Ограничимся
- рассмотрением
лишь принципов' построения кодов, исправляющих
одиночные ошибки.
•
Код Хемминга, как и любой (п, k) код, содержит . k информа­
ционных и р ~ п - k избыточных символов . Избыточыая часть кода
строится таким · образом, чтобы при декодировании можно было бы
установить не только факт наличия ошибок в принятой комбинации,
но и указать номер позиции, в которой произошла ошибка. Это
достигается за счет многократной проверки принятой комбинации
на четность. Количество проверок равно количеству избыточных
символов р. Каждой проверкой должны охватываться часть инфор­
мационных символов и один из избыточных символов. При каждой
проверке получают двоичный контрольщ,rй символ. Если результат
проверки дает четное число, то контрольному символу присваивается
значение О, если нечетное число - 1 . В резуль тате всех проверок
получается р -разрядное двоичное число, указывающее номер иска­
женного символа. Для · исправления ошибки достаточно лишь изме­
нить значение данного символа на обратное .
192


Необходимое ·количество провероtшых символов р (или значность
кода п) определяется из соотношения (7.35). Значения проверочных
символов и номера их позиций по методике Хемминга устанавлива­
ются одновременно с выбором коIJтролируемых групп кодовой комби­
нации. При этом нужно исходить из следующего.
В результате первой проверки получается цифра младшего раз­
ряда контрольного числа, указывающего номер искаженного сим­
вола. Если результат первой проверки даст 1, то один из символов
проверенной группы искажен. •
•
Для выяснения вопроса, какой из символов при этом может
быть искажен, рассмотрим табл. 17, в котор,ой представлен для
н.rтюстрации натуральный ряд че-
тырехзначных контрольных чисел
в двоичной системе счисления. Как
видно из таблицы; _если младший
разряд контрольного числа содержит.
единицу, то искажение должно быть
в одной из нечетных позиций кодо­
вой • комбинации. Следовательно,
первой проверкой должны быть ох­
в ачены символы с нечетными номе­
рами:!,3,5,7,9iIт.д.(Поряд­
ковые номера символов в кодовой
1<омбинации читаются слева напра­
во).
Если результат второй проверки
да ст 1, то получим I во втором раз­
ряде контрольного числа . Следова­
No
п. п.
о
1
2
3
4
5
6
7
8
9
10
Таблица 17
Символы разрядов контрольного
числа
4131211
о
о
о
о
о
о
о
1
о
о
1
о
о
о
1
1
о
1
о
о
о
1
о
1
о
т
1
о
о
1
1
1
1
о
о
о
1
о
о
1
1
о
1
о
тельно, второй проверкой должны быть охвачены символы с номе­
рами, содержащими в двоичной з·аписи единицы во втором раз.ряде:
2,3,6,7, ·10.
•
Аналогично при · третьей проверке должны проверяться символы,
номера которых в двоичной записи содержат единицы в третьем
разряде:4,5,6,7,12ит.д.
Такие рассуждения позволяют образовать табл. 18 проведения
п роверок.
Если символы провtряемой кодовой комбинации обозначить через
dt, то проверочные операции S; можно выразить следующим образом:
S1 = а1 Е1Эазffiа5ffiа7ffiа9Е1Э
• S2 = а2 ЕJЭ азffiа6Е1Эа7Ef)а10Е1Э •••
• Sз =а4Е1Эа5ffiавffiа1ffiа12ffi ···
S4 = а3Е1Эа9ffiа10ffiанЕ1Эа12Е1Э•••
(7.42)
С целью упрqщения операций кодирования и декодирования
целесообразно выбирать такое размещение проверочных символов
в кодовой комбинации, при котором каждый из них включается
7 6-371
193


в минимальное число проверяемых групп символов. В связи с этим
удобно размещать контрольные символы на позициях, номера кото- .
рых встречаются только в одной из проверяемых групп: 1, 2, 4, 8, . ..
(см. табл. 18) . Следовательно, в кодовой комбинации символы
а1, а2, а4, а8 ... должны быть проверочными и символы а3, а5, а6,
а7,а9... -
информационными .
Так как значения информационных символов проставляются
заранее, то значения проверочных · символов должны быть такими,
чтобы сумма единиц в каждой проверочной группе являлась четны~
числом.
Представим в качестве примера простую двоичную комбинацию
10011 кодом Хэмминга. При числе информационных символов k = 5
•в соответствии с (7 .35) и табл.
. Та бл иц а l8 17 позиционность кода Хэм­
Номера
No
Номера проверяемых
позиций
провер,
позиций
контроль-
ки
НЫХ· СИМВО-
лов
1
1,3,5,7,9,11,13
1
2
2,3,6,7,10.
2
3
4,5,6,7,12..
4
4
8, 9, 10, 11, 12.
8
минга должна быть п = 9. Так
как информационными должны
быть третий, пятый, шестой,
седьмой, девятый символы, то
для рассматриваемого кода
а3=1,а5=О,а6=О,а7=1,
а9 = 1. Из условия обеспече­
ния четности сумм (7.42) полу­
чим следующие значения про­
верочных символов: а1 = 1,
а2=О,а4=1;а8=1.Следо­
вательно, простому пятиэлементному коду 10011 соответствует девя-
тиэлементный код Хемминга 1О1100111.
,
Пусть теперь при передаче произошла ошибка в пятом символе,
т. е. код принял вид 101110111. Тогда в результате первой про­
верки получим 1, второй - О, третьей
-
1 .и четвертой..,- О . Таким
образом , в результате проверок получено контрольное двоичное
число 0101, указывающее на искажение пятого символа.
7.14 . Циклические коды
Из всех известных корректирующих кодов циклические коды
являются наиболее простыми и эффективными . Эти коды могут
быть использованы как для обнаружения и исправления независимых
ошибок, так и, в особенности, для обнаружения и исправления
сериЙI,IЫХ ошибок. Схемы кодирующих и декодирующих устройств
для этих кодов чрезвычайно просты и представляют собой обычные
регистры сдвига. Основное их свойство состоит в том, что каждая
кодовая комбинация , может быть получена путем циклической пере­
становки символов комбинации,. принадлежащей к этому же коду;
Это значит, что если кодовый вектор v = (а0, а1, а2, ..• ,
ап~~) при­
надлежит к ци:кJrическому коду V, то вектор v', получаемый из
v циклической перестановкой составляющих, т. е. v" = (ап-~, а0,
а1,... ,
ап-2), также принадлежит коду V.
•
194


Рассмотрение · циклических кодов более удобно производить,
представляя комбинацию двоичного кода не в виде последователь­
ностей нулей и единиц, а в виде полинома некоторой степени,
а именно
(7.43)
где х- фиктивная переменная; а, - цифры данной системы счис­
ления (в двоичной системе О и 1).
. Таи;,
например, двоичное семиразрядное число 1010101 может
быть записано в виде полинома от переменной х
1010101 =G(x)= 1-х6+O-х5+ 1,х4+О,х3+ 1,х2+
+О•х+1•х0=х6+х4+х2+1.
(7.44)
Представление кодовых комбинаций в форме (7.44) позволяет
свести действия над комбинациями к действиям над многочленами.
При этом сложение двоичных многочленов сводится к сложению
по модулю 2 коэффициентов ·при равных степенях переменной х;
умножение производится по обычному правилу перемножения сте­
пенных функций, однако полученные при этом коэффициенты при
данной степени складываются по модулю 2; деление осуществляет­
ся по правилам деления степенных функций, при этом операции
вычитания заменяются операциями суммирования . по модулю 2.
Представление комбинаций в форме (7.43) и (7-. 44) удобно еще
и тем, что упомянутая ранее циклическая перестановка есть резуль­
тат простого умножения данного полинома на х. Действительно,
если одна пз кодовых комбинаций выражается полиномом v (х) =
= а0 + а1х + а2х2 + • • • + ап-1хп-1, то новая комбинация за счет
циклического сдвига будет x•v (х) = а0х + а1х2 + а2х3 + .. • +
+ an _ 2xn-l + ап-1хп. В последнем члене необходимо заменить xn
н а единицу . Следовательно, новая комбинация будет v' (х) = ап-1 +
+аоХ+а.1Х2+ •••+ an-2xn-l.
•
Используя представление двоичных кодов в виде полиномов,
можно дать следующее определение циклическим кодам.
· Цик лическ ий
код- это такой (п, k) код, который образуется
путем умножения простого k-значного кода, выраженного в виде
полинома Q (х) степени k - I, на некоторый образующий полином
Р (х) степени (п - k).
В результате умножения всех кодовых комбинаций простого
k-значного кода на образующий полином Р (х) число разрешенных
комбинаций не изменяется и остается равным 2k, а общее число
запрещенных кодовых комбинаций будет равно 2п - 21•! _
Разрешенные комбинации циклического кода образуют некото­
рое множество комбинаций, отличающееся тем, что отображающие
их полиномы делятся без остатка на образующий полином Р (х).
При делении полиномов запрещенных комбинаций на образующий
полином Р (х) обязательно появится остаток.
Это свойство циклического кода используется для исправления
или для обнаружения ошибок. Действительно, если под воздействием
•
'
'
7*
195


.
помех разрешенная кодовая комбинация трансформируется в зiшре­
щенную, то ошибка может быть обнаружена по остатку при деле­
нии комбинации на образующий полином Р (х).
Процедура построения циклического кода следующая [40]. Кодовая
комбинация простого k0з начного кода G (х) умножается н а одночлен
x11 -k, а затем делится на обра з ующий полином Р (х), сте пень кото­
рого равна п - k. В результате умножения комбинации G (х) на xn-k
степень каждого одночлена, входящего в G (х), повысится на п - k.
При делении произведения xn-k • G (х) . на образующий полином
Р (х) получится частное Q (х) такой же степени; как и G (х).
Результат умножения и деления можно представить в следую­
щем виде:
x11 -ka (х)
•R(х)
Р(х) = Q(х)+Р(х)'
. (7.45)
где R (х) - остаток от деления x11 -kG (х) на Р (х).
Так как частное Q(х) имеет такую же степен_ь, как и кодовая
комбинация G (х) простого кода , то Q (х) является кодовой комби0 .
нацией того же простого k-значного кода.
•
Умножая осе части равенства (7.45) щ:1 Р (х) и произведя неко­
торые перестановки, получим
F(х)=Q(х)Р(х)= x11-kG(х)+R(х).
(7.46)
В правой части (7.46) знак минус перед R (х) заменен знаком
плюс, так как вычитание по модулю 2 сводится · к сложению.
Таким образом, кодовая комбинация циклического п-значного
кода может быть получена двумя спосо'бами:
1) путем умножения кодовой комбинации G (х) простого кода
на одночлен x11 -k и добавления к этому произведению остатка R (х),
полученного в результате деления произведения x11 - kG (х) на обра­
зующий полином Р (х);
2) путем умножения кодовой комбинации Q (х) простого k-знач-
ного кода на образующий полином Р (х). .
•
• При первом способе кодирования первые k символов полученной
кодовой комбинации совпадают с соответствующими символами
исходного простого кода.
При втором способе в полученном коде информационные симво­
лы не всегда совпадают с симвоJ~ами исходного простого кода.
Такой способ легко реализуем, но вследствие того, . что в полу­
ченных кодовых комбинациях не содержатся информационные сим­
волы в явном виде, усложняется процесс · дешифрации.
После исправления ошибок такие комбинации для , выделения
информационных символов приходится делить на образующий мно­
-.!: Очлен.
\
Боуз и Чоудхури показали [40, 41], что для любых целых
положительных чисел z и . cr существует циклический код значностй
n=2z-l
(7.47)
100


и кодовое расстояние
dмин>2а+1.
При этом число проверочных символов р = п - k не превышает
величины z•at т. е.
р<z•а.
(7.49)
Тююй код гарантийно исправляет ошибки кратности а и менееи/1
или обнаруживает ошибки кратности 2а и менее. Кроме того, код
обнаруживает все пакеты ошибок, длина которых равна или меньше р.
Соотношенuя (7.47), (7.48) и (7.49) могут быть использованы
для выбора образующего . полинома, который нужно производить ·
с учетом того, что степень полинома должна быть равна числу
проверочных сим~олов р - = п - k. Кроме того, полином Р (х) должен
входить в качестве сомножителя в разложение двучлена
(7.50)
Двучлены типа (7.50) обладают тем свойством , что они являются
общими кратными для всех без исключения неприводимых (т. е. не
делящихся: ни на какой другой многочлен) полиномов степени z
11 р азлагаются на множители из всех неприводимых полиномов ,,
сте пени Zi которых делят без остатка число z.
Рассмотрим в качестве примера метод построения циклического
кода , содержащего k = 4 информационных символа и обеспечива­
ющего устранение однократных ошибок или обнаружение двукрат­
вьt х ошибок.
В соответствии с (7.35) и табл. 15 определяем •значность кода
11 = 7 и количество проверочных символов р = 3.
Для построения циклического кода необходимо выбрать обра­
э ующий полином Р (х) степени р = 3, который, как указывалось
ране е, должен входить в качестве сомножителя в разложение дву­
чJ1ена xn+ 1= х2ZТ' + 1. Так как п = 7, то этот двучлен имеет
nид х7 + 1. Составляющие его сомножители должны быть неприво­
;~ и мыми полиномами, степени которых являются делителями числа
z = 3. К числам, на которые z = 3 делится без остатка, относятся
l и 3. Следовательно, сомножителями двучлена х7 + l должны
быть неприводимые полиномы первой и третьей степеней.
Пользуясь таблицами неприводимых полиномов, имеющимися в
[42 ] и [43], получим
х7 + l=(x+ l)(x3 +x+ l)(x3 +x2 + 1).
Один из сомножителей третьей степени, например х3 + х2 + 1,
можно взять в качестве образующего полинома . ·
Для построения циклического кода остается умножить каждую
простую четырехсимвольную комбинацию Q (х) на образующий
1юлином. Возьмем в качестве примера простую четырехсимвольную
197


комбинацию Q (х) = 0011 . Операция умножения этой комбинации
на образующий полином Р (х) = 1101 запишется следующим обра-..gом: •
XOOll
1101
0011
0011
0011
0011111
Таким образом, простая четырехсимвольная комбинация Q (х) =
= 0011 представляется . семисимвольным циклическим кодом F (х) =
= Q(x) • Р(х) = 0011111 .
•
Проиллюстрируем на примере процесс обнаружения двукратных
ошибок . Пусть при передаче пятой комбинации О 1О 1 име.'!и место
двукратные ошибки, предстаtляемые вектором е = О 100100. Следа :
вательно, будет принята комбинация
с; (х)-:- Ст (х) ffie = 0011101.
Произведя декодирование принятой комбинации путем деления
ее на образующий полином Р(х) = 1101, получим остаток R(x) =
= 111, степень которого меньше степени образующего полинома.
Отличие . R (х) от нуля · свидетельствует о наличии ошибок в при­
нятой _комбинации.
БoJJee подробные сведения о циклических кодах даны в [28),
(40], [4i], [42) и !43].
7.15. Системы с обратной связью
Одним из эффективных способов повышения помехоустойчивости
передачи является использование обратного канала, по которому
информация может передаваться от приемника к передатчику .
Системы, в которых применяется передача по обратному · каналу, .
носят общее название систем с обратной связью.
Существует большое число способов построения обратного
канала. Основные варианты схем обратной связи показаны на
рис. 7.8 [37]. В варианте . ! обратная связь охватывает то.nько линию
связи. В вариантах II и ПI обратная связьподключена после реша­
ющего устройства.
Вариант III отличается тем, что обратная связь охватывает всю
систему.
В зависимости от способа использования обратного канала систе­
мы с обратI:Iой • связью могут быть разделены на два основных
типа:
.
системы с информационной обратной _ связью (систе'мы со сравне­
нием);
системы с решающей обратн9й сщrщ,ю (систем:м с переспросом) ,
198


В системах с информационной обратной связью по обратному
каналу передаются все принятые сигналы . На передающей сторо­
не эти сигналы сравниваются . с переданными. В случае наличия
р асхождений осуществляется повторная передача сигнала либо
передача данных о необходимых исправлениях.
В системах с решающей обратной связью приемник с ам прове­
ряет правильность принимаемого сигнала . При обнаружении иска ­
жений приемник посылает по обратному каналу сигнал переспроса
н а повторение передачи искаженного сигнала.
Таким образом, в системах с информационной обратной связью
ре шение о необходимости повтореноо передачи принимается на пе-
~
Om_ _ ___. ..KOUI IPIJ IOЩe
ucmo 'IHl//(a устроист8о
epeuam'IIII ' .
л11н11яс8яз
I
ff
ш
Пр11емн1ж
Рис. 7.8
Решающее
ycmpoi1cmQo
Коиирующе к пм -
ycmpotJcmOo '{аm~лю
редающей стороне, а в системах с .решающей обратной связью -
на приемной стороне.
Обратные каналы в системах с инфорщщионной обратной связью
и в системах с решающей обратной связью используются не в
оди наковой степени. Обратный канал в системе с решающей обратной
сnязью загру·жен обычно значительно меньше, чем' в системах
с и нформационной обратной связью, ибо в системах с решающей
обратной связью сигнал по обратному каналу поступает лишь
n сл учае обнаружения искажений в переданном сигнале, в то время
как в системах с информационной обратной связью каждый принятый
с игн ал пересылается по обратному каналу на передающую сторону.
Структура сигналов в системах с решающей обратной связью
должна быть таковой, чтобы ошибка при передаче могла быть
обна ружена на приемной стороне. Это может быть осуществлено
Jшшь при использовании кодов, позволяющих обнаруживать иска­
же ния . Исследования показали [40], [44], что системы с решающей
обр атной связью, использующие коды с обнаружением ошибок,
эффективнее систем без обратной связи, использующих коды с ис­
пра влением •ошибок . Это объясняется тем, что в системах с реша­
ющей обратной связью повторение передачи осуществляется JIИШЬ
при обнаружении ошибок в переданном сигнале, в то · время, как
в системах с автоматической коррекцией ошибок на приемной сторо­
не независимо от наличия искажений в сигнала х постоянно вводится
избыточность, требуемая для исправления ошибок.
Более детально с этими системами можно ознакомиться в (37],
[40], (44], [45] и др.
199


7. 16. Примеры
Пример 7.1 . Передана кодовая комбинация 1100. Извес тно, что
вес вектора ошибки We u 2 . Определить: 1~ возможные варианты
искаженных .· комбинации, 2) кодовое. расстояние, небходимое для
обнаружения и устранения всех ошибок.
.
Решение. 1) искаженные комбинации получаются суммированием
по модулю 2 исходной комбинации и вектора ошибки .
При весе We = 2 'возможны следующие варианты вектора ошиб-
ки (при длине кода n= ,4): ё= 0011, 0101; 1001; 0110; 1010;
1100.
-
При этом будут иметь место следующие варианты искаженных
комбинаций : 1111; 1001; 0101 ; 1010; 0110; 0000·;
2)' при We • 2 кратность ошибок равна 2.
Для обнаружения таких ошибок необходимое кодовое расстояние
dмин=l+1=2+1=3.
Для устранения таких ошибок необходимо
dмин= 2а+1~2,2+1= 5.
Для кода с п = 4 обеспечить кодовое расстояние dмии = 5 не­
возможно . Следов ательно, в нашем коде в принципе невозможно
9беспечить устранение двойных ошибок.
~1 00000 1 OlllO l0IЩ l ll0ll
Пример 7.2. Принята кодовая ком­
Таблица 19 бинация 0101. Известно, что вектор
00000 о
3
-- ----
01110
о
------
10101
---
-
--
11011
3
4
--
4
3
-- --
о
3
-
-
--
о
ошибки равен ё = 0011. Определить
исходную неискаженную комбинацию.
Решение. Исходная комбинация
может быть получена суммирование~~
по модулю 2 искаженной комбинации
и вектора ошибки
ffi 0101
woo11
0110
. Пример 7.3. Определить корректирующую способность кода,
имеющего следующие разрешенные комбинации: 00000; 01110;
10101; 11011.
.
Реш~ние. Корреkтирующая сгiособньсть кода определяется кодо­
вым расстоянием . Составим матрицу расстояний между кодовыми
комбинациями (табл. 19).
Как видно из -матрицы , кодовое расстояние dмин = 3. Следова-
тельiю, данный код спосо15ен :
1. Обнаруживать двукратные ошибки.
2. Устранять однократнь1е ошибки.
3. •У стр ~шять и обнаруживать однократные ошибки :
200 .


Пример 7.4 . Определить значность кода п, обеспечивающего
ис правление всех однократных ошибок при количестве разрешенных
l{ом бинаций N = 8.
•
•
Решение. Вычисление мо}кет быть произведено по формуле
•
2п
!'1<1+п·
По данiiым табл. 17 при N = 8 требуется значность кода n=6.
Пример 7.5. Передается . 100 команд простым кодом. Известно;
что вероятность искажения одного символа кодовой комбинации
под воздействием помех Рэ = 10-з.
Требуется:
1) определить необходимую . значность кода; .
2) оценить его помехоустойчивость;
3) оценить помехоустойчивость при трехкратном повторении
передачи с групповой и посимвольной проверкой .
Решение. 1) Значность простого 15ода определяется из соотно­
шени я
N=2",
откуда
· =Jg]00=66
п lg2
'
•
Округляя до ближайшего целого, получим
п-7.
2) Оценка помехоустойчивости кода может быть произведена
по формуле (7.38).
Если вероятность искажения одного символа кодовой комбина-
1щи равна Рэ, то при независимости искажений вероятность того,
trтo все п символов кодовой комбинации не будут искажены, рав­
на (1 - Рэ)п . Тогда вероятность неправильного приема кодовой
комби нации (вероятность искажения комбинации) выразится сле­
дую щим образом:
Рн.о=1- (1- Рэ)п~11.Рэ=7 •10-3
.
Помехоустойчиrюсть !{Ода
·1
]
S=\g-= lg7.10-з=lg143=2,16.
Рн. о
3) При трехкратной передаче с групповой проверкой, согласно
критерию большинства, условия ,правильного приема будут следую­
щими:
а) все три кодовые посылки приняты правильно; вероятность
такого события равна ( 1- Рэ) 3п;
•
б) из трех посылок две приняты правильно; вероятность такого
события равна С:з (1 - Рэ) 2п [ 1- ( l - Рэ)п], где Сз -число случаев,
201


когда из трех кодовы х комбинаций одна принята с ошибкой ;
(1 - Рэ) 2п - вероятность правильного приема двух посылок , [1 -
·
-
(1 - Рэ)п ] - веро·ятность неправильного приема одной посылки.
Таким образом, вероятность ошибочного приема при трехкрат­
ном повторении с групповым контролем
Рн. о . 1 - {(1-рэ) 3п+Сз(l-рэ) 2п[l-(1-рэ)п]} =
= 1-(1- Рэ)2п{(1-Рэ)п + Сз[1-(1-Рэ)п]} :::::·1-
- [(1 -2nрэ) (1+2прэ)]= ·1-(1-4n 2р;)=4~р; = 4, 7 2
,
10-6 = 2,10-4
•
Помехоустойчивость передачи
1
1
S-=-- lgp-= lg2. ю-4= 3,7;
и.о
5) при трехкратной передаче и посимвольном контроле возмож­
ны следующие варианты правильного приема одного определенного
символа кодовой комбинаций :
а) символ принят правильно во всех трех посылках ; вероятность
такого события равна ( 1 - Рэ)3;
•
• б) символ принят правильно в двух из трех · посылок ; вероят -
ность такого события равна Сз (1- Рэ) 2 Рэ•
·
Следовательно, вероятность правиль~jого приема символа кодо­
вой комбинации при трех случаях бу,цет равна ( 1- Рэ) 3 + С3 (1 -
-
Рэ) 2 Рэ • Вероятность правильного приема п-значного кода равна
[(1- Рэ) 3 + Сз (1 - Рэ) 2 Рэ]п. Таким образом, вероятность ошибоч ­
ного приема
-
Рн.о= 1~[(1- Рэ)3+ Сз'(1- Рэ)2РэГ::::: 1-
2
•2
-
(1- 6рэ)n::::: 6nрэ = 42 • 10-в.
Помехоустойчивость передачи
•
1-
1
S=lgРн.о=lg42.10-в=4,38.
Следовательно, расчеты показали, что повторение передачи
обеспечивает повышение помехоустойчивости передачи, причем по­
символьная проверка более эффективна, чем групповая.
Пример 7.6. Необходимо обеспечить передачу 8-ми команд
кодом с четным числом единиц. Определить необходимую значность
кода, рассчитать избыточность и помехоустойчивость кода при
условии, что вероятность искажения одного символа комбинации
равна Рэ = 1о-з.
Решение. 1) Код с четным числом единиц строится путем добав­
ления к k информационным символам комбинации одного избыточ­
ного (контрольного) символа. Причем в тех случаях, когда инфор­
мационная часть комбинации содержит четное IfИсло единиц,
дополнительный символ ' представляется нулем, при нечетном числе
единиц в информационной группе дополнительный символ пред­
ставляется единицей.
202


Значность кода, таким образом,
п=k+1,
где ·
Следовательно,
k_lgN_lg8
_
З
-
lg2 - lg2
-
'
n= 4.
Возможные варианты , кодовых комбинаций представлены в
табл-. 20.
Как видно из таблицы, код характеризуется расстоянием dмин = 2.
Однако благодаря специальной логике построения и проверки
к ода, он позволяет обш~руживать не толыш
однократные _ошибки, но и все ошибки не-
Таблица 20
четной кратности (в нашем случае одно­
кратные и трехкратные);
2) избыточность кода
р
1
r=-
=-=0,25;
п
4
3) помехоустойчивость кода будем оце­
н ивать по формулам (7.38) и (7.40).
Вероятность неправильного приема кодо­
вой комбинации определяется вероятно­
стью появления· необнаруживаемых (четных)
ошибок.
No
п. п.
1
2
3-
4
5
6
7
8
Информа- Прове-
ционные рочный
символы символ
ООО
о
СО!
1
010
1
011
о
100
1
101
о
110
о
lll
1
Пусть в комбинации искажаются два определенных символа,
а остальные не искажаются, тогда вероятность такого события
равна р; (1 - Рэ)п-2. Так как таких вариантов будет С~, то веро­
ятность двукратных ошибок
p~'lJi = C~pf (1- p,)ri-<J.
По аналогии вероятность четырехкратных ошибок
р~~ = С~р; (1- Рэ)п-4.
Следовательно, суммарная вероятность появления необнаружи­
в аемых ошибок
Рн.о= p~fli + р~fь = clp; (1- Рэ)п-2 + С~р;(1- Рэ)п-4,
Так как с повышением кратности вероятность ошибок резко
падает, то
~С2р~(1 Р)п-2
Рн.а=·пэ
-
э•
203


Следовательно, помехоустойчивость .кода
S=1g-1
-
=lg·
1
-
р-
с22(1- )п-2
н.о
пРэ
Рэ
2
=lg
2
2 = 6,78.
п(п- 1)р3(1- р3)п-
Для нахождения коэффициента обнаружения Кобн необходимо
определять вероятность появления обнаруживаемых ошибок, кото­
рая для кода с проверкой на четность
Ро. о • С~Рэ (1 _:_ Рэ)п-l + С~р~ ( 1~ Рз)п-:З ::::::: С~Рэ ( 1~ Рэ)п-l.
Тогда коэффициент обнаружения
к =Ро.о С~рэ(! - Рэ)п-1
-
прэ (1 - Рз)п~I
-
обн Рк-
1- (1-Рэ)п
-
прэ
_
= 0-:: Рэ)п-1 = (1- 10:-3) 3 -:- .О,991 ; •
Пример 7.7. Необходимо обеспечить передачу 100 команд ин­
версным кодом. Определить необходимую значность кода, рассчи­
тать избыточность и помехоустойчивqсть кода · дри . услщши, чтq
No
п.п.
1
2-
3
4
5
61
10
15
вероятность искажения одного символа ком­
Таблича 21 бинации Рэ = 10-з.
IИнформа-1 Прове-
ционные рОчные
символы символы
0000000 0000000
0000001 1111110.
0000010 1111101
0000011 00000 1l
0000100 1111011
0001001 0001001
0001110 lli000I
Решение; 1) В основу построения инвер- •
сного кода, как отмечалось в 7.13, поло-
. жен
метод повторения исходнqй комбина- ,
ции. Причем в тех случаях, когда исходная
комбинация содержит четное число единиц,
вторая комбинация в точности воспроизво­
дит исходную, если же исходная комбина­
ция содержит нечетное число единиц, то
повторение происходит в инвертированном
виде.
•
••
•
••
Количество · информационных символов
кода должно быть
k•lgN= lglOO=66-Выбираемk=7.
•
lg2
lg2
'•
Общее · количество символов должно в два раза превышать
количество информаμионных . сим.волов .
п_ _2_
,~=-14.
_
Отдельные варианты кодовых комбинаций представлены в табл. 21.
2) Избыточносц, . кода ·
•
'.
'р..7
.•
r .'п=14=0,5.
3) По~~хоу(;:r_о{1чивость код.э оценивается rю _формулам (7:38)
и (7.40).
•
204 .


\
Как видно из табл. 21, код характеризуется расстоянием
dмнн = 4. Однако, блаrодаря специальной лоrике построения и
проверки кода, он позволяет практически обнаруживать почти все
возможные ошибки.
Наиболее вероятным видом - не обнаруживаемых ошибок является
одновременное искажение двух символов в исходной комбинации
и соответствующих им двух символов в повторяемой комбинации.
·,Вероятность одновременного искажения какой-либо пары симво­
лов в исходной комбинации равна С;12р; ( I _:_ Рэ)п/2-2• Вероятность
-
\
одновременного искажения двух пар соотв~тствующих символов
Рн. о= [С;;2Р; (1 - Рэ)п/2-212 :::::: (С~;2) 2 р;.
Помехоустойчивость кода
S=lg-
1
-
•
lg1
=lg
1
•
= 936
Р
(С2)4
(С2)2· 10-12
'
•
н.о
n/2 Рэ
·
7
Коэффициент обнаружения(
Ка6н= Ро.о= 1- Рн. о~ 1- (С~;2)2р: п = 1- (С~;2)2 Р~
-
Рк
Р><
l-(1- рэ)
п
.~1-(п - 2)(С;;2)2р~~
--
1- (14- 2)212. 10-э
=
в
-
8
-= 0,99999.
Пример 7.8. Построить код · Хэмминга, обеспечивающий устра­
нение однократных ошибок и предназначенный для передачи 100
команд. Оненить избыточность и помехоустойчивость кода, если
вероятность искажения одного символа комбинации Рэ = 10-з.
Решение. Количество информационньrх символов кода
k=lgN=lg100=бG
Ig2
!g2
'•
Выбираем k = 7. Необходимую значность кода определим из
соотношения
2n
N<, 1+п·
При N = 100 значность кода п = 11.
- количество проверочных групп определяется количеством избы­
точных . символов
p=n-k
.
4.
Так как :значность· кода п •• I I, то проверочные группы должны
включать в себя следующие символы:
S1 == а1ffiа3ffiа5ЕВа7ffiа9ffiан;
• • S2 = а2ffiазffiавЕВа1+а10ЕВан;
s~ = а4ffiа5ЕВаоЕВа1;
S4= asЕВаоffiа10ЕВан.
Контрольные символы: а1; а2, 'а4, а8.
205


При составлении кодовых комбинаций вначале прост~вляются
информационные символы, а затем контрольные так, чтобы сумма
единиц в каждой контрольной группе была четной.
Отдельные варианты кодовых комбинаций представлены в
табл. 22:
Таблица 22
No
1
Символы кода
п.п.
1
1
1
1
1
1
1
1
1
1
а,
а,
а,
а,
а,
а,
а,
а,
а,
й10
й11
1
1
1о
о
о
о
о
1оо1
2
1
о
о
о
о
о
о
о
о·11
3
1о
о
о
о
о
о
1
1оо
4
о
1
о
о
о
о
о
о
1о
1
5
о
о
о
о
о
о
о
1
1
11
2) избыточность кода
.р
4
r=п=П=0,36;
3) безошибочный прием комбинации в коде Хэмминга будет
иметь место в двух случая_х: в случае отсутствия каких-либо
ошибок и в случае наличия однократных ошибок. Соответствую­
щие этим случаям вероятности будут равны (1 - Рэ)п и С~Рэ (1-
-
Рэ)п- 1 • Тогда вероятность ошибочного приема кодовой комбина­
ции будет
Рк = 1- [(1 -Рз)п +с~Рэ (1- Рэ)п-1 ].
Так как код мож~т быть, использован для исправления _ одно­
кратных или обнаружения двукратных ошибок, то вероятность
появления обнаруживаемых ошибок
Рн, о~ С~р: (1- Рз)п-з.
•
Следовательно, помехоустойчивость кода
S=Ig-1
=
lg
1•
= lg-1
-
=
lg-1
-
=
678
Рн. о
С~р; (1
-
р3)п-з - С~р;
С~10-9 '
•
Коэффициент обнаружения
•
р
~р3 (1 р )п-3
Кобн=1-~=1-
·
п3
-
3
,.._,,
Рк
1
-
[(1
-
Р3)п + С~р3 (1
-
p
3)n- l]=-
~1-
~р; (1-: - Рэ)п-3
~1- (п - 2)Рэ(1- Рэс-з
-
np 3 [l'-(1-(1-p3 )n -l ]
6
=
1- (11 - 2). 1.о~з (1 - 10-з)в = 0,9985.
Пример 7.9 . Закодировать простую информационную группу
G (х) = 1011 циклическим кодом, обеспечивающим обнаружение
двукратных или устранение однократных ошибок.
206


Решение. По заданному количеству информационных символов
k = 4 определяем значность кода, пользуясь соотношением
k
2n
N=2 < I+п·
Получим п = 7.
,
Для построения циклического кода необходимо выбрать образу­
ющий полином Р (х) степени р = п - k = 3, который должен входить
в качестве сомножителя для различия двучлена xn + 1 = x2z- 1
.
В нашем случае этот двучлен имеет вид х7 + 1. Составляющие
его сомножители должны быть неприводимыми полиномами, степени
которых являются делителями числа z = 3 . _
Следовательно, сомно­
жителями двучлена х7 + 1 должны быть неприводимые полиномы
первой и третьей степеней.
Пользуясь таблицами неприводимых полиномов в [42, 43], получим
х7+1=(х+1)(х3+х+1)(х3+х2+1).
Выбираем в качестве образующего полинома сомножитель
Р(х)=х3+х2+1.
Кодирование осуществляем первым способом.
Для этого исходную кодовую комбинацию G (х) умножаем ца
xn-k • хз
xn-kQ(х)=х3(х3+х+1)=х6+х4+х~.
Определяе~ остаток R (х) от деления xn-kQ (х) на образующий
многочлен _ Р (х)
хо+х4+хз l
хо+хБ+хз
хБ+х4
х5+х4+х2
х2
Остаток R (х) = х2•
Следовательно, полином F (х) циклического кода в соответствии
с (7.46J будет иметь вид
F(х)= xn-kc(х)+R(х)==х6+.х4+х3+х2=1011100.
Пример 7.1 О . Получено сообщение циклическим кодом F* (х) =
= х6 + х4 + х3 + х2• Проверить декодированием наличие ошибок
в принятой комбинации, если образующий полином Р (х) = х8 +
+х2+1.
Решение. Декодирование осуществляется делением полинома
полученной комбинации на образующий полином
х6+х4+х3+х21х3+х2+1
х6+х5+х3
х~+х2
хБ+х4+х2
хБ+х4+х2
о
207


Остаток от деления R (х) = О . Следовательно, комбинация
принята без искажений.
Пример 7.11 . Получена комбинация F*(x)=x6 +x4 +x2 +1,
закодированная циклическим кодом. Образующий полином Р (х) =
= х3 + х2 + 1. Проверить наличие ошибок в кодовой комбинации.
Решение. Делим полином полученной комбинации на образую­
щий ПОЛИНОМ
х6+х4+х2+1
1х3+х2+1
хб+хБ+хз
хз+х2+1
х5+х4+х3+х2+1
х&+х4+х2
х3+1
х3+х2+1
х2
Остаток R (х) = х2 =f:. О. Следоватещ,но, комбинация принята
с ошибками.
КОНТРОЛЬНЫЕ ВОПРОСЫ
1. Какие I<ритерии применяются для оценки помехоустойчивости систем
передачи информации с непрерывными сигналами?
2. Какие критерии применяются для оценки помехоустойчивости систем
передачи информации с дискретными сигналами?
3. Перечислите известные способы повышения помехоустойчивости передачи.
4. Что такое системы с повторением передачи? Какие известны разiювид-
~юсти этих систем?
5. Что понимается под системой с обратной связью?
6. Что понимается под системой с информационной обратной связью?
7. Что понимается под системой с решающей обратной связью?
8, Сравните степень загруженности обратного канала в системах с инфор­
мационной и решающей обратной связью .
9. Сравните эффективность систем с реша~ощей обратной связью, исполь­
зующих обнаруживающие ошибки коды 1 с системами без обратной связи, исполь-
зующими коды с исправлением ошибок.
•
10. Сравните по помехоустойчивости амплитудную, частотную и кодоим-
·пульсную модул_яции .
11. Какие I<оды называются корректирующими?
12. В чем сущность помехоустойчивого кодирования?
13. Что понимается под значностью и весом кодовой комбинации?
14. Как определяется расстояние между кодовыми комбинациями?
15. Что такое вектор ошибки?
16. Что такое вес вектора ош'ибки?
17. Что понимается · под кодовым расстояние~?
18. Какова · связь корректирующей способности кода с кодовым расстоянием?
19. Что представляет собой геометрическая модель комбинаций двоичного
кода?
20. Как интерпретируются на геометрической модели кратность ошибок, вес
кодовой комбинации и расстояние r,~ежду кодовыми комбинациями?
21 . Какими показателями можно оценивать качество корректирующих
кодов?
208
22. Что понимается под непрерывными и блочными кодами?
23; Что понимается под разделимыми блочными кодами?


• 24. Что понимается под систематическими и несистематическими блочными
кода ми?
25 Какие разновидности систематических блочных кодов известны?
26. Какова методика построения кода Хэмминга?
27. В чем заключается логика декодирования Хэмминга?
28 . Каковы основные свойства циклических Кf>дов?
29. Какие известны способы построения циклических кодов?
30 . В чем заключается методика декодирования циклических кодов?
31. В чем заключается логика построения инверсного кода?
32. Какими корректирующими свойствами обладает инверсный код?
Глава VIII
ЭЛЕМЕНТЫ ТЕОРИИ ОПТИМАЛЬНОГО ПРИЕМА
И СТАТИЧЕСКИХ РЕШЕНИЙ
Задача оптимального приема состоит в использовании избыточ-
1-юс ти, а также имеющихся сведений о свойствах полезного сиг­
нала, пом~хи и канала для увеличения вероятности правильного
прием а [37].
Вследствие того что на вход приемника поступает сумма полез ­
ного сигнала и помехи, · вероятность правильноr.9 приема 9удет
оп ределяться отношением полезного сигнала к помехе . Для повы­
шения · вероятности правильного приема должна быть произведена
предварительная обработка приня-
того сигнала, обеспечивающая уве-
ли чение отношения сигнал/помеха.
rp
Так им образом, приемник должен
содержать два основных элемента
Рис. 8.1
(рис. 8.1): · фильтр Ф, обеспечиваю-
щи й улучшение отношения сигнал/помеха, и решающее устройство
РУ, выполняющее главные функции приема (обнаружения, различе-
ния или восстановления сигналов) .
'
Известны следующие методы фильтрации, обеспечивающие
улучшение соотношения сигнал/помеха:
частотная фильтрация;
метод накопления;
корреляционный метод;
согласованная фильтрация.
Все эти методы основаны на использовании различий свойств
Jюлезного сигнала и помехи.
8.1 . Частотная фильтрация
Идея частотной фильтрации основана на отличии спектров по­
лезного сигнала и помехи. При этом используются линейные
частотные фильтры, позволяющие подавлять помеху и улучшать
тем самым соотношение сигнал/помеха. Параметры .фильтра
209


/
определяются спектральными характеристиками сигнала и помехи. ,
На практике наиболее часто встречаются следующие случаи:
а) на вход приемного устройства поступает узкополосный сиг­
нал и широкополосная помеха. Этот случай представлен на рис . 8.2,
где Sx (щ) - спектральная плотность сигнала и SE (щ) - спектраль­
ная плотность помехи.
_ В этом случае в тракт приемного устройства включается узко~
полосный фильтр с полосой пропускания Л<~>х;
б) на вход. приемника поступает широкополосный сигнал и
узкополосная помеха (рис. 8.3). В таких случаях в тракт прием­
ника включается фильтр, обеспечивающий подавление .помехи в
полосе Лщ Е;
Рис. 8.2
Рис. 8.3
в) на вход приемника поступает периодический сигнал и широ­
кополосная помеха.
Как известно, периодический сигнал •имеет дискретный частот­
ный спектр. В этом сJ1учае в приемное устройство нужно включать
набор фильтров (гребенчатые фильтры), пропускающие лишь ди­
скретные частоты периодического сигнала .
Рассмотрим более детально случай, когда полезный сигнал
является гармоническим, а помеха типа белого шума. Для выде­
ления полезного сигнала в этом случае должен быть использован
узкополосный фильтр, настроенный на частоту сигнала. Отноше­
ние мощности сигнала к мощности помехи на выходе фильт.ра
при этом
(8.1)
где Р0 - средняя мощность помехи, приходящаяся на единицу
полосы; ЛщФ - полоса пропускания фильтра.
р*
Как видно из выражения (8.1), отношение Рх можно сделать
•
Е
как угодно большим за счет уменьшения полосы пропускания
фильтра дfФ·
.
В реальных условиях полезный сигнал поступает лишь в тече­
ние отдельного времени т;. Поэтому полезный сигнал в действи­
тельности представляет собой отрезок синусоиды, спектр которого
210


неограничен. Известно, что практическая ширина спектра такого
с иг нала связана с его длительностью соотн'Ошением
(8.2)
где 1-1
-
постоянная, зависящая от формы сигнала. Обычно при-
1-шм ается fJ. ::::::::: 1.
Длительность сигнала Тх должна быть выбрана такой, чтобы
е го спектр был не шире полосы пропускания фильтра
Лfх < ЛfФ·
Подставляя в (8.1) из (8.2) вместо ЛfФ величину Лfх, получаем
-
х•-
РХ8Х т
(р*)
•
Р~ вых - 2nP0μ х-
Формула (8.3) показывает, что увеличение отношения сиг­
на л/помеха достигается за счет увеличения длительности сигнала Тх,
т. е. времени- наблюдения.
Таким образом, при частотной Ф1:1льтрации улучшение отноше-
1-1ия сигнал/помеха окупается ценой увеличения времени передачи.
8.2 . Метод накопления .
Метод накопления применим в том случае, если полезный
си гнал в • течение времени приема постоянен или является перио­
дической функцией. Метод состоит в многократном повторении
си гнала и__суммировании отдельных его реализаций в приемном
устройстве. Как будет показано ниже, такой способ обработки
с игнала обеспечивает при определенных условиях улучшение
отношения сигнал/помеха.
~
Пусть в течение времеflи передачи Тх сигнал постоянен и ра­
вен а. На сигнал воздействует аддитивная помеха е.
Последовательность отсчетов можно представить в виде
У1 =а+ ~1;
У2 =а+ ~2;
Уп =а+ ~п.
где ~i - значение помехи в момент i-го отсчета .
На выходе накопителя будет сигнал
п
п
у=~(а+ei)=п •а+~~i,
i=l
'
i=l
где п - количество отсчетов за время передачи.
21'1


Отношение мощностей сигнала и помехи на выходе накопителя,
(па) 2
п
D[~~J
i=l
•п
где D [~ ~i] - дисперсия цомехи на выходе накопителя.
i=l
В предположении, что значения ~1 некоррелированы, • диспер-
сия суммы отсчетов ~i равна сумме дисперсий отсчетов
п
п
D[~ ~i]= ~D(ед,
i=l
l= -1
Считая помеху стационарным случайным процессом, получим
.п
D[~ei]= nD(е).
i=l
Следовательно, отношение мощностей сигнала • и помехи на
выходе накопителя можно представить в виде
(8.4)
Таким образом, при перечисленных выше условиях, в резуль­
тате п-кратного отсчета, . отношение мощностей сигнала и помехи
увеличивается в п раз. Временйой интервал между отдельными
отсчетами должен быть больше .интервала корреляции помехи 't ~.
В противном случае выигрыш за счет накопления будет меньше
значения, даваемого выражением (8.4).
, За счет увеличения числа отсчетов п, т. е. времени передачи
.. Тх,
можно сколь угодно увеличивать отношение сигнал/помеха.
Если сигнал представляет периодическую функцию времени;
то отсчеты нужно производить через интервалы, равные или крат­
ные периоду этой функции. В таких случаях метод носит назва­
ние метода синхронного накопления. Эффект накопления такой же,
как и в .случае постоянного сигнала.
Эффект н·акопления можно осуществить также за счет интегри<:.
рования входного сигнала в течение определенного времени Тх.
·· Такой метод получил наименование интегрального приема.
Интегральный прием целесообразно применять в случае, когда
полезный сигнал постоянен (или квазипостоянен).
•
00
i 1:0 ~ IIр(,:) 1d~.
Геометрически интервал корреляции определяется шири-
ной основащт . прямоугольника ·единичной высо.ты, площадь l(Оторого равна пло­
щади, ограниченной кривой коэффициента l(Орреляции и осью абсцисс.
212


В случае поступления на вход интегратора суммы постоянного
сигнала а и помехи ~ выходной сигнал
Тх
Тх
Уи{f)= J[a+~(t)]dt+a•Tx+ J~(t)dt.
о
о
•
Отношение мощностей сигн<Jла и помехи на выходе · μнтегратора
-(Рх)
(ату
р~вых- [? ]
DJЦt)dt
о
В соответствии с теоремой Котельникова, непрерывный случай­
ный сигнал~ (t) можно заменить совокупностью отсчетов в моменты
времени, отстоящие друг от друга на интервалы, равные интервалу
корреляции помехи 't 0 . Следовательно, можно записать, что
где
•Тх
п·
JЦt) dt с:::.~ Цti)'t0,
-о
-
i=I
•Тх
n=-.
'to
Тогда дисперсия помехи на выходе накопителя
Тх
п
.
п
D[fЦt)dt] • D [~Цti)'to]= 't~D[}:~(t;)] = 't~nD(~) = Tx'toD(~).
О
i=l
i=l
•
Следовательно, отношение мощностей сигнала и поме~и на выходе
и нтегратора определится - соотношением
-
(Рх) (а· Тх)2 Тх а2 Тх (Рх)
р~ вых с:::. Tx'toD (Е) = .~
D(~) =~р~вх.
(8.5)
Таким образом, интегральный прием обеспечивает увеличение
отношения мощностей сигнала и помехи в ( :: J~аз. Помехоустой­
чивость · инте1·рального приема будет тем выше, чем бо.льше время
интегрирования, Тх и чем более в_ысокочастотна помеха , (т. ,е. чем
меньше интервал корреляции помехи 't 0).
•
.
8.3 . Корреляционный метод
Сущность метода заключается в использовании различия между
корреляционными функциями сигнала и помехи .. ' Данн1?IЙ
метод
эффективен лишь в случае .приема периодических или квазиперио­
дических сигналов.
Рассмотрим сущность метода на примере, когда rюлезный сиг- _
нал является периодическим, а помеха - типа белого rау~ёова шума.
213


В приемном устройстве определяется корреляционная функция
поступающей на вход суммы полезного сигнала и помехи
т,
2
Ku(-c)= ii 1(X(t)+~' (t)HX(t+-c)+~(t+-c))dt=
.
т,
=2
т.
.Ц..
2
2
5Х(t)Х(t+ -с)dt+ ,ii 5Х(t)Цt+-с)dt+
т.
т.
-2
-2
т,
т,
2
2
+ ;i jЦt)Х(t+ -с)dt+ ;i 5Цt)Цt+-с)dt=
-_!j_
т,
2
-2
=Кхх(-с)+Кх~(-с)+К€х(-с)+К~~(-с).
(8.6) .
В полученном выражении Кх~ (-с) и К€х (-с) есть взаимные кор­
реляционные функции сигнала и помехи, а Кхх (-с) и Кц (-с) - авто­
•r ]\.) VV
Рис. 8.4
..
r
т
корреляционные функции сигнала и
помехи соответственно.
Поскольку· передаваемый сигнал
и помеха статистически независимы, то
Кх~ (-с)= К€х (-с)= О.
Следовательно, выражение
примет вид
Ки (-с)= Кхх (-с)+ К~~ (-с) . .
(8.6)
(8.7)
Из выражения (8. 7) видно, что кор­
реляционная функция смеси сигнала
и помехи равна сумме автокорреляци­
онных функций сигнала и помехи. Как
известно, корреляционная функция пе­
риодического сигнала является перио­
дической функцией аргумента (см. па­
раграф 3.11, пример 3.14). Функция
r К€€ (-с) с увеличением 't стремится
к нулю и • при -с.> -с 0 практически
равна нулю (рис. 8.4). Следовательно,
выбирая такое время -с, при котором
значением К€~ (-с) можно пренебречь, мы обеспечим тем самым полу­
чение функции Ки (-с), отображающей полезный сигнал, т. е. выде­
ление полезного сигнала из смеси полезного сигнала с помехой.
Для уточнения того, от каких факторов зависит время, затра­
чиваемое для выделения полезного . сигнала при корреляционном
214


приеме, выразим корреляционные функции Кхх ('t) и Кее ('t) через
дисперсии и нормированные корреляционные функции rхх ('t) и ree ('t)
Кхх ('t) ·= D (х) • Гхх ('t);
, Kee('t)=D(~)ree('t) ,
Подставляя (8.8) и (8 .7), найдем
(8.8)
Ku('t) = D(х)Гхх('t)+D(~) r~e ('t) = D(х)[rxx ('t)+gt~rн('t)]=
=D(x) [rxx('t)+~ree('t)].
(8 .9)
,
Из (8.9) видно, что выбор времени приема зависит от интервала
корреляции помехи 11: 0 . и отношения сигнал/помеха. Действительно,
р
при Ре « 1 вторым членом можно пренебречь и для выделения
х
полезного сигнала теоретически времени не потребуется. При
р
.
/ >, 1 необходимо увеличивать 't, чтобы получить ree ('t):::::: О. Следа-
х
вательно, n последнем случае для выделения полезного сигнала
необходимо дополнительное .время, которое должно расти с увели-
~
-
чением отношения Р и · интервала корреляции помехи 'to,
х
.
Общее время, затрачиваемое на корреляционный прием, опреде­
ляется не только 't, но и временем интегрирования Т1 , выбираемым
,11.остаточно большим. Практически
ограничиваются значением
Y(t)
Т1 >- lO'to,
Схема корреляционного прием­
ника приведена на рис. 8.5 . Схема
содержит блок задержки БЗ, устрой­
ство умножения УУ и интегратор И.
.Блок
задержки осуществляет за-
Рис. 8.5
держку входного сигнала на время 't, Устройство умножения осу­
ществляет перемножение поступающей на вход приемника функции
У (t) и функции У (t + 't ), снимаемой с блока задержки . Интегратор
усредняет полученное произведение за время Т1 •
8.4 . Согласованная фильтрация
_
Согласованные фильтры предназначены для выделения сигналов
известной формы на фоне шумов. Критерием оптимальности таких
фильтров является получение на выходе максимально возможного
отношения амплитудного значения сигнала к дейс_твующему значе­
ю1ю помехи.
215


Показано [27, 46], что функuия передачи таких фильтров должна
определяться выражением
s* ("оо)
К (jш) = С ;~ (ы) ехр {-jшТ}-,
(8.1 О)
где s; (jш) - комплексно-сопряженная функция спектра сигнала;
•
G~ (ш) - энергетический спектр пом~хи на входе фильтра; Т -
момент времени наблюдения за- сигналом на выходе - фильтра, в кото­
рый достигается максимум отношения сигнал/помеха; С - коэф­
Дt)
фициент пропорциональности.
Для случая, когда помеха яв­
ляется белым шумом, формула
(8.10) принимает вид
!( (jш) = вs; (jш) ехр {-jшTj,
(8.11)
G
Рис. 8.6
гдеВ=0; G€. -
энергетиче-
€.
ский спектр белого шума.
Если поле з ный сигнал описывается функцией х (t), то переход­
ная функция оптималыюго фильтра имеет вид
h(t) = Bx(T-t),
(8.12)
т. е. представляет собой зеркальное отображение сигнала отно­
сительно временной точки ~ (рис. 8.6) .
Реакция на выходе фильтра определяется интегралом свертки
~
уф (t) = I [X('t) + Ц't)]h(t-'t)d't =
= ВIх('t) х(T-t + 't)d't + ВIЦ't)х(T-t + 't)d't. (8.13)
Формула (8.13) показывает, что Jвыходная реакция фи.11ьтра
с точностью · до постоянного множителя выражает сумму автокор­
реляционной функции сигнала и взаимно корреляционной функuии
сигнала и помехи. Следовательно, реакция сагласованного - фильтра
эквивалентна действию корреляционного приемника.
8.5 . Сущность основной задачи приема сигналов
при наличии помех
Результатом воздействия помех является частичная или полная
потеря информации, переносимой полез~-iым сигналом. Приемное
устройство, осуществляя об.работку входного сигнала, являющегося
суммой полезного сигнала и помехи, должно обеспечить извлече-
216


ние из принятого сигнала возможно большего количества необ-
ходимой информации.
_
Основная задача приемника состоит в том, чтобы на основании
принятой реаJiизации решить наилучшим в каком-то определенном
смысле способом, имеется ли данный сигнал в данной реа.тшзации
(задача обнаружения ИJIИ различения), или каковы параметры полез­
ного сигнала {задача восстановления). В связи с этим должны
быть выработаны ·· критерии, позволяющие по принятому сигналу
оптимальным способом решить поставленную задачу.
Задача выбора оптимального способа обработки сигналов и выра­
ботки при этом соответствующих критериев составляет содержание
. теории статистических решений. Некоторые положения этой теории
приводятся ниже; а более _ детально изло-
жены в (10, 14, 47].
.
С цеJiью нагJiядного представления
положений теории статистических реше­
ний введены геометрические понятия .
пространст13а принимаемого сиги.ала (про­
странства наблюдений).
.
у,
Ри с. 8.7
Пусть отсчеты принимаемого сигнала,
являющегося суммой полезного , сигнаJiа
и помехи, осуществляются .в дискретные
моменты - времени t1, t2, ... , fп, Отсчет­
ные значения принятого сигнала у1 , У2,
... , Уп называют выборочными значения-
ми, а их совокупность~ выборкой . Число п iзыбqрочных значений
называют размером (иJiи объемом) выборки .
Совокупность выборочных значений представляют геометрически
в виде радиус-вектора У в п-мерном пространстве, где у1 , у2 .. . , Уп­
координаты конца вектора. •Так как веJiичины у1, у2 , .. . , Уп слу­
чайны, то вектор У также является случайным вектором. Множество
возможных значений · вектора У составляет пространство набJiю­
дений V. На рис. 8. 7 показан случай трехмерного пространства
(п = 3). Общая вероятность uопадания конца · вектора У в произ-
вольную точку пространства V
•
Iw(у)dy =- 1.
(8.14) .
V
Но аналогии вводят · понятия вектора •полезного сигнала й век­
тора помех и соответственно им понятие пространства полезного
сигнала и пространства помех.
После нахождения вектора принятого сигнала У мы не можем
однозначно судить о векторе полезного сигнала Х . Речь может
идти только об апостериорной плотности вероятности w (Х!У) =
= W(х1, Х2, ... , Хп/У1, У2, •... , Уп), Т. е. - условной плотности веро­
ятности Х, если задан вектор У.
217


Вычисление апостериорной плотности вероятности можно вы-
полнить с помощью формулы Байеса
"
(х/у) = w (Х) w (У/Х)
w
•
, w(Y)
'
_ (8.15)
где w (Х)- априорная плотность вероятности вектора Х; w (У)­
безусловная плотность вероятности вектора У; w (У!Х) - условная
плотность вероятности У, если задан Х.
Безусловная плотность вероятности w (У) определяется соотно­
шением
w (У)= Iw (~) w (У!Х) dX,
(8.16)
Vx
•
где Vx обозначает, что интегрирование осуществляется в простран­
стве сигнала Х.
Подставляя значение w (У) из (8.16) в (8.15), получим
w(X/Y)=
w(X)w(Y/X).
Iw(X)w(Y!X)dx
(8.17)
•
Vx
Если вектор Х может иметь конечное число возможных значе­
ний х1, х2, ... ,
Xr
с априорными вероятностями р (х1), р (х2), .•• ,
р (хг), то формула (8.17) принимает вид
•
(Х/У)= р(Х) w(У/Х) = р(Х) w(YJX)
р
w(Y) -
r
'
~ р (xi) w (Y/xi)
j=I
(8.18)
где р (Х.!У) - апостериорная вероятность вектора Х, еслл задан
вектор У; р (Х) - априорная вероятность вектора Х.
Следовательно, для нахождения искомой апостериорной веро­
ятности (или плотности вероятности) необходимо знать Р (Х) или
w (Х), т . е. априорные характеристики полезного сигнала, и w (У!Х),
определяемые априорными характеристиками полезного сигнала
и помехи, а также характером их композиции.
Для определения апостериорных вероятностей р (Х!У) или плот­
ностей вероятностей w(X!Y) необходимо знать w(YIX), которая
при заданном значении У будет зависеть только от Х
w(У!Х)=L(Х).
(8.19)
Функция L (Х) называется функцией правдоподобия . В зависи­
мости от того, является ли Х дискретной или непрерывной вели­
чиной, функция правдоподобия L (Х) может принимать конечное
или бесконечное множество знанений .
•
Рассмотрим основные критерии, используемые при решении
задачи оптимального приема. f!ачнем с простейшей задачи- задачи
обнаружения сигналов.
218


8.6 . Обнаружение сигнала
Задача обнаружения , как отмечалось, состоит .в том, чтобы
в резу льтате обработки принятого сигнала У установить, содер­
жится ли в нем полезный сигнал Х или нет.
Пусть принимаемый сигнал является суммой полезного сигнала
и помехи
у(t) =х(t)+~(t).
Полезный сигнал может принимать два значения: х1 и х0
с априорными соответственно вероятностями р (х1) и р (х0). Так как
сигнал Х наверняка имеет одно из этих двух -вначений, то справед-
ливо соотношение
(8.20)
Таким образом, возможны две взаимно исключающие (альтерна­
тивные) гипотезы: в принятом сигнале содержится полезный сиг­
нал (гипотеза Н1) и отсутствует полезный сигнал (гипотеза Н0).
Решающее устройство приемника по данным выборки должно уста­
новить, какая из этих гипотез является истинной.
В геометрической интерпретации поставленная задача может
быть сформулирована следующим образом. Пространство принятых
сигналов V условно разбивается . на .две части (рис. 8.7): область
v1 , соответствующую принятию гипотезы Н1 о том, что Х = х1 ,
и область v0, соответствующую принятию гипотезы НO о том, что
Х = х0 . Это значит, что если вектор принятого сигнала О)'{ажется
в пределах области v1 , то принимается гипотеза Н1 . Если же вектор
сигнала У окажется в . области v0, то принимgется гипотеза Н0•
В этих условиях могут иметь место два значения апостериор­
ной вершпности р (Х/У): р (Х1/У)-условная вероятность наличия
полезного сигнала Х при данном значении выборки У, р (Х0/У) -
условная вероятность отсутствия х при данном значении выборки У .
Аналогично можно рассматривать два значения функции правдо­
подобия L (Х): L (х1) = w (У/Х)-условная плотность вероятности
выборки У при наличии полезного сигнала Х; L (х0) = w(У/х0)­
условная плотность вероятности выборки У при отсутствии Х.
Отношение функций правдоподобия
л=L(х1)= w (У/х1)
(8.21)
L (х0) w (У/х0)
принято называть отношением правдоподобия.
Для выбора гипотезы Н1 или НO должно быть взято за основу
определенное правило принятия решений .
Выбор правила принят1:1я решения в математическом отношении
сводится к оптимальному разбиению пространства принимаемых
сигналов V на области v1 и v0.
Для того чтобы выбрать то или иное правило принятия реше­
ния, необходимо руководствоваться определенными критериями .
219 --.


Критерий максимума правдоподобия. Этот критерий формуJшрует­
ся следующим образом: наиболее правдоподобно то значение парамет­
ра Х, для которого функция правдоподобия L (Х) максимальна.
В соответствии с этим критерие~ в случае двухальтернативной
ситуации (обнаружение сигнала) сравнивается два значения функ­
ции правдоподобия - L (х1) и L (х0) - и принимается та гипотеза,
которой соответствует большее значение функции правдоподобия.
Если, например, L (х1 ) > L (х0), то принимается гипотеза Н1 .
Если же L (х1) < L (х0), то принимается гипотеза Н0.
Этот критерий можно записать в следующем виде через отно­
шение правдоподобия:
•
L (Х1)
еслил=L(хо)>1,тох=х1;
(8.22)
L (х1)
прил=L(хо)<1,тох=х0•
Таким образом, в соответствии с данным критерием методика
принятия решения сводится I< следующему: вычисляются функции
правдоподобия L (х1 ) и L (х0), определяется отношение правдоподо­
бия л, и в, зависимости от того, боJiьше, равно или меньше л еди­
ницы принимается соответствующая гипотеза . .
Практическое достоинство данного критерия заключается в том,
что при его применении . не требуется знания априорных вероят­
ностей р (х1) и р (х0) сигнала Х.
Критерий максимума апостериорной вероятности. По этому
критерию при полученном значении выборки У принимается т-а
гипотеза, при которой апостериорная вероятность р(Х/У) максимальна.
Для случая двухальтернативной ситуации ср/Ш!:Jиваются два
значения апостериорной вероятности р (х1/У) и р (х0/У). Обычно
рассматривается отношение этих величин и · правило принятия реше­
ния записывается в виде:
р(Х1/У)>J х
если Р (хо/У) , то
= х1;
р (х1/У)
еслиР(хо/У)<1,то Х=х0•
(8.23)
Используя формулу Байеса (8.18), выразим отношение апосте­
риорных вероятностей через отношение фу7нкций правдоподобия
р ((Х1/Уу) = р ~Х1~ z~11~ =
Р ((Х1)) Л.
(8.24)
рХо/) рХо
о рxil
Тогда критерий максимума апостериорной вероятности (8.23)
' может быть следующим образом выражен через отношение _правдо­
подобия: ·
(8.25)
220


Соотношения (8.25) можно представить в виде:
eCJIИл>;i=:~ = л0, то Х =х1;
еслил<;i;:~ = л0, то Х =х0,
где л 0 - пороговое значение отношения правдоподобия.
(8.26)
Таким образоr-1, процедура принятия решения согласно критерию
максимума апостериорной вероятности такая же, как и согласно
критерию максимума правдоподобия. Отличие заключается лишь
в том, что в первом случае отношение правдоподобия сравнивается
с единицей, а, во втором случае - с отношением априорных веро­
ятностей р (х0)/р (х1). При наличии априорных данных р (х1) и р (х0)
целесообразно применять· критерий максимума апостериорной веро­
ятнос ти, так как при этом имеется возможность пользоваться
доп олщпельной информацией, позволяюще!:f точнее решить задачу
обнаружения сигнала.
Следует заметить, что критерий максимума правдоподобия
является оптимальным с информационной точки зрения. Действи­
тельно, с точки зрения теории ,, информации наиболее вероятным
следует считать то значение параметра Х, относительно которого
в принятом сигнале У содержится наибольшее количество инфор­
мации . Взяв разность количеств информации, содержащихся в си­
п-rале У относительно х1 и х0, получим / (У, х1) - I (У, Хо) =
= [-log2 р (х1) + log2 р (х1!У)] - [log2 р (х0/У)-
Р (Х1/У) р (Хо)
W (У /Х1)
-
log2р (х2)] = log2Р (хо/У) Р (xi) = log2w (У/хо) log2 л.
Таким образом, информационный критерий принятия решения
с водитс я к определению двоичного логарифма отношения правдо­
подоби я . Если этот :югарифм положителен, то л'ринимается гипо­
теза _ Н1 о том, что Х = х1; если он отрицателен или равен нулю,
то принимается гипотеза Н0 о том, что Х = х0 .
I(pumepuй , идеального наблюдателя (критерий /(отелышкова).
Сагласно данному критерию принимается та гипотеза, при которой
обеспечивается минимум · общей ошибки принятия решения .
При решении задачи обнаружения сигнала могут иметь место
ошибки двух родов:
1) при отсутствии полезного сигнала вектор принятого сигнала
У оказывается в области v1 и принимается в соответствии с этим
ги потеза Н1 ; 2) при наличии полезного сигнала вектор У оказы­
ваетс я в области v0 и принимается гипотеза Н0 . Первая ошибка
называется ошибкой первого рода, или «ложной тревогой». Вторая
ош ибка называется ошибкой второго рода, или «пропуском сигнала».
Коли чественно ошибки riервого и второго рода оцениваются услов­
н ыми вероятностями а и ~ ошибочных решений о наличии полезного
221


сигнала, когда в действительности он отсутствует, и об отсутствии
сигнала, когда в действительности он имеется
сх=р(УЕ Vi/X0) = Sw(У/х0)dYi
,,,
~=р(УЕ v0/x1) = SW(Y/Xi,)dY.
(8.27)
"•
Общая безусловная вероятность ошибочного решения опреде­
ляется выражением
.
(8.28)
• Критерий идеального наблюдателя минимизирует 00щую ошибку,
определяемую выражением (8.28).
•
Следовательно, условие оптимального решения по критерию
идеального наблюдателя имеет вид
Рош=р(хо)а+р(х1)~=МИН.
(8.29)
Подставим в (8.28) из (8.27) значения ош~бок первого и второго
рода
Рош= р(х0)Sw(У/х0)dY +р(х1)Sw(Ylxi)dY.
(8.30)
Ошибку второго рода можно представить в виде
~=р(УЕ v0/x1) = 1-:-р(У Е v1/x1)= _1 - Sw(Y/xi)dY. (8.31)
."'
Подставив из (8 .31) в (8.30) значение ~,
получим
• Рош= р (х1)- S[р(х1)w(У/х1).:_ р (х0)w(У/х0)]dY. (8.32)
,,,
Условие (8 .29) будет обеспечено, если интеграл в (8.32) будет
максимален. А для этого нужно так выбрать область v1, чтобы
подынтегральная фун:кция была положительной, r. е.
(8.33)
Условие (8 .33) определяет принадлежность вектора У области
Vi, т. е. выбор гипотезы Н1 . Перепишем (8. 33) в виде:
W (У /Х1)
р (Хо)
х
еслиw(У/хо) =л>Р(xi)=·л0,то =х1;
w (У /х1)
р (х0)
Х
еслиw(У/хо) =л<Р(xi)=л0,то =х0•
Таким образом, правила решения, соответствующие критериям
идеального наблюдателя . и ма1<симума апостериорной вероятности,
совпадают. Отличие зак ~1ючается лишь в исходных условиях.
222


Критерий Неймана_;,_Пирсона. Данн_ый критерий основан на том,
что ошибки первого и второго рода не одинаково опасны, причем
ошибка первого рода приводит к таким последствиям, что ее веро ­
ятность необходимо ограничить некоторой очень малой величиной.
Вторую ошибку желательно при этом обеспечить минимальной.
. Исходя
из этого ; !{ритерий Неймана-Пирсона можно сформу­
лировать следующим образом: наилучшим решением является такое,
,при котором обеспечивается наименьшая вероятность ошибюr вто­
рого рода при заданной допустимой вероятности ошибки первого рода .
Итак, согласно критерию Нёймана-Пирсона должно быть обес­
печено
при а= Sw (У/х0) dY ·= е,
где е - наперед заданная величина.
(8.34)
(8.35)
Задача может быть решена методом Лагранжа отыскания услов­
ного экстремума.
Для упрощения задачи целесообразно перейти от многомерной
переменной У к одномерной переменной л, что можно осуществить
с помощью равенств
w (У!х1) dY = w (л!х1) dл;
w (У/х0) dY = w (л/х0) dл.
(8.36)
При таком переходе областям v1 и v 0 в пространстве V соответ­
ствуют области [О+ л 0] и [л 0 + со] значений л.
Уславные вероятности ошибок п~рвого и второго рода будут
при этом представлены в виде
00
а= Sw (У!х0) dY = Sw (л/х0) dл;
(8.37)
v,
,,
л,
~= Sw(У!х1)dY== Sw(л/х1)dл..
(8.38)
v,
•
о
Тогда для отыскания условного экстремума должна быть сос ­
тавлена вспомогательная функция
00
л,
F== лSw(л/х0)dл+Sw(л/х1)dл.
,,
о
aF
Взяв производную -, - и приравняв ее нулю, по л учим
.
э~о
W (лоlх1)- лw (ло/Хо) == О,
или


Но из•(8.36)
и, следо!3ательно,
Таким образом, данный критерий будет справедлив •при ). = 'л 0 ,
где -пороговое значение л 0 определяется из равенства
00
а=sw(л/Хо)dл •е.
(8.39)
••
Итак, правило принятия решени~ согласно критерию Неймана­
Пирсона может быть записано в виде:
W (У /Х1)
если w(У/хо)=л>л0,.тоХ=х1;
Ц! (У /х1)
если w(У/хо)=л-<),0, то Х = х0•
(8 .40)
Критерий минимального риска (iфumepuй Байеса). Этот крите­
рий учитывает не только неравноценность ошибок .первого и вто­
рого рода, но . и те последствия, к которым приводят эти ошибки.
Для учета этих последствий введены весовые коэффициенты (коэф­
фициенты цены ошибок) r10 и r 01 , приписываемые соответственно
ошибкам первого и второго рода.
· Усредненная величI:Iна •
(8.41)
получила название риска.
•В
соответствии с критерием минимального риска правило
выбора решения формулируется следующим образом : принимается
та гипотеза, при которой обеспечивается мини!-iальный риск:
r .,мин.
(8.42)
Представим (8.41) в виде
Г= Г10р(хо) Sw_(Y!x0 )dY + r 01 p(x1)J w(Ylx1)dY =
~
'
~
= Го1Р (х1)- S[Го1Р (х1) w (У!х1)- r 10p (х0) w (У/х0)] dY. (8.43)
tl1
Минимум выражения (8,.43) будет при условии, если подын­
тегральная фуцкция положI:Iт~л~ная
Го1Р (х1) w (Ylx1)-: - Г 10Р (хо) w (У/хо)> О .
224


Отсюда получаем следующее правило принятия решения:
если w (У/Х1) =л.>'10Р(хо)=Ло
w (У/х0)
r01 p (х1)
'
(8.44)
если w (У /х1) _ л. '10Р (хо)
_
л.
w(У/хо)- <'01Р(х1)- о,ТОХ=Хо.
Рассматриваемый критерий наиболее целесообрщзен экономи­
чески, так как обеспечивает минимизацию потерь, обусловленных
ошибками в принятии решений. Но он требует максимальной
априорной информации, ибо помимо функций распределения w(Y!X)
и априорных вероятностей р (Х), . необходимо также знание весо­
вых коэффициентов Г10 и Го1•
Минимаксный критерий. Минимаксный критерий представляет
собой специальный случай критерия минимального риска, когда
априорные вероятности р(х1) и р (х0) не заданы.
Дело в том, что риск r, получающий наименьшее значение
при условии (8.44), зависит от априорных в€!роятностей р (х1 )
и р (х0). При определенном соотношении этих вероятностей, кото­
рый мы назовем наихудшим, риск r будет максимален.
Идея минимаксного критерия заключается в том, чт0 обеспечи­
вается минимум риска при наихудшем соотношении априорных
вероятностей.
•
-
Для определения наихудшего соотношения между р (х1) и р (х0)
необходимо приравнять нулю производную от правой части (8.43)
Таблица 23
No1
п. п.
Наим енование критерия
1
ПороговОе значение отношения
правдоподобия
1
Максимум правдоподобия
л0=1
2
Максимум апостериорной вероятности
Л-р(Хо)
о- р(х1)
3
Идеальный наблюдатель
л·=р(хо)
о р(х1)
4
Нейман-Пирсон
л0 находится из условия
~
sw(л/х0)dл= &
ло
5
Минимальный риаи
Ло = '10Р (хо)
'01Р (х1)
л* = '10Р* (хо),
о r01Р* (х1)
6
Минимакс
где р* (х0) и р* (х1)
находятся из условия
.
~=0
др (х1)
"'-/1 8 6·371
225


..
.
.
.
по р (х1) (или по р (х0)). В результате получается трансцендентное
уравнение, обеспечивающее максимум риска. Затем определяется
пороговое значение отношения правдоподобия
(8.45)
где р* (х0) и р* (х1 ) - наиболее неблагоприятные значения априор­
ных вероятностей р (х0) и р (х1), полученнь1е из условия d/;xi) =0.
Таким образом, правило принятия решения для всех рассмот­
ренных критериев одинаково и сводится к сравнению отношения
правдоподобия л с пороговым значением л0 . Отличие заключается
лишь в величине л~. Для наглядности значения л0 для отдель­
ных критериев сведены в табл. 23.
Так как величина л 0 определяет границу между областями
v1 •и v0 пространства V, то каждый критерий определяет способ
разбивки пространства принятого сигнала на области v1 и v0.
Равенство : i~;::~ = л0 определяет уравнение поверхности раз­
дела областей v1 и v0.
8. 7. Различение сигналов •
/
.
При .различении сигналов имеет место многоа.ТJьтернативная
ситуация, когда полезный сигнал Х может иметь много значений
и приемное устройство должно определить, какое именно значе­
ние из этого множества имеет место в действительн·ости. Различе­
ние многих сигналов в принципиальном отношении мало отличается
от случая обнаружения сигнала, т. е. случая различения двух
сигналов. В соответствии с этим методы многоальтернативных
решений являются обобщением соответствующих методов двух­
альтернативных решений.
Пусть сигнал Х может иметь т возможных значений х1 ,
х2, •.. , Хт с априорными вероятностями р (х1), р (х2), ••• ,
р (хт)
соответственно
Х1-+ р (Х1);
Х2-+ р (Х2);
Хт_,,_Р (хт) .
При этом пространство сигнала V разбивается на т областей
v1, v2,
...
,
Vm соответствующих принятию гипотез Н1 , Н2 , ... , Нт
о том, что Х= х1, Х= х2, ... ,•Х = Хт соответственно. Правила •
принятия решений и разбивка пространства V на _. области v1,
• v2, ..• ·, vm могут производиться в соответствии с любым из кри­
териев, рассмотренных для случая двухальтернативной ситуации
и обобщенных на случай многоальтернативной ситуации.
226


Процедура работы решающего устройства приемника при разли­
чении сигналов следующая. По данным выборки У определяются
функции правдоподобия L (х1) = w (У/х1), L (х2) = w (У/х2), ..• ,
L (хт) = w (У!хт) и вычисляются отношения правдоподобия лii =
w~~)
.
.
= w (У /х~) для вс~х возможных сочетании пар xi и Xi . Сравниваются
/ полученные значения отношений праJЗдоподобия с пороговым зна­
чением и выбирается такое значение сигнала xi, для которого все
л11>ло(i= 1, 2, ... 'т).
Рассмотрим в качестве примера случай, когда используется
критерий минимального риска.
В случае многоальтернативной ситуации ошибки принятия
решения заключается в том, что наблюдаемая выборка оказы­
вается в области vk, в то время, как в действительности сигнал Х
имеет значение .xi. Цена ошибочных решений учитывается путем
введения весовых коэффициентов rik•
Для заданного значения сигнала xi средняя величина потерь
з а счет неправильных решений может быть оценена коэффициентом
т
т
~ ri= ~rikP(УЕvk/xi)=~rikfw(Y!xi)dY,
(8.46)
k=I
•
k=l Vk
где р (У Е vk!xi) - условная вероятность попадания выборки У
в область vk, если в действительности сигнал Х равен xi.
•
Величины ri носят название условного риска.
Усредняя условный риск по всем возможным значениям Х,
получим средний риск
т
тт
Г=~р(xj)Гj=~~р(xj)ГjkP(УЕvklx1)=
i=l
i=I k=l -
mт
,
= ~ ~p(xi)rik f w(Y!xi)dY.
(8.47)
i=I k=I
Vk
Критерий минимального риска для случая многоальтернативной
ситуации сводится к минимизации функции (8.47)
r=мин.
(8.48)
Условие (8.48) определяет правила принятия решения, а также
способ разбиения пространства принятого сигнала на области v1,
V2,
.•• '
Vm.
Рассуждая аналогично, как при выборе соотношения (8.44),
можно показать, что реализация условия (8.48) дает следующую
. сист ему
т _неравенств, обеспечивающих принятие гипотезы Hk,
ЧТО Х= Xk (47)
т
~(Гij- Гik)~i::;:~~j;:;>о·(j= 1, 2, . . . , т; j=рk). (8.49)
~!
•
227


8. 8. Синтез структуры решающего устройства
Как уже установлено, оптимальное решающее устройство должно
строиться таким образом , чтобы оно могло вычислить функции
правдоподобия L (Х) и отношение правдоподобия л с последую­
щим сравнением его с неко,торым пороговым значением л0 . Следо­
вательно, в первую очередь решающее устройство ;должно вычис­
лять условные плотности вероятн ости w (Y!xi)- Очевидно, схема •
решающего устройства определяется в основн9м видом этой функции.
• Рассмотрим общ1::1й случай многоальтернативной сит-уации, когда
полезный сигнал Х может прин_имать т значений. Будем полагать
помеху е нормальной с 1Iулевым математическим ожиданием
'-И аддитивной. Следовательно, принимаемый сипiал у •
у(t)=х(t)+е(t).
Для любого отсчетного значения принятого сигнала Yi можно
записать
где Xt ~ отсчетные зна11ения полезного сигнала; ei - отсчетные
зн·ачения помехи, распределенные по нормальному закону
Вектор помехи определяется многомерным , законом распреде­
ленияW(~1, е2;... ,
еп), где п - объем выборки . Полагая помеху
стационарной и отсчеты некоррелированными, можно многомерный
закон распределения вектора _помехи представить в виде -
(~.50)
При взаимной независимости . полезного сигнала и помехи функ­
. ция w(Y!X) определяется (см. параграф 5.4) законом распределе­
ния помехи
(
п
(
"
•
,
~~:
-
~(Yi- xi)2
1п
i=I
\
п
i=I
w(Y!X) _:__ (v-)ехр--2) = (v ~)ехр-
2 )•.
2ла2
2а,
2ла
2а~
~
'
(
228


Для принятия оптимального решения необходимо определить
отношения правдоподобия
(8.51)
Перейдем к случаю непрерывного приема сигналов в течение
определенного времени Т. Будем при этом полагать, что помеха
типа белого шума.
Переход к непрерывному наблюдению можно осущесt.вить
с использованием· теоремы Котельникова. Полагая: что отсчеты
1
осуществляются через интервал времени Лt = 2F , где F в - гра-
в
ничная частота полосы пропускания канала связи, умножаем
числитель и знаменатель показателя степени е в •выражении
(8.51) на Лt и переходим в числителе показателя степени от сум­
мирования отсчетов к интегрированию в пределах от О до Т,
г-де Т=пЛt = 2;
в
2
()' ~
.
где Ek и Е1 -:--энергии сигналов xk и xi; _ Р0 = у--мощность
в
помехи, приходящаяся на единицу полосы спектра .
Полагая энергии сигналов Xk и -xi одинаковыми, (8.5?) приво­
дим к виду
Выбирается в качестве истинного такой сигнал Xk, для которого
8 6•371 I
(8.53)
229


Условие (8.53) можно переписать в виде:
т
т
Iу(t)Xk(t)dt- Iу(t)Xj(t)dt> ~Ро!пЛо==л~
о
о
(8.54)
(j=1,2, ... , т;j=f::k).
В соответствии с (8.54) структура решающего устройства дол­
жна иметь вид, как показано на рис. 8.8. Устройство содержит
набор генераторов сигналов Х1, Х2, ... , хт1 множительных звеньев
Y(f)
с
с
Рещен11е
Рис. 8.8
МЗ, интеграторов · И и схему
сравнения се.
На выходе МЗ получа­
ется произведение функций
у (t) Xi (t), которое затем интег­
рируется интегратором И. Схе­
ма сравнения СС определяет
разность между различными
сочетаниями выходных сигна­
лов интеграторов, сравнивает
полученные результаты со
стандартным сигналом л ~ =
1
= 2Роlnл0 ивыноситреше-
ние в пользу той функции х",
для которой выполняется ус­
ловие. (8.54) .
. Величина стандартного сиг­
нала л~ определяется крите­
рием, положенным в основу синтеза решающего устройства. В част­
ности, если в качестве такового используется критерий идеального
наблюдателя (критерий Котельникова), то
(8.55)
Решающее устройство, реализуемое на базе критерия идеаль­
ного наблюдателя, обеспечивает минимальную вероятность ошибки
принятия решения. Такие устройства принято называть идеаль­
ными приемниками.
8.9 . .Восстановление · сигналов
Восстановление сигналов сводится к .оценке некоторого числа
неизвестных параметров полезного сигнала. Ограничимся рассмот­
рением случая оценки одного из параметров сигнала, например
амплитуды В, при заданной форме сигнала. При этом помехи будем
230


полагать аддитивными типа белого гауссова шума. Представим
полезный сигнал в виде
х(t) =Bf(t),
где f (t) ~ известная функция времени; В- параметр сигнала.
Задача состоит в том, чтобы по принятой выборке У опреде­
лить, каково значение параметра В в полезном сигнале Х.
В отличие от случаев обнаружения и различия сигналов здесь
имеет место бесконечное множество возможных значений параметра
В и, соответственно , бесконечное множество гипотез. Методы,
рассматриваемые в случае двухальтернативных и .многоальтерна­
тивных ситуаций, применимы и для задачи восстановления сигнала.
Произведем оценку параметра В методом максимума правдопо­
добия. Если отсчет принятого сигнала производится в ди<'кретные
моJVJенты времени, то функция правдоподобия для параметра В
будет равна
•
1п
\ ±[y(t;)-Bf(t;)]2)
L (В)= w(YIB) = (·v
2) ехр _i=1
2
•
(8.56)
2л:а~
•
2а~
Задача состоит в том, чтобы щ1йти такое значение параметра В
для которого функция правдоподобия максимальна . Максимуму
функции правдоподобия соответствует минимальное значение пока­
зателя степени в выражении (8.56)
Ф(В)~ ~[ t. [у (1;) - В/ (11)1' ~ ,~: (t[У(/;)]' -
-
2Вt1У (11) f (11) + В't [/(1,)]') ~ мин.
Из условия минимума
имеем
дФ(В)=О
дВ
п.
п
-2~у(t;)f(t;)+2В~[f(t;)]2= О,
i=I
i=I
откуда получаем оцеt1очное значение параметра
п
~у(ti)f(t;)
В*= _i=_I _ __
п
~[f(t;)]2
i-1
8*
(8.57)
231


Осуществив переход к непрерывному примеру, получим
т
т
-' у(t)f(t)dt sу(t)f(t)dt
В*=от
-
оЕо
{8.58)
s[f (t)] 2 dt
о
Т·
.
где Е0 = S [f (t)] 2 dt - удельная энергия счгнала (энергия сигнала
о
В* при амплитуде В= 1).
_
На рис. 8.9 приведена схема
решающего устройства, осуществ­
ляющего операцию оценки парамет- .
ра сигнала. Устройство содержит
генератор сигнала f (t), множитель-
Рис. 8.9
ное звено МЗ, осуществляющее ум-
ножение у (t) на f (t), и интегратор,
производящий интегрирование произведения у (t) f (t).
Для оценки точности восстановления сигнала используем кри­
терий .среднеквадратического отклонения. С этой целью в (8.58)
принимаемый сигнал выразим в виде суммы у (t) = Bf (t) + е (t).
Тогда
т
т
т
В*=: 0 5[f(t)J2dt+}0s~(t)f(t)dt=В+}0sе(t)f(t)dt.
о
о
о
Погрешность восстановления
т
В*- В=}0s~(t)f(t)dt.
о
Дисперсия погрешности
т
т
02 = m1{~: [5~(t)f(t)dtJ}=т1{;~ S~(t1)f(t1)dt1Х .
о
о
т
тт
х 5~ (t2)f U2) dt2} • ~~ 55т1 {Цt1) Цt2)) f (t 1) f (t2) dt1dt2.
о
оо
Среднее ~от произведения ~ (t1) е (t 2) представляет корреляцион­
ную функцию помехи
т1{е(t1)~(t2)}=К~(t)=Goo{-t),
где 0 0 ~ спектральная плотность помехи; o·('t)- дельта-функция;
't = f2-f1.
232


Тогда
тт
а2 = ~~ 558 (t2 -- t1) f (f1) f (t2) dt1qf2,.,,.
ооо
т
т
т
= ~5гU1)[58(t;-t1)f(f2)dt2] dt1= ~~5[f(t1)J2dt = ~~.
00,
(j
.о-О
Следовательно, _ среднеквадратическое значение •погрешности
восстановления
Vo
а- _о
-
.
Ео.
(8.59)
Задача восстановления сигнала может . быть также решена мета- •
дом оптимальной фильтрации. В _ параграф~ ~.5. рассматривались
оптимальные фильтры, обеспечивающие при известной форме сигнала _
максимально возможное отношение амп.тrитудного значения сигнала
к действующему значению помехи. Такие фильтры получили наиме­
нование согласованных (относительно формы сигнала), или фильт­
ров Норса. Фильтры этого _типа целесообразно использовать при
решении задач различения или обнаружения сигналов.
,
Максимизируя отношение сигнал /помеха даже ценой существен-
ного искажения формы сигнала, эти фильтры обеспечивают умень­
шение ошибок при различении или обнаружении сигналов.
Однако при решении задачи восстановления важное значение
имеет обеспечение минимальной ошибки оценки параметров полез- -
наго сигнала.
Эта задача решается с помощью фильтров Колмогорова- Винера-.
Критерием оптимальности данных фильтров является получевие
минимальной среднеквадратической ошибки воспроизведения сиг­
налов. Эти фильтры не только очищают сигнал от помехи, - но и
предсказывают его значение на некоторое время вперед. В связи
с этим их часто называют фищ,трами сглаживания и предсказания.
При реализации таких фильтров считается, что полезный сигнал
является ~лучайным процессом с известными вероятност_ными харак­
теристиками.
Показано [37, 48], что если на вход фильтра поступает сумма
сигнала и помехи, являющихся стационарными случайными функ­
циями времени, - :го минимальная среднеквадратическая ошибка вос­
произведения сигнала будет при условии, если функция передачи
фильтра выражается 'соотношением
•
к(.)
Sx (j(J))
{. Т}
J(J)=s <. )+s<- )ехрJ(J)_'
-
-
.
-
хj(J)•
~ j(J)
-
(8.60)
где Sx (j(J)) и S~ (j(J)) - спектральные плотности полез·ного сигнала
и помехи; Т - время предсказания .
233


При этом среднеквадратическая ошибка · воспроизведения сиг­
нала
·
Sx (jw) Se (jw)
у""
а= JSx (jw) +Se (jw) dш.
(8.61)
Отсюда видно, что идеальная фильтр1ация (cr= О)
только 1? том случае, когда
возможна
Sx(jш) •Se(jш) =О,
т. е. когда спектры сигнала и помехи не перекрываются.
8.10. Примеры
Пример 8.1 . По ·каналу связи, в котором действует аддитивная
стационар·ная помеха, передается периодическая последовательность
прямоугольных импульсов. Параметры полезного сигнала: вели­
чина Ах-: 2В, период следования Тп = 100 мс . Помеха имеет
нормальный закон распределения. Среднеквадратическое значение
помехи cre = 5В, математическое ожидание те = О. Обработка сигна­
лов на приемной стороне осуществляется методом синхронного
накопления.
u(f) Ус111111тель 1----, ~ Нако л11 тмь
Определить время обр,аботки
сигналов, необходимое для обеспе-
чения превышения сигнала над по-
Строо-с11г11ал
мехой в 4 раза.
Решение. Упрощенная схема
Рис. 8.10
приемника с синхронным накопле-
нием представлена на рис. 8.10.
Усилитель приемника в исходном состоянии заперт. Строб-сигнал
поступает синхронно с полезным сигналом и обеспечивает отпира-
ние приемюща на время подачи полезного сигнала.
•
Отношение сигнал/помеха на выходе накощпеля в случае
стационарной помехи
где (~)
-
отношение мощностей сигнала и помехи на входе
евх
•
приемника; п- количество о-rсчетов за время приема.
В нашем случае
(Рх) (Ах)2
( 2)2
Ревх=~ =5
•
234


Продолжительность обработки сигналов в приемнике
(~;[,х
Tnp=nTп=(Ax) 2 Тп,
(J~ вх
По условию задачи
(Ах) = 4_
А~ ВЬIХ
Тогда необходимое время наблюдения
42
.
Tnp- .
(~)2 • 0,1= 10с.
Пример 8.2. Необходимо осущесп;шть обнаружение постоян­
ного сигнала величиной а = 2В на фоне аддитивной помехи с нор­
мальным распределением и средним значением, равным нулю.
Метод приема - однократный отсчет. Произвести синтез приемного
устройства, работающего на основе критерия максимума правдопо­
добия, и определить пороговый уровень.
Решение. Так как по условию задачи помеха аддитивна ·и
выборка У представляет одномерную величину, то функции правдо ­
подобия L (а) и L (О) определяются законом распределения помехи
1
{ (У~ а)2}
L(a) = w(Y!a)=v_@ .Xp
-
2
;
2na2
.
2а,
•
~
'
L (О)= w(Y/0) =-= ехр -
-
2.
J
{ у2}
V2na:
2а~
Отношение правдоподобия при этом
,_
L (а)_ • {-(У~а)2- У2}- {··r~ _
_!_]}
л- L(О)- ехр
2а:
-
ехр1а.2
'
а2
гдеr=2·
(J~
(8 .62)
(8.63)
(8.64 )
Графики 1рункций (8.612)- (8.64) приведены на рис . 8.11 .
•
При использовании критерия максимума правдоподобия поро­
говое значение отношения правдоподобия л 0 = 1. Тогда, приравняв
(8.64) единице, получим условие для порогового значения вход­
ного сигнала уnop:
235


откуда поJJучаем
или
а
Упор = 2= lВ.
Таким образом, приемное устройство представляет собой устрой­
ство сравнения, сравнивающее входной сиг,нал с пороговым уров­
нем Упор, равным половине величины полезного сигнала.
Если входной .сигнал превышает
пороговый уровень в 1В, то · выно­
сится решение, что во входном сиг­
нале имеется полезный сигнал. Если
же входной сигнал равен или мень­
ше Упор, то выносится решение об
отсутствии полезного . сигнала.
1
!I
1v 11
Рис. 8.ll
Пример 8.3 . Решить предыду­
щую задачу для случая, когда ис­
пользуется критерий идеального
наблюдателя и дополнительно из­
вестно, что отношение априорных
вероятностей отсутствия и присут­
ствия полезного сигнала • в приня-
том сигнале Р (О)=' 10 и средне
Р (а)
.
•
квадратическое значение помех е
равно а~ = 0,5 В.
.
Решение. При использо_вании критерия идеального наблюдателя
пороговое ·значение отношения правдоподобия л0 =: ~~~.
Тогда, приравняв _ правую часть (8.64) пороговому значению л0 ,
получим следующее выражение Для порогового уров':!я
Пример 8.4 . Решить задачу, приведенную· в примере 8.2, для
случая, когда используется критерий Неймана-Пирсона и допол­
нительно известно, что среднеквадратическое значение помех
а~ = 1,25 В и вероятность ошибки первого рода принятия pe1ue- ~
ний не должна превышать величины в= 0,05.
Решение. Искомое пороговое значение Упор можно определить
из соотношения (8 .39), если перейти от переменных л к перемен­
ным У:
~=~ w(У/0)dY- е.
Упор
236


Подставляя из (8.63) выражение для плотности w (У!О), получим
...
а=SV1
2ехр{-r:}dY=е.
2ncr •
/ 2cr,
Упор
'
После замены -Ja: = z получаем уравнение для нахождения
Упор:
•1
'5
00
{z
2
}
1[
(Упор)]
V2ii: ехр-2 dz=21-2Ф~ =е,_
Упор
•
-
а,
где Ф(;;Р)-функция Лапласа.
По условию задачи
Ф(;:Р) . ;- е = 0,45.
По таблицам функциii Лапласа" находим
Упор= 1,65 ,
а,
откуда искомый пороговый уровень
Упор= 1,65 а,= 1,65 • 1,25 = 2 ,06 В.
Пример 8.5. Произвести синтез приемного у:стройства , • обеспе­
чивающего обнаружение детерминированного сигнала по критерию
идеального наблюдателя. Определить необходимую величину поро­
гового уровня, ош'ибки первого и второго рода и общую ошибку
принятия решения, если задано следующее:
метод приема- непр~рывный в течение времени Тпр _ lC ;
величина полезного сигнала А= 8В ;
•
априорная вероятность присусrствия сигнала р (А) = 0 ,2 ;
помеха аддитивная типа белого га у ссова шума с удельной
в2
•
.
МОЩНОСТЬtо Ро = 50Тц И нулевым средним значением .
1
Решение . Отношение ·правдоподобия для · случая двухальтер-
нативной ситуации и непрерывного при€ма имеет вид
'
'
1
Тпр
Тпр
f I [y(t)] 2 dt- I [y(t) - x(t)]Zdt)
л=ехрl
Ро
=


Tnp
Tnp
Tnp
12iу(t) х(t) dt - i[х(t)]2dt)
·
12iу(t)х(t)dt- Ех)
= ехр ----------- = ехр -'--- -- --- ,
~
~
где Ех- энергия полезного сигнала.
Принимается решение о наличии сигнала, если
р (О)
л>ло=Р(А) ' '
или
Tnp
.2_ sу(t)х(t)dt> ln Р((АО))+Ех= ),; .
Ро
Р
Ро
о·
(8 .65)
В соответс-r:вии с (8.65), приемное , устройство должно содержать:
генератор сигнала х (t), множительное звено МЗ, интегратор И
и устройство сравнения се .
Так как генератор Г создает постоянный сигнал х (t) = А,
то в условиях данной задачи выражение (8.65) приобретает вид
Tnp
r
)d Ро 1 Р(О) АТnp
,
Jу(t t>2АnР(А)+-2
-
= ло·
о
Следовательно, при х (t) =А= const схема приемника уIJроща­
ется и приобретает вид, изображенный на рис. 8. 12 .
-11
се
Рис. 8.12
В реальных условиях; если
Решение х (t) напряжение, то величина
напряжения на выходе интегра­
тора
Тпр
Z=/и sу(t)dt,
о
где Ти -- постоянная времени интегратора.
Тогда пороговый сигнал должен быть соответственно
,,
Ро 1 Р(О) АТпр
ло=2АТ n-(A)+~-
-
ир
и
Принимая постоянную времени интегратора· Ти = !Ос, получим
л;= 2 .~~ 10ln4+2.\0 = О,8В.
Уславная вероятность ошибки первого рода - это вероятность
того, что при отсутствии полезного сигнала справедливо неравен­
ство (8.65) при у (t) = ~ (t), где ~ (t) - помеха.
238


Тпр
Интеграл f ~ (t) х (t) dt получен из суммы, у которой все ела­
о
гаемые подчинены нормальному закону распределения с нулевым
Тпр
средним. Тогда сумма, а следовательно, и величина "IJi = ~ f Цt)x(t) dt
Ро0
подчинены нормальному закону распределения с нулевым средним.
Тпр
В соответствии со значением дисперсии интеграла f у (t) х (t) dt,
о
полученым в параграфе ?, 11, дисперсия величины "IJi
•
2
2Ех
(J =-.
11•
Ро
•Таким образом, выражение для условной вероятности ошибки
первого рода можно представить в виде
~
2
а= sV_1 -2 ехр{- "1\ }d1J1• •
,
2ncr
2cr11
'•
1/1
1
(8.66)
Условная вероятность ошибки второго • рода - это вероятность
того, что при наличии полезного сигнала справедливо неравенство
Тпр
:
0 sy(t)x(t)dt<;In:(~; +~:-ел~,
о
где
у(t) =х(t)+Цt).
Рассмотрим случайную величину
Тпр
Тпр
1Jz= 2 1[х(t)+~(t)]х(t)dt=2 \[х(t)-]2dt+~х
РоJ
РоJ
Ро
о
о
Тпр
Тпр
Х Iе(t)х(t)dt= 2Ех+! 1~(t)х(t)dt= 2Ех+7J1.
J
Ро РоJ
Ро
.о
о
i
Таким образом, случайная величина 1J 2 содержит постоянную
.
2Ех
составляющую, равную -
, и переменную составляющую, распре­
Ро
"
" 2Ех
С
деленную по нормальному закону с дисперсиеи, равнои -Р . ле-
"
о
довательно, можно утверждать, что "IJz .... случаиная величина рас-
-
239


пределенная по нормальному закону с математическим ожиданием,
2Ех
•
р авным -
, и дисперсиеи
•
Ро
2
2Ех
(J7J• =- .
Ро
. Тогда
условная вероятность ошибки
представлена в виде
второго рода может •быть
(8 .67)
2Ех
·•12- -
Переходя к новым переменным z1 = 'IJf и z2 =
Ро , полу-
•
cr
cr
•
7J,
.
7J•
чим следующие выражения для_ ошибок первого и второго рода_:
(8.68)
Функции Лапласа, входящие в выражения (8.68). и (8.69), опре­
деляем по таблицам, приведенным в приложении 1.
·
ф[ln~+i;]= Ф (1,72) = 0,457;
·vЕ
,
2--3
Ро
Ф ['" {t!_:JJ = Ф (0,06) = 0,024.
-2Ех
-
Ро
Уславные вероятности ошибок первого и второго рода
1-
1
_
а=2 - 0,457=0,043;
~--:2+0,024=0,524.
-Общая ошибка принятия решения
Рош=р(О)а+р(А)~ =0,8: 0,043+0,2 •0,524-:- О,139.


Пример 8.6 (10]. На вход приемного устройства поступает
смесь полезного гармонического сигнала х (t) = А sin шоf с ампли­
тудой А= О,4В и аддитивной помехи, распределенной по цормаль­
ному закону с ну левым средним и среднеквадратическим значением -
а~ = О,2В. Произведено два
замера входного сигнала x(S
у(t) = x(t)+~u)• в мо-il)
менты времени t1 = -: 0 и
t2 = 3r0 (рис. 8.13), где Т0 -
t
2л:
,
= - - период сигналах (t).
(1)0
Априорные вероятности зна-
Рис. 8.13
ченийх1=ОиХ2=А=
= О,4В соответственно р (х1 = р (х2) = 0,5.
Найти апостериорные вероятности значений х1 = О и х2 = А
после указанных выше замеров.
Решение. Искомые апостериорные вероятности значений могут
быть определены по формуле Байеса (см. выражение (8_ . 18))
•
р (х1) w (У/х1)
•
_Р
(х1/У)= р(х1)w(У/х1)+ р(х2)w(У/х2) '
р (Х2) W(У /Х2)
Р(х2/У)= р(х1)w(У/х1)+ р(х2)w(У/х2) •
Условная плотность вероятности_ выборки У1 = у (t1), у2 = у (t2)
прих=х1=О ипри х =х2=А впредположении, что отсчеты
помех_~(t1) и -
~(t2) статистичес~s:и независимы, соответственно
w (У1У2) = w, (У1) w(У2) =
1
ехр
Xi
Xi
Х1 . (V2л:а2)2
1- у; +2у;\ ;
•
~,
2а~
_
w(У1У2)= w(Yi)w(У2)= 1 ехр
х2
Х2 Х2.
_ (V2л:а:)2
{- (Yi- А)2+2(У2 -:-- А)2}•
2cr~
Следовате.'lЬно, искомые апостериорные вероятности
(0)
,
ехр {- ~}
р у = { У;+У:1 + { (У1-А)2+(У2-А)2}=
ехр - -- l ехр - ~'-----'--'..,.-се-=---'--
•
2а; j
2а:
ехр (-1,63) -
-
ехр (-1,63) + ехр (-0,626) = О,2бВ;
241


ехр (-0,626)
= О732_
ехр (-1,63) + ехр (-0,626)
'
•
Пример 8.7 [10]. В приемнике, предн;азначенном для обнару•
жения сигнала и работающем по критерию Неймана-Пирсона, уста­
новлен порог л;, соответствующий значению вероятности ошибки
первого рода _(J. , = 0,05. Априорные вероятности значений х1 = О
.
Е
их2=Аравныр(О) =р(А) ==0,5. Величина р =~ =5. Опреде-
.
Ро
лить вероятность ошибки второго рода и общей ошибки . принятия
решения.
Решение. Из формулы (8.68) находим значение функции Лапласа
Значение аргумента этой функции (см. приложение 1) равно
1,645. Тогда
InР((АО)) = V 2Ех, 1,645~Ех = v10. 1,645-5 = 0,198.
р
~
~
Уславная вероятность ошибки второго рода
[
lnEJO.l - Ех 1
~=J_+ф р(А) Ро =1+ф(О,19~5)=0564.
2
V2 Ех
V10
'.
Ро
Общая безусловная вероятность ошибки
Рош=р(О)(J., +р(А)~=0,5(0,05+0,564)=0,307.
Пример 8.8 [10). Производится оценка амплитуды А сигнала
х(t) = А sin ш0t. Время наблюдения Тпр»Т0 = ~.
Найти каково
wo
должно быть среднее значение параметра Аср, чтобы относительная
погрешность оценки А
•
cr
'Уа= А= 0,01.
ер
242


Решение. При Тпр»Т0, Тпр= nT0, где п»I.
Тогда энергия сигнала
т.
т,
Ех •пS[Аsinшоf]2dt = А2пS,sin2шofdt =
о
о
~.
.
=
А2п5U- ; cos2шоf) dt = А2п1⁄2Т0= А2;пр .
о
Абсолютная погрешность оценки параметра определяется по .
формуле (8.59)
где
Тогда
VG10
а= Е'о
О'= v~Glo = V2-; 0,2 = 0,447 мВ.
пр
Следовательно
А а 0,447
ер=- = 001 ~0,45мВ.
"fa
'
Пример 8.9 [27]. ~ На
вход оптимального фильтра Норса посту­
пает сигнал Х (t) (рис. 8.14)
x(t) = {RICexp{- ti"c;т}} при t,;;;;T; . дt)
О
·
приt>Т.
Необходимо опреде:71ить передаточную
функцию фильтра и сигнал на его выходе
при условии, что в канале д ействует белый
гауссов шум.
,.
тt
Рис. 8.14
Решение. Передаточную функцию фильтра определяем с помо­
щью выражения (8.11).
Спектральная плотность сигнала определяется по формуле пре­
образования Фурье
ОО
(
т)
.
s.
ехр-RC
Sx (jш) =
x(t) ехр (- jwt) dt =
RC- Х.
00
Х 5ехр [Uc- jш) t] dt = е1х:_<~};2 .
243


Комплексно-сопряженная спектральная плотность сигнала-
s*(f )=ехр(jwT)
хw
1 + jwRC.
с точностью до постоянного множителя ь передаточная функ-
ция фильтра '
•
K(jw) . ьs;(jw)exp{-jwT} = i+jwRc ··
Такой передаточной функции соответствует схема обычной
интегрирующей цепочки R.C, вид которой 1 изображен 1:а рис. 8.15.
~
--
т
t
о---1т~---с11-0
о--------+----<О
Рис. 8.15
Рис. 8. 16
Сигнал на выходе фильтра
00
Х (t)вых = 2~ SSx (jw) К (jw) ехр {-jwT} dw
и аналитически описывается функцией
11 { T-t}
2RCexp -~
при t< Т.;
Х (t)вых =
1
{ t.,....т}
.
2RCехр -RC.приt>Т.
Графическое изображение выходного сигнала дано на рис. 8.16.
Пример 8.10 [27]. На вход оптимального фильтра Норса по­
ступает сигнал прямоугольной формы д.'Iительности 'to с амплиту-
,r(t)
J~--+---,
lft)
fазностныи Х(t)вш
Инте~раmор ......- - - -
каскаiJ
t
ЛIIHl/11 JOiltPЖK/1
Рис. 8.17
Рис. 8.18
дай А (рис. 8.17). Необходимо определить передаточную функцию
фильтра при условии, что в канале действует белый гауссов шум.
Решение. Спектральная плотность сигнала
.
OQ
-
'to
Sx(joo)= J" x(t)exp{-jwt}dt=AJ exp{-jwt}dt=
=
-
j~ (1-ехр {-jw't0}). •
244


Комплексно-сопряженная спектральная плотность
s; (jщ) = i (ехр {jщ,:о}- 1).
Передаточная функция фильтра
К (jш) = ьs; ,Uш) ехр (-jшТ) = ~~ (1 - ехр (-jш,:0}) =
• ~ (1-ехр(-jш,:0)},
]00
где В= ЬА.
Такая передаточная функция реализуется схемой, состоящей
•
•
фф
в
из интегрирующеи ячеики с коэ ициентом передачи, равным joo ,
линии задержки, задерживающей сигнал на время ,: 0, и разностного
каскада (рис. 8. 18).
КОНТРОЛЬНЫЕ· ВОПРОСЫ
1. В чем заключается сущность частотной фильтрации сигналов?
2. Как связано улучшение отношения сигнал/помеха при частотной ф»льт­
рации со временем обр.аботки сигналов?
3. В чем заключается сущность метода накодления и в каких случаях
целесообразно его применять? •
4. Из каких соображений нужно выбирать интервалы между отсчетами при
накопиrельном приеме?
5. Чем отличается метод интегрального приема от метода накопления и в
каких случаях он целесообраз ен?
,
6'. За счет чего достигается ' увеличение отношения сигнал/помеха при при-
менении .• методов накопления и интегрального приема?
.'
•7. В чем заключается сушность корреляционного метода приема и в каких
случаях целесообразно его применять?
8. Из каких соображений выбирается время сдвига при корреляционном
· методе приема?
.
9. Какие фильтры называются согласованными?
10. Для выделения каких сигналов применяются фильтры Норса?
11. Как связана переходная функция фильтра Норса с входным сигналом?
12. В чем сущность задачи проверки гипотез?
13. Что понимается под пространством наблюдения, пространством полез•
наго сигнала й пространством помехи?
14. Что поним ается под выборкой и объемом выборки?
15. Что такое функция правдоподобия и отношение правдоподобия?
16. Что такое ошибки первого и второго рода и как -они количественно
оцениваются?
17. Как количественно оценивается полная ошибка принятия решения?
18. Как зависят ошибки первого и второго рода от порогового уровня?
19. В чем состоит сущность задачи обнаружения сигнала?
20. В чем заключается сущность критерия максимума правдоподобия и како-
вы - его достоинства? .
.·1
21 . В чем закл19чается сущность критерия максимума апостериорной вероят­
ности и каковы его преимущества перед критерием максимума правдоподобия?_
22. В чем заключа'7тся сущность критерия идеального наблюдателя?
23. В чем заключается отличие критерия идеального наблюдателя от кри­
терия максимума апо<;териорной вероятности; что общего у этих критериев?
24 . В чем заключается сущность критерия Неймана
-
Пирсона и в каких
случаях целесообр азно этот критерий применять?
245


25. Что понимается под риском?
26. В чем заключается сущность критерия минимального риска?
27. В чем заключается сущность минимаксного критерия?
28. В чем состоит сущность задачи различения сигналов?
29 . Что понимается под идеальным приемником?
30 . В чем заключается сущность задачи восстан ~вления сигналов?
31 . Что понимается под фильтрами Колмо горова - Винера?
32. В каких случаях .возможна идеальная фил ьтрация с помощью фильтров
КоJjмогорова - Винера?
Глава IX
ИНФОРМАЦИОННАЯ ОЦЕНКА
АВТОМАТИЗИРОВАННЫХ СИСТЕМ КОНТРОЛЯ
И УПРАВЛЕНИЯ
9.1. Общая характеристика
автоматизированных систем контроля
и управления (АСКУ)
В последнее время для получения информации о положении
и состоянии объектов в пространстве и времени все более широкое
применение находят сложные системы контроля и управления.
Отдельные сравнительно простые автоматы на базе вычислитель­
ной техники объединяются в большие автоматизированные системы
контроля и управления [16].
К таким системам в первую очередь следует отнести автомати­
ческие системы стабилизации летательных аппаратов, технологиче­
ские и организационно-экономические автоматизированные системы
управления нефтяными районами, энергосетью страны, цехами,
предприятиями, фирмами, отраслями народного хозяйства, страной
в целом .
Все эти системы не только имеют множество сложных устройств
и органов, но и высокий уровень организации, сложньiе функцио­
нальные взаимосвязи устройств и органов.
Для того чтобы правильно судить о ходе процесса контроля
и управления , а также о состоянии и положении контролируемого
и управляемого объекта, необходимо контролировать большое число
параметров различной физической природы. Технические процессы
контроля и управления сложными объектами тесно связаны между
собой и не всегда контроль и управление ими можно поручить
нескольким действующим независимо операторам и автоматам.
Поэтому большое число измерительных и управляющих приборов
приходится сосредоточивать в одном месте . Применение централи­
зованных автоматизированных систем контроля · и управления из­
бавляет от необходимости пользования показаниями множества
приборов и транспарантов.
Основное назначение АСКУ - правильно определить в течение
заданного интервала времени состояние и положение объекта
246


и управлять им с учетом состояния . В случае появления отклонений
или неисправностей АСКУ должна обеспечивать обнаружение от­
клонения или отказа места неисправности с заданной точностью.
Все чаще в последнее время . АСКУ используются также для
прогнозирования работоспособности и положения объекта в целом
или его функциональных элементов. В этих · случаях она должна
предсказывать поведение параметров или объекта в целом на за­
данное время вперед.
АСКУ позволит кроме эффективного контроля и управления
вести оптимизацию этих процессов, а также накапливать информа­
цию для прогнозирования отказов системы контроля и управления
объектом.
Процесс . контроля и управления сложными . объектами можно
рассматривать как процесс формирования и регулирования физиче­
ски независимых или взаимосвязанных процессов, происходящих
одновременно либо с некоторым сдвигом во времени. Техническую
систему контроля и управления сложными объектами необходимо
в этом случае рассматривать как многомерную систему.
По целевому назначению АСКУ можно разделять на системы :
стабилизации, программного управления, следящие, оптима.тrьные
и смешанные.
Многомерные АСКУ стабилизации предназначены для одновре­
менного поддержания с определенной точностью многих выходных
параметров. Многомерные АСКУ программного управления пред­
назначены для автоматического управления несколькими физиче­
скими процессами по заданной программе с определенной точностью.
Многомерные следящие АСКУ предназначены для одновременного
воспроизведения всеми выходными параметрами неизвестных заранее
различных законов управления. Оптима,'!Ьные многомерные АСКУ
имеют оптимизатор, позволяющий получать оптимальные значения
выходных параметров. Многомерные смешанные АСКУ могут одно­
временно следить, стабилизировать, управлять по программе и опти­
мизировать множество параметров.
Многомерные АСКУ - это сложные информационные системы,
характеризуемые интенсивными потоками информации.
В связи с этим представляет интерес произвести оценку состо­
яния и функционирования АСКУ с использованием положений
теории информации.
9.2 . Оценка степени неопределенности состояния
объекта контроля
При контроле и управлении ?бъект можно рассматривать как
многомерную дин~мическую систему, на которую наряду с законо­
мерными и случаиными управляющими воздействиями или сигна­
лами контроля · влияют различные случайные помехи в виде внеш­
них и внутренних возмущений. Состояние такой системы определя­
ется некоторыми выходными параметрами, определенным образом
247


связанными с воздействиями на систему через вектор-оператор
системы.
В связи со случайным характером различных воздействий и воз­
мущений выходные параметры объекта будут также случайными
функциями времени.
Полными вероятностными характеристиками как выходных пара­
метров, так и самого объекта, являются дифференциальные много­
мерные законы распределения, а также уравнения для определения
вероятности состояния выходов дискретных систем при ра з личных
вероятностях состояния входных сигналов. Однако . они не дают
интегральной качественной и количественной оценки неопределен­
ности объекта при контроле и упр_авлении, а также интегральной
оценки изменения неопределенности об1,екта в процессе контроJIЯ
и управления. Этот недостаток устраняется при использовании
информационных характеристик объекта в процессе контроля
и управления.
Для интегральной оценки неопределенности объекта с непре­
рывным множеством состояний в процессе контроля и управления
удоб но применять дифференциальную энтропию состояния объекта
00
"
Н(Х)= -
S•.. Sw(Х)log2w(Х)dX,
(9.1)
где Х(х1, х2,... ,
Хт) - вектор выходных параметров (координат)
объекта.
При независимых выходных координатах энтропия объекта равна
сумме частных энтропий, обусловленных неопределенностью от­
дельных координат
т
Н(Х)= 1; Н(xt}.
i=i
(9 .2)
Энтропия объекта -с двумя дискретными состояниями (исправное
и ·неисправное) может быть представлена также в виде
· Н (Х ) =-{Р о.и lo g2 Po . и + (1-Ро:и) log2 (1-Ро.и)},
(9 .3)
где Ро .н - вероятность исправного состояния объекта ,
В ероятность исправного состояния объекта связана с много­
мерной плотностью распределения вероятности w (Х) соотношением
Ро.н = s... sw (Х) dX,
(9.4)
Vx
где Vх - область допустимых значений вектора Х.
Случайный разброс параметров объекта обусловлен большим
количеством факторов технологического и эксплуатационного харак­
тера. Среди этих факторов обычно трудно выделить преоблада-
248 .


ющий. В такой ситуации согласно центральной предельной теореме
Ляпунова закон распределения параметров очень бли зок к нор­
мальному . Ош,1раясь на это положение, закон распредел е ния вы­
ходных параметров w (х;) в большинстве случаев можно принять
нормальным
(9.5)
где т 1 и а1 - математическое ожидание и среднеквадратическое
отклонение параметра х1 .
Тогда многомерная плотность распределения вектора Х опре­
деляется соотношением [14]
(9.6)
Г1т
гдеD=
1 Г12
Г21' 1
Г2т - с;шределитель т-го порядка коэффи­
циента корреляции;
Гт1 Гт2
1
D1k- алгебраическое дополнение элемента rik в определителе D.
При статистической незцвисимости координат xi выражение
(9.6) приводится к виду
т
w(Х)= .
•
1,
ехр {- ; "1 (xk -:,)2}.
0'10'2 ... О'т У (2л:)m
~ crk
k=I
(9.7)
Энтропия выходных параметров при · нормальном законе рас­
пределения последних
откуда .среднеквадратическое отклонение параметра
2h(x1)
.al """' V2nё •
(9.8)
При статистической независимости выходных параметров объектов
т
Ро.и ... ГJ Риl,
l=- 1
(9 .9)
где Риt - вероятность нахождения в пределах допуска i- го выход•
н ого параметра.
9 б-i71


Тогда с учетом (9.5), (9 .8) и (9.9) получим
(9.10)
Выражение (9.10) показывает зависимость вероятности исправ­
ного состояния объекта от энтропии выходных параметров. При
наличии статистических зависимостей между выход1-1ыми парамет­
рами данное выражение оказьтается достаточно сложным и здесь
не приводится.
9.3 . Информационная оценка точности результата контроля
Контроль - это одна из разновидностей процесса получения,
преобразования, передачи и накопления информации. Под контро­
лем во всех случаях практики понимается процесс получения
человеком или машиной информации о действительном состоянии
объекта контроля.
Информация, получаемая в результате контроля, количественно
оценивается уменьшенцем энтропии от значения Н (Х), которое
характеризует неопределенность объекта контроля перед контро ­
лем, до значения Н (Х!У), которое остается после получения ре­
зультата контроля У, т. е. как
!= Н(х) - Н(Х!У).
(9.11)
Апостериорная энтропия Н (Х/У) определяется распределением
вероятностей погрешностей контроля. Так как апе5стериорная энтро­
пия Н (Х!У) обусловливает уменьшение количества информации,
получаемой при контроле, то говорят, что погрешности контроля .
оказывают дезинформационное действие.
.
Дезинформационное действие погрешности в общем случае
определяется законом распределения последней, причем при раз­
личных законах распределения получаются различные 31:1ачения
Н (Х!У) даже в ·том случае, если дисперсии погрешностей оди­
наковы.
Так, если погрешность распределена равномерно в пределах
+Л2 + -Лz, то энтропия погрешности (см. гл. IV, пример 4.4)
Н(Х/У) = log22Лz.
(9.12)
Дисперсия погрешности с равномерным распределением
дz
2
2
r2Idf1z
(Jz= Jz2Лz z=3 •
(9.13)
-дz
250


Подстщшв значение Л, из (9.13) в (9.12), получим
.н(z) =н(Х!У) = log22Vзaz.
(9.14)
Если погрешность распределена по нормальному закону, то
• энтропия, как известно (см. гл. IV, пример 4'.3),
Н(z) •Н(Х!У) = log2V21te d2•
(9.15)
Из сравнения выражений (9.14) и (9.15) видно, что при равных
а2 дезинформационное действие нормально распределенных пог­
решностей больше, чем равномерно распределенных. В связи с этим
указано (51] на несовершенство используемых до настоящего вре­
мени характеристик точности контроля и введено понятие так
называемого энтропийного значения погрешности контроля. В каче­
стве энтропийного значения погрешности принято значение погреш­
ности с равномерным законом распределения, которое вносит такое
же дезf!нформационное действие, что и погрешность с данным
законом распределения вероятностей.
.
Энтропийное значение погрешности Лэ с произвольн_ым законом
распределения w (z) может быть получено из равенства
00
log 22дэ =
-
Iw(z) log2w(z) dz = Н(z),
откуда
(9.16)
Энтропийное значение погрешности связано со среднеквадрати- ·
ческим значением соотношения
(9.17)
где kэ - энтропийный коэффициент, величина которого определя­
ется законом распределения погрешностей.
Наибольшей энтропией при заданном значении дисперсии обла­
дает нормальное распределение [23], поэтому для него энтропийный
коэффициент kэ наибольший и равен 2,07. Любое другое распре­
деление имеет меньшее значение коэффициента kэ, В частности,
для равномерного распределения kэ = 1,73 (51].
Следует заметить, что изложенное относится к случаю , когда
контроль параметров осуществляется по критерию количественной
оценки, т. е. по существу сводится только к измерению величины
, параметров. В тех же случаях, когда контроль осуществляется по
допусковому критерию, 1 т . е. когда целью контроля является
установление, находится или не находится величина к9нтролируе­
мого параметр~ в пределах допуска, энтропия погрешности конт,
роля должна определяться соотношением
fi (Xf,Y) = -
{Рош log2 Рош + (1- Рош) log2 (1 - Рош) }, (9.18)
9*
251


где Рош - общая безусловная вероятность ошибочного решения
относительно состояния контролируемого параметра, определяемая
выражением (8.28).
Ошибки первого и второго рода, входящие в выражение (8.28),
можно определить соответственно формулами [53]:
Х1
Хг-Х
ct
Х1-=Х
а=I w(х)[I w(~)d~]dx+Iw(х)[~ w(~)d~]dx;
-со
х1 -х
Xz
х,..;.;;;.,х
Xz
Х1-Х
~=Iw(х)[JwЩd~+
..
J, w (~) d~] dx,.
х,
Х.в-Х
где х1 и х2 - допуски на контролируемый параметр; w (х) и w Ю -
' законы распределения вероятностей контролируемого параметра х
и погрешностей ~ контроля.
Очевидно и в этом случае может быть введено энтропийное
значение погрешности контроля, которое по дезинформационному
действию эквивалентно погрешности Рош• Причем величина этой
погрешности может быть определена по формуле (9.16), если в по­
казатель степени числа 2 подставить энтропию, определяемую
выражением (9.18).
9.4 . Информационная способность устройства контроля
и информационный к. п. д. процесса контроля
Под информационной способностью устройства контроля можно
понимать эквивалентное число различимых интервалов, определяю­
щее получаемое от устройства контроля количество информации
[5 lj.
Таким образом, согласно оnределению информационная 'способ­
ность устройства контроля N может быть определена из соотно-
шения
•
(9.19)
где / - количество информации, получаемой при контроле.
Из (9.19) полу~им следующее выражение для информационной
способности:
(9.20)
Если во всем диапазоне измерений энтропийная погрешность
постоянна, то количество информации / определяется формулой
(9.11). Если же Лэ переменна, то в формулу (9.11) в качестве
второго члена должно быть подставлено средневзвешенное, в соот­
ветствии с распределением плотности w(х), значение условной
энтропии
Нср (х/у) = -
fw(х)Н(х!у) dx.
(9.21)
252


В реальных условиях контролируемый параметр х подвержен
различным внешним случайным возмущениям. Имеющиеся в резуль•
тате этого флюктуации параметра х характеризуют обычно средне­
квадратическим значением о-е.
По аналогии с энтропийной погрешностью устройства контроля
можно пользоваться понятием энтропийной: погрёшнбсти параметрах
д~ = kea~,
(9.22)
гдеk~ -
энтропийный коэффициент, ве.пичина которого определя­
ется законом распределений флюктуаций w (~) .
Следовательно, можно утверждать, что контролируемый пара­
метр х1 , поступающий на вход устройства контроля, несет коли­
чество юtформации
..
lx= Н(х) - Iw(~)log2w(~)d~
и характеризуется информационной способностью
N -2/х
х-
.
(9.23)
(9.24)
Вследствие того, что устройство контроля обладает -погрешно­
стями, количество информации /1 , получаемое на выходе устрой­
dтва контроля, меньше информации !х, которую несет параметр х.
Вследствие этого процесс контроля сопровождается потерей инфор­
мации
(9.25)
Величина Л/ является информационной оценкой совершенства
процесса контроля. Обычно пользуются от.носиtельной величиной
[51]
получившей наименование информационного к. п. д. процесса
контроля.
В формулах (9.25) и (9.26) количество информации /1, реально
получаемое в результате контроля, определяется суммарной по­
грешностью ю;>Нтролируемого параметра и устройства контроля.
Однако в подавляющем большинстве практических случаев погреш­
ность, вносимая устройством контроля, сущест13енно превышает .
флюктуации контролируемого параметра. Поэтому в суммарной
погрешности слагаемым, обусловленным флюктуациями контроли­
руемой величины, можно пренебречь с сохранением весьма высо­
кой степени точности.
253


_
9.5. Пропускная способность процесса контроля
Пропускная способность процесса контроля Vк является дина­
мической характерис:гикой и выражает максимально возможное
количество информации, которое можно получить в процессе конт­
роля в единицу времени [52],
(9.27)
где !макс - максимальное количество информации, которое ' можно
получить в среднем при контроле одного объекта; 'Гк - математи­
ческое ожидание времени, затрачиваемого на контроль одного
объекта .
Если объект контроля имеет один параметр или несколько па-
раметров, контролируемых параллельно, то Тк определяется вре­
менем контроля одного параметра.
При последовательном контроле нескольких параметров объекта
контроль обычно прекращается после обнаружения первого отказа.
В связи с этим при последовательном контроле время контроля
будет определяться вероятностью обнаружения отказов отдельuых
параметров объекта
т
7\ = ~ Pi-ltкi,
(9 .28)
i=l
где tкi - время контроля i-го параметра объекта; Pi- l
-
априорная
вероятность того, что при контроле (i - 1)-го п араметра отказ
объекта не будет обнаружен.
При заданном законе распределения погрешностей контроля
количество информации, получаемое в процессе контроля, будет
максимально в случае статистической независимости и при равно­
мерном законе распределения контролируемых параметров. В этом
случае количество информации, по,;1учаемое при контроле,
(9.29)
гдех;,иXi2-
пределы изменения i-го контр0лируемого параметра.
Подставив из (9.28) и (9.29) в (9.27) значения f'к и /макс, по­
лучим
(9.30)
254


Если . при контроле решается двухальтернативная задача, то
максимальное количество информации будет получено при одина­
кЬвой вероятности «норма» и «не норма» контролир уемых парамет­
ров. При этом .априорная вероятность контролир уемых параметров
равна 1 дв, ед. и выражение (9.30) принимает вид
1
тlog2Л
Vк=----3-
т
~ Pi~ltкl
i=l
(9. 31)
Из выражений (9.30) и (9.31) видно, что параметр Vк является
. характеристикой
быстродействия . и точности процесса контроля.
При заданной пропускной способности · контроля точность контроля
может быть повышена в обмен на снижение быстродействия;
и наоборот.
9.6. Энтропия и информация
в системах автоматического управления
Понятия энтропии и информации являются удобными обобщен­
ными характеристиками при описании сложных систем автоматиче­
ского управления.
Любой процесс, подлежащий автоматическому управлению,
можно охарактеризовать совокупностью координат х1 , х2 , . • • · ,
хт.
Эти координаты практически всегда имеют разброс относительно
номинальных значений. Этот разброс обусловлен многочисленными
факторами и имеет случайный характер. Для оценки неопределен­
ности процесса может быть использована энтропия распределения
вероятностей координат управляемого процесса [50], выражаемая
такой же формулой, что и энтропия, рассмотренная ранее в систе­
мах передачи информации,
..
..
Н(Х)=
-
I•••I w(Х)1og2 w (Х) dX.
Несмотря на общность математических выражений, энтропия
процесса отличается от информационной энтропии по существу .
В систеl'4ах передачи информации после получения информации
энтропия объекта уменьшается. Энтропия же процесса после по­
лучения информации о его состоянии наблюдателем не меняется.
Следовательно, энтропию распределения вероятностей координат
процесса нельзя изменить~ измерением этих координат, для изме­
нения энтропии процесса необходимо управление или восстанов­
.11ение.
Если проводить аналогию с процессом контроля параметров,
как процессом передачи информации, то введенное выше понятие
энтропии процесса соответствует при контроле энтропии парамет-
255


ров за счет их флюктуации вследствие внешних возмущающих
воздействий.
.
Энтропия процесса может быть изменена только за счет воз­
действия на этот процесс. Основным назначением автоматизиро,
ванного управления процессом является умеuьшение отклонений
процесса от заданного, уменьшение неопреде.тtенности протекания
процесса, т. е. уменьшение энтропии процесса .
• Для иллюстрации
вышеизложенного . рассмотрим следующий
пример [50].
,.
Генератор переменного тока и_меет при некоторых условиях
разброс налряжени.я а011 = 50 В и частоты а01 = 50 Гц. При вклю­
чении системы регулирования нацряжеuия и частоты разброс
уменьшается до a1v = 2 В и а11 = 1 Гц . Найти уменьшение энтро-
С11сrпема по11у!./енuя • 8ьi'-111t1111iпельное • Исполн11тельная
11нrрормаq1111 : ycmpoucm8o :
.с11стема
•!!пра8ляемыи
llp01j8CC
Рис. 9.1
пии координат процесса при переходе от неуправляемого процесса
к управля_емому при условии независимости и нормального рас­
пределения вероятностей координат v и f.
Общее уменьшение энтропии будет равно сумме уменьшений
энтропий координат
•
-
•
.
-
Н0-Н1= Но(v)-Н1(v)+Но(f)-If1(f)=
= log2~и+ log2 aof.;,, -Iog225 + - log2 10 = -7,97 дв. ед.
а lt1
аlf
Для процессов управления характерны замкнутые контуры
циркуляции информации. Схема такого контура изображена на
рис. 9.1. Параметры процt;1сса х1 , х2 , .•• , хт измеряются системой
получения информации . Полученная информация обрабатьrвается
вычислительным устройством. Обработанная информация поr;::гупает
в исполнительную систе~у, форму.тtиру19щую упр,11-вляющие воз­
действия z1, которые воздействуют на управляемый процесс в на­
правлении уменьшения его энтропии.
Управление процессом может быть непрерывI:Jьп-1 или дискрет­
, ным во времени. Ограничимся рассмотрением дискретного уцрав­
ления, характерного для контуров • с цифр0выми управляющими
машинами [9, 32, 50].
• Управляющие возд~йствия поступают на управляемый процесс
через интервалы времени 't .
Пусть до передачи управляющих Б,Q;i!Ае.~ствий началыщя энтро­
пия проuесса равна Но (Х). После включения системы управления
256


энтропия процесса уменьшается до значения НЕ (Х), определяе­
мого во:щействием раз.личного рода возмущений в контуре упраа­
ления (ftЬгрешностей измерителей, преобразователей и исполни­
тельных устройств, внешних возмущений и пр.). Количество
информации, внесенное при этом в контур управления,
/(Х)==Н0(Х)-НЕ(Х).
(9.33)
Этот процесс будет происходить за определенное количество
тактов работы устройства управления. После подачи каждого
управляющего воздействия энтропия процесса уменьшается на
определенную величину. В интервалах между воздействиям и энт­
ропия процесса · растет.
Количество информации . Ik (Х), вносимое в контур управления
в k-м rакте работы,
Ik(Х) =нk-1(Х)~нk(Х)+лнk(Х),
(9.34)
где Hk-l (Х)- энтропия процесса в конце (k - 1) такта работы;
Hk (Х)-энтропия процесса в конце k-го такта работы; · ЛН1, (Х)-­
прирост энтропии процесса за интервал дискретности 't вследствие
действия возмущений.
Если за время переходного периода, в тече-ние которого энтро­
пия процесса уменьшается от значения -Н0 (Х) до значения
н~ (Х), совершено п тактов работы устройства управления, то
общее количество информации, внесенное в контур управления
за это время,
~
п
fпер (Х) == ~! [Hk-1 (Х) - Hk (Х)] + ~! ЛН,, (Х).
В установившемся режиме будет соблюдаться условие
lfk-1 (Х) = Hk (Х);
Ik (Х) = лнk (Х),
(9.35) .
(9.36)
т. е. количество информации, передаваемое через контур управле­
ния за интервал дискретности, будет · равно приросту энтропии
процесса за счет действия возмущений.
•
Суммарный прирост количества информации за врем~ переход­
ного периода равен суммарному уменьшению энтропии процесса
п
l (х) = ~ [Hk-1 (Х)- Hk (X)j.
k=l
'
(9.37)
Характер изменения энтропии процесса Х в переходном и уста-
новившемся режимах изображен на рис. 9.2.
·•
Рассмотрим следующий пример [50].
257


Предположим, что необходимо построить систему стабилизации
11етательного аппарата , в контур которой включена ЦВМ, обеспе­
чивающая в стационарном режиме:
точность стабилизаций угла тангажа ач, = 1°;
точность стаби..шзации угла рыскания а~ = 0,5°;
точность стабилизации угла вращения аа. = 0,3° ;
точность стабилизации дальности полета ан. = 50 м;
. точность
стабилизации ЦМ по нормали ах= 30 м .
Требуется, чтобы система стабилизации после ее включения
выводила объект в указанный стационарн'ый режим не более чем
за 30 с при следующем начальном разбросе координат (до вклю­
чения системы):
н
t
Рис . 9.2
<Jоч, = 8°; <Jo~ = 10°; аоа. = 20°;
<Jон.= 3км; <Jox = 2км.
В случае внезапного прекра­
щения управления в стационар­
ном режиме на 1 с, отклонения
нарастают до следующих значе-
ний:
'
а~= 1,5°; а~= 5°; а~= 10°;
а~=55м;а;=33м.
Для простоты закон распре­
деления вероятностей выходных
координат принимается нормаль-
ным, координаты - незав11симы­
ми, инт ерв ал ди с кретности управления;-- одинаковым для всех коор­
динат и равным 1: = 1 с, · а также то, что сами координаты хра­
нятся в специальных запоминающих устройствах и в примере не
рассматриваются.
1) Определить количество информации, которое необходимо
передавать чере з полный многомерный контур управления в ста­
ционарном режиме в течение интервала дискретности .
2) Оценить общее количество информации, которое необходимо
определить через контур управления в переходном режиме. ·
3) Оценить нижнюю границу емкости памяти ЦВМ.
Так как количество _информации, передаваемое через контур
управления за интервал дискретности в установившемся режиме,
равно приросту энтропии процесса за счет действия возмущений,
то ответ на первый вопрос будет следующим:
,
'
'
'
,
•
,•
a<j,
а~
а"'
ан,
ах
lk=log2--+ log2- +log2- + log2- + log2- =
cr <j,
•
а~
аа.
ан. ·
ах
= log21,5 +log210 + log233,3 + log21,1+Iog21,1 = 9,239 дв. ед.
Общее количество информации, передаваемое через контур
управления в переходном режиме, равно сумме общего изменения
258


энтропии процесса за счет введения · управления и прироста энт­
ропии за счет действия возмущений. Так как за время п ереход­
ного периода совершается т == 30 тактов управления, то
Нпжняя граница емкости памяти ЦВМ
Q 1пер_ 298,87_:_gg
>т-за -
, дв. ед./такт .
9.7. Оценка эффективност и АСКУ
С информационной точки зрения эффективность АСКУ целесо­
образно оценивать количеством информации, получаемой системой
в определенный интервал времени с учетом экономических затрат.
В связи с этим эффективность АСКУ следует оценивать величиной
к-1(Х)
-
с'
(9 .38)
где / (Х)- количество информации, получаемое · АСКУ в опреде­
ленный интервал времени; С - стоимость АСКУ.
Неудобство к ритерия эффективности , выражаемого . формулой
(9.38), заключается в его ненормированности. Критерием, лишен­
ным данного недостатка, является обобщенный статистический
критерий [49, 54, 55, 56], выражающий отношение эффективностей
реальной и потенциальной АСКУ
Э.Кр
Кп'
(9.38)
где Кр - эффективность реальной АСКУ; Кп - эффективность
потенциальной (идеальной) АСКУ . •
Потенциальная АСКУ обеспечивает получение максимально
возможного количества информации. Это будет иметь место при
максимуме априорной и минимуме апостериорной энтропии объекта
контроля. Следовательно, для потенциальной системы должно
быть равенст~о ап риорных вероятностей контролируемых параметров
i р (х1) =q(~;),
где р (х';) - вероятность состояния «норма» i-го параметра*;
q (xi) - вероятность состояния «не норма» i-го параметра .
* Имеется . в виду, что практически р (xi):), . 0,5.
-259


При этом априорная энтропия объекта будет равна
_т
Н0(х) = _:_ ~ [р(xi) log2р(х1)+q(х1)1og2q(х1)]=тдв. ед. (9.39)
1=1
' Решающее устройство потенциальной СI:J t;;темы работает по кри­
терию ·идеального наблюдателя, минимиз ирующего суммарн у ю
ошибк у принятия решения
(9.40)
где а 1 и ~1 - ошибки первого и второго рода.
В результате осуществления контроля потенциальная система
переводит состояние объекта в некоторое более определенное состо­
яние, характеризуемое в соответствии с формулой Байеса апосте­
риорной вероятностью исправного состояния
.
p(x1)[1-aJ
.р (Х/У1) = Р (х1) (1- aJ + q(x1)~1
(9.41)
и энтропией
Н1(х1)= -
р (х/уд log2 р (х/у1) - [1 -р (x/y1)J log2 [ 1-р (х/уд],
(9.42)
Общее количество информации, получаемое потенциальной
системой
т
т
fп (х) = 1макс=~ Н0 (х1)- ~ Н1.(Хд,
i= -l
i=l
• (9.43)
Потенциальная система является идеальной не только в смысле
максимума количества получаемой информации, она является
идеальной также , в смысле простоты, так как в ней не предусмо­
трено резервирования, доработок для получения нужного быстро­
действия, объема, веса и т. п.
Следовательно, потенциальная система при выполнений указан­
ных условий будет иметь минимальную стоимость С~шн•
Эффективность потенциальной системы оценивается коэффици­
ентом
Математическая модель реальной АСКУ строится аналогично
математической модели потенциальной системы, однако при этом
принимаются реальные законы распределения вероятностей состо­
яний контролируемых параметров и различные алгоритмы работы
решающи4 устройств, обусловленные выбранным критерием оценки
параметров.
260


Общая стоимость С информации / Р с учетом затрат на получение
нужной цадежности, быстродействия, объема, веса и т . п . •в реаль­
ной А~КУ
т
О=~Ci>Смин•
(9.45)
i-=1
Эффективность работы реальной АСКУ
IP
Кр= с< Кп.
(9.46)
Достоинством обобщенного статистического критерия (9.38) ,
полученного на основе потенциальной и реальной математических
моделей АСКУ, является полная наглядность, сравнительная про ­
стота и общность, позволяющая одним числом харqктеризовать
как всю систему, так и по частям, включающим сложные и про­
стые уtтройства . При этом диапазон изменения критерия для прак­
тических систем
(9.47)
Несовершенная АСКУ имеет Э, близкий к нулю, ,совершен­
ная - к единице. Дезинформирующая АСКУ имеет Э меньше ну ля .
9.8. Информационное _ обоснование
оптимального алгоритма контроля
и поиска неисправностей
Всякий сложный объект можно представить в виде системы,
состоящей из нескольких динамических последовательно соединен­
ных звеньев, которые, в свою очередь, состоят из элементов.
При эксплуатации таких систем раз{!ичают два специфических
алгоритма [57]:
•
алгоритм контроля, предназначенного для установления факта
исправности или неисправности системы;
алгоритм поиска неисправностей в случае установления факта
неисправности системы.
Определение оптимальных алгоритмов контроля и поиска не­
исправностей в системе можно произвести на основе теории
информации, теории игр, теории массового обслуживания и теории
последовательного анализа Вальда.
При определении указанных алгоритмов на основе теории инфор -
мации можно использовать два различных критерия :
•
критерий · максималЬIJОГО количества и!iформации в единицу
времени, с применением которого контроль и поиск неисправности
начинается с опыта, дающего максимальное количес'ГВО информа­
ции в единицу времени;
критерий максимальной ценности информации , с применением
которого контроль и поиск неисправности начинается с опыта,
дающего максимальную ценность информации.
261


Критерий максимального количества информации целесообразно
использовать при автоматическом контроле и поиске неисправ­
ностей.
Критерий максимальной ценности информации следует исполь­
зовать при разработке инструкций по эксплуатации оборудования
обслуживающим персоналом.
Рассмотрим методику . выбора оптимальных алгоритмов контроля
и поиска неисправностей в системе, основанной на применении
критерия максимального количества инфqрмации. При этом пред­
полагается, что система контроля работает без ошиб<Эк.
Неопределенность состояния контролируемой системы до начала
контроля и поиска неисправностей характеризуется ее полной
энтропией Н (Х).
.
Процесс контроля представляет собой сложный опыт Ak, состоя­
щий не более чем из k испытаний а.
Среднее количество информации, получаемое при каждом испы­
тании ai относительно состояния системы Х,
!(ai, Х) = Й(Х)-На.(Х),
1
где На/Х)=р(Ai,)Нлi,(Х)+ ···+Р(Ai1)Hлii(Х)- средняя
условная энтропия состояния системы после осуществления опыта
ai; р (Ai1) - вероятность отде.'!Ьных исходов Aii опыта ai.
Когда исход сложного опыта Ak однозначно определяет состо­
яние системы, характеризуемое вектором Х, тогда энтропия системы
после осуществления этого опыта Н (Х) = О, а среднее количество
информации о состоянии системы, полученное рри осущест13лении
опыта Ak,
l(Ak, Х) =Н(Х).
Когда исход сложf!ого опыта не полностью раскрывает работо­
способность состояния системы, тогда
Основа оптимального алгоритма контроля состоит в выборе
такого минимального количества опытов а, являющихся состав­
ляющими сложного опыта Ak, каждый из которых ·давал бы мак­
симальное количество информации.
Процесс контроля должен вестись по алгоритму, составлен­
ному на основе критерия
f(at, Х) = Н(Х) - Hai(Х)= !мака,
т. е. процесс контроля должен начинаться с опыта, дающего
максимальное количество информации.
После осуществления опыта а1 система будет обладать энтро­
пией некоторого нового состояния
На1 (Х).
262 ,


Предположим, что состояние системы до начала процесса конт­
роля характеризуется состояниями: система исправна с вероят ­
ностью Р; система неисправна с вероятностью 1- Р.
Кроме того, для упрощения задачи, а также с . учетом опыта
эксплуатации предположим, что система не работает вследствие
отказа только одного элемента из т, «соединенных» цепочкой,
имеющего условную вероятность отказа q1,, определяемую на основе
статистических сведений о надежностч элементов.
•
Таким образом, отказы элементов системы предполагаются не-
совместимыми, а для полной группы элементов справедливо равен­
ство (при наличии отказа)
Энтропия системы
т
Н(Х)= -
\Рlog2Р+(1-Р) log2(1-Р)+(1-Р) ~ qklog2qk).
k=I
(9.48)
Предположим, что при осуществлении опыта а1 контролируется
п элементов системы, а также , что имеется два исхода опыта:
контролируемая часть системы исправна (вероятность этого
п
исхода [1- (1- Р) ~ qk]);
k=I ,
контролируемая часть системы неисправна (вероятность этого
п
исхода (1--;-Р) ~ qJ
k=I
Средняя условная энтропия состояния системы после осуще­
ствления перв9го оп~1та
п
На,(Х)= -
{Р log 2 P + (1-Р) log2 (1-Р) + (1-Р) ~qk Iog2qk-
•
i=I
п
п
- [1--: ~
- qk(I-P)] log 2 [l- ~ qk(I-P)]-
k=J
k=I
п
п
- ~ qk (I-P)Iog2 (1-P)~ qk} ·
(9.49)
k=I
k=I
Количество информации о состоянии системы , получаемое при
осуществлении опыта
п
п
!(а1, Х)=- { (1- ~ qk(l-P)]log2 [l- ~
qk(I--P)J+
k=I
k=I
п
п
-
+ [~ qk (1-Р)] Iog2 [~ qk (1-P)]j .
k=I
k=I
(9 .50)
Задача со с тоит в том , чтобы при первом этапе контроля выбрать
такое количество контролируемых элементов , · при котором коли­
чество пол у чаемо й информации было бы максимальным .
263


п
Из . формулы (9.50) ви,цно, что / (а1, Х) зависит от Р и ~ qk
k=~
и ЯJ:!Ляется максимальным при выполнении условия
или
п
11
~
1
!
~q k= 2(1-Р).
k=I
(9.51)
Рассмотрим, как изменяется п в зависимости от вероятности
исправного состояния объекта Р при соблюдении условия (9.5 I).
При Р=О
При равенстве
1
== т получим
п
должно быть справедливо равенство ~ qk = 0,5.
.
k=I
вероятностей отказов элементов q1 = q2 == • • , qm =
(9.52)
т. е. первым этапом контроля должна быть охвачена половина
элементов объекта.
С ростом Р растет п. При Р=0,5 п=т,т. е. контролем
должны быть на первом этапе охвачены все элементы. С даль-
о45ffJ_
Р!!1..;; 9:З
п
нейшим ростом Р увеличивается ~ qk. Но
k=I
п
так как в реальных услGвиях сумма ~ qk
.,,.~---·
----
/--
k=I
не можеr бr:;rrr:i·'больше единицы, то при Р >
_____ ,,,--
-
п
-
-- ;. 0,5 принимается ~ qk = 1 (рис. 9.3) или
k=I
n=m.
Так как для реальных систем вероятность исправного состоя­
ния системы Р > 0,5, то при выборе первого опыта необходимо
алгоритм построить так, чтобы охватить контролем т = п элемен:
тов системы.
Если Р < 0,5 (что практически маловероятно), то первым этапом
контроля охватываются не все элементы объекта. Тогда следую­
щий опыт выбирается на основе того же критерия, но с учетом
того, что состояние системы характеризуется ·энтропией (9.49).
Опыты ведутся до тех пор, пока энтропия системы не станет рав­
ной нулю.
Алгоритм поиска неисправности в системе составляется • при
следующих предположениях:
известно, что система неисправна;
264


в системе отказал только один элемент из m, «соединенных»
цепочкой;·
известны априорные вероятности отказа всех элементов системы.
Методика определения оптимального алгоритма поиска неис­
правностей такая же, как и при контроле, т . е. заключается в вы­
боре такого количества опытов, чтобы каждый из них давал мак­
симальное количество информации.
Пусть на первом этапе поиска неисправностей а1 рассматривается
п эл~ментов объекта из общего числа т . При этом возможны два
исхода опыта:
••
•
в рассматриваемой части объекта обнаружен отказ (вероятность
п
этого исхода 1: qk);
i=l
.
в рассматриваемой части объекта не обнаружен отказ (вероят -
•
п
1-юсть этого исхода 1-1: qk)-
-
k=l
Количество информации, получаемое nри осуществлении опыта а 1
п
п
п
п
l(a1, х)=-(~ qklog2 ~ qk+(1-~ q k)log2(I-
~ -qk)).
k=l
k=l
k=l
-
k=l
•
,
(9.53)'
Из формулы (9.53) видно, что для получения Мf'!КСимального
количества информации / (а1 , х) при осуществлении первого опыта
п
поиска неисправности необходимо, чтобы сумма 1: qk была равной
k=l
1/2. Следующий опыт выбирается на основании того же критерия,
но с учетом энтропии состояния системы после осуществления
первого опыта а1 .
Так, например, при поиске отказа в -системе, состоящей · из т
элементов, имеющих одинаковую вероятность отказа, необходимо
.
т
•
n
в первыи оп~rт проверить п = 2 элементов, во второи - 2 и ,т. д.
Таким образом, алгоритм поиска неисправности ·с'fашчается от
алгоритма контроля вследствие того, что критерии выбора п~рвого
опыта различны . Кроме того, после проведения опыта а1 опыт а 2
в случае поиска неисправности производится исходя из опыта а 1 ,
соответствующего неработоспособности системы, а в случае конт­
роля - исходя из опыта
~1 , соответствующего работоспособности
части системы.
· 9 .9 . Оценка методов и устройств контроля
динамической систе~{~ы стабилизации летательного аппарата
Построение функционально-статистических математических моде­
лей динамических систем выполнено по упрощенной модели с учетом:
линеаризации нелинейностей, входящих в систему, являющейся
практически только регулят_ором;
265


нормального характера законов распределения выходных пара­
метров . и парам~тров элементов системы, а также равенства нулю
математических ожиданий отклонений- от номинальных параметров:
независимости статистических характеристик выходных пара­
метров и параметров элементов системы от времени.
Необходимость построения более детальных математических
моделей с учетом всевозможных факторов определяется характером
/(!Т
~
а
Ко.с
Рис. 9.4
и возможностью решаемой практиче­
ской задачи.
Под выходными параметрами си­
стемы в данном примере понимаются
частотные характеристики и переход­
ная функция, а под параметрами эле­
ментов - параметры
динамических
звеньев системы, структурная , схема
которой изображена на рис. 9.4 , а,
гдеk,-
коэффициент усиления кор­
ректирующего звена; Т,,ар, Т1 - посто­
янные времени корректирующего зве­
на; k 11 - коэффициент усиления привода; Т2 - постоянная времени
привода; ko. с - коэффициент усиления цепи обратной связи.
При преобразовании замкнутого контура к эквивалентному ко­
лебательному звену с параметрами
1
kk= k-;
о.с
1
~=2·
-;,-===
'
V Т2k1 rk
... ,. --- .... _
·••
~~
·(9.54)
структурная схема име::_,,!J~изображенный на рис . 9.4, 6.
Этим структу,рмъiм"·t:хемам соответствует передаточная функция,
являюща.\!~Цуi{кциональной математической моделью системы,
_.,.,,-
.,.;
-
·
k, (ТкорР + 1)
k11
-
......:-------- ·"
W(р)= Т1Р+1 •Р(Т2Р+!)+kIIko. с -
k, (ТкорР + 1)
-
Т1Р+ 1
(9.55)
Для упрощения методики определения частных производных
по параметрам воспользуемся функциями чувствитель:юсти отно­
снтеJJьно параметров kr, Ткор, Т1, Т2, k11, ko. с•
ПоJJучим
266
S()_дln\V(р)_l·
k1р-д!пk1-
'
S
_
дlnW (р) _ ТкорР
.
Ткор(р)-д!nТ -т v+l'
l<Op
I<Op


(9.56)
.Учитывая соотношение (9.54), функции чувствительности по
параметрам замкнутого контура для последующих расчетов удобнее
выразить через функции чувствительности по параметрам эквива­
лентного замкнутого конт ур а колебательного звена
Sk (р)_дlnW(р).дlnkk +дlnW(р).дlnTk+дlnW(р). дlnе .
11
-
дlnk1,
дlnk11
дlnT1z дlnkн
дlnе
дlnk11 '
S ( )=дlnW(p). дlnkk+дlnW(p). дl11T1z+дlnW(p) . ~ -
т, р дlnkk дlnT2 дlпТk дlnT2 дlne дlnT2 '
S .() =дlnW(р). дlnkk +дlnW(р) дlnТ2+дlnW(р). дlnе
ko.ср
дlnkk
дlnk0_0
д!пТ1, дlnk0. с
дlnе
дlnk0_0
После выполнения операции дифференцирования с учетом (9.54)
получим
1
1
sk]I(р)= - 2Sтk(р)- :2 s~(р);
1
1
Sт,(р)= ·2Sтk(р)- 2 s~(р);
1
1
sko.0(р)=-Skk(р)- 2Sтk(р)- 2 s~(р),
(9.57)
где
Полученные функции чувствительности по шести параметрам
системы, выраженные через функции чувствительности по парамет­
рам элементарных звеньев, позволяют использовать при расчете
веса отклонения характеристики элементарных звеньев, определя­
емые заранее.
267


•
Информационная оценка метода
и устройства контроля динамической сμ,стемы, основашюго
на измерении амплитудно-частотной характеристики (АЧХ)
Определим веса относитель~ых отклонений АЧХ для параметров
системы
•
WдAki (ш) = Re [Sk 1 (jш)];
WдАТкор ( ш) = Re [Sткор (jш )];
WдАТ, (ш) = Re [Sт, Uш)];
(9.58)
1
•
.
WдAk11 (ш) = -тRе [Sтk (Jш) + Se (jш)]\
Wмт. (ш) = ; Re [Sтk (jш)-Se (/ш)J;
WдAko, c(w)=Re[skk(jш)-; Sтk(iш)-; Se(iш)].
В результате выполнения расчетов по системе уравнений (9.58)
получим значения весов относительных отклонений АЧХ, вызван­
ных отклонениями параметров системы (рис. 9.5).
Энтропия АЧХ, обуслоgленная отдельными параметрами системы,
позволяет определить параметры системы, вносящие наибольшую
неопределенность в частотном диапазоне. Эту характеристику воз­
можно определить по энтро­
пии элементарных звеньев.
При измерении АЧХ наи­
больший интерес предсrавляет
количество информации об от-.
клонении как · отдельных пер­
вичных параметров СА.У, так
и характеристик всей системы
· f '--?i:т---;--=---:;±-:~~~"""""~(I) в целом.
,
В случае, если имеет место
Рис. 9.5
-~_,,_
...~- ,~ ~
q).l!:19~p~М.~:!!iQ~ -. С_{!учайное oт-
-;Jr.vн--.- ----"~v• •· --
клонение всех первичных па-
раме:rr;2,:-. atc:-i 1:!МЫ, а также наличие помех измерения, количество
и~~,vрмации при измерении можно определить по формуле •
·-=-- ~
/-
l
a~Ai (О))+ О~А (Ф)
IАА( """ ,,_
2 log2
2-
аиА (О))
(9.59)
CJдq
•
где О'дАI = шдАI .......!.- среднеквадратическое
значение отклонения
~
.
АЧХ, вызванное отклонением i-ro
параметра; О'иА =
= 11 / а2 + f адА/ _ среднеквадратическое значение отклонения
VАпJ=I
АЧХ, выаванное шумами: О'Ап - среднеквадратическая qшибка при-
"
бора измерения АЧХ; ~ адАJ _; дисперсия А ЧХ, обусловленная
1-1: 1-1
268


отклонениями первичных параметров, не интересующая нас при из­
мерении i-го параметра,
.
Для сравнения методов контроля по количеству информаций
об отклонении отдельных первттчных параметров будем полагать,
что алп == О, а дисперсии отцосительных отклонений всех гервичных
параметров системы равны между собой
D = (~1)2 ~ (;:::РУ = (cr;:,)
2
= с::111)2 =(?,;:•У= (cr::~~ су
График количества информации, получаемого прибором об от­
клонениях АЧХ, вызванных отклонением каждого из интересую­
щих нас параметров, приведен на рис. 9.6. Из этого рисунка можно
сделать следующие выводы:
1. Наибольшую информа- 1f ,...(r,;_~,_и8..,,·e,,,,tJ--.-----.-----г----,
цию измерительный прибор да­
ет об отклонении статических
коэффициентов k1 и ko. с• Мак- .
симум информации получается
в области частот
1
w =(О+ О, 1)-.-.
с
O,f
tO
2. Наибольшее количество
Рис. 9.6
информации об отклонении
100
коэффициента передачи k 11 можно получить на частоте
1
w~207.
1200 1V
3. Наибольшее количество информации об отклонении постоянной
времени корректирующего контура Ткор можно получить на частоте
·w·~
10.2 .. .
с
4. Сравнительно меньшее количество информации измерительный
прибор дает об отклонении постоянных времени Т1 и Т2 .
5. В области частот w:со, 1 ~ 100) +.измерительный прибор
д,ает наибольщее количест50 информ,щии об отклонениях АЧХ, обу­
словленной_ суммарным действием отклонений_ всех параметров.
.
Информационная оценка метода
и устройства контроля динамической системы, основашzого
на измерении фазочастотl-!;ой характеристики (ФЧХ)
Определим веса абсолютных отклонений ФЧХ по параметрам
системы, воспользовавшись функциями чувствительности
Wдrk, (w) =lm [Sk, (jw)] = о;·
269


Wд'f'т (w) = Im [Sт,шр (jw)];
I<Op
Wд<fт, (w) = lm [Sт, (jw)];
Wд'f'krr (w) = -
~ !т [Sтk (jw) + s~ (jw)];
Wл'f'т, (w) = +Im [Sтk (jw)--S, (jw)j; .
Wд'f'k (w) = ·_
-
21- Im [Sтk (j~) + S, (jw )].
о.с
•
'
(9.60)
Как видно из выражения (9.60), веса отклонений ФЧХ по коэф-
фициентам krr и k0 . с равны между собой. Поэтому в дальнейшем
изложении вместо двух параметров kII и ko. с будем рассматривать
общий коэффициент второй части системы k11 • ko . с с весом откло-
.v,~~(4J)
нения ФЧХ
f,-------,--------,---,.,:---,----,---,
Wл'f'k k (w) =
IIо.с
,=
-} Iт ]Sтk (jw) + s f. (jw)].
(9.61)
В результате расчета по
уравнениям (9.60), (9.61)
f'-----'-------'-------'---'----e,,--....-.J
"
o,r
f
ю
f00
1000 (,J
, получим
веса отклонении
Рис. 9.7
ФЧХ относительно · пара­
метров Ткар, Т1, k11, ko. с, Т2.
Эти зависимости приведены на рис. 9.7 .
Как и в предыдущем случае, будем интересоваться количеством
информации, получаемой прибором об отклонении данного первич­
ного параметра при измерении ФЧХ с учетом условий одновремен­
нqго случайного отклонения всех первичных параметров системы
~
2
)
1
ад'f'. (w) + au'f' (w
lд'f'· (w) = 2 Iog 2 --' ....,,. .-; ;2, ------
,
аи<р (w)
(9.62)
где ад'f'; (w) = wд'f'; (w)лqi - среднеквадратическое значение отклоне­
ния ФХЧ, вызванное отклонением i-го параметра; ии'f' =
=
1
;·а2 + i: а; .-среднеквадратическое значение отклонения
V <pn
j=I; N•i
'f'1
ФЧХ, вызванное шумами; a'f'
-
среднеквадратическая ошибка при-
п
.
п
бора измерения ФЧХ; ~ а~ . -
дисперсия ФЧХ, обусловленная
j=I; j,t,l
' f'J
отклонением первичных параметров, не интересующих нас , при из­
мерении i-го параметра.
Графики количества информации об отклонении ФЧХ, вызван­
ном отклонением i-го параметра, получаемой прибором, показаны
на рис. 9.8.
•
•
Из рассмотрения этого рисунка можно сделать следующие
выводы.
270 ..


1. Количество информации об отклонении параметра на частоте
,
1
-
ниже w = 0,2 - теоретически стремятся к + оо. Это связано с до-
с.
.
пущением, что ошибка измерительного прибора а'fп = О, а влияние
I,(ы), rJ8.eil.
оста,1JЬных параметров на частотах
ниже w = 0,2 _! __ ничтожно мало. На f,5 г----с/-'г'.:--hг\------:,.....---
'
с
практике всегда существует ошиб­
ка прибора и другие неучтенные по­
мехи, так что количество информа­
ции всегда ограничено, что отмече­
но штриховой линией. Наибольшее
количество информации об отклоне­
нии Ткор лежит в диапазоне частот
1
w= (О,1+ 3)с.
1
0,5
1
/
/
/
/
/
/
/
1
/
10
Рис; 9.8
\
\
\
'
(J)
2. Наибольшее количество информации об отклонении параметра
1
kн • k0 . с лежит на частоте w:::::: 10 с.
3. Количество информации об отклонении параметров также
огранμчено из-за несправедливости условия а'fп = О.
4. Графики количества информации для различных параметров
имеют максимумы, разнесенные на оси частот. Диапазоны частот,_
в которых сосредоточена информация об отклонениях отдельных
параметров при измерении ФЧХ, разделяются на оси частот гораздо
легче, чем при измерении отклонений АЧХ от номинальной.
И нформацuонная оценка метода
и устройства контроля динамической системы,
ОС/-lОВаННОго на uзм epeHUU переходной фуНКЦUU системы
Веса отклонений пере ходной функции по рассмотренным- ранее
шести первичным параметрам можно определить путем моделиро­
вания на эле!\тронной модели непрерывного действия (рис . 99).
При подаче на вход модели единичного скачка напряжения на
выходе модели системы получим переходную функцию, а на выходе
преобразованных цепей - веса отклонений переходной функции по
каждому из шести параметров .
На рис. 9.10 приведены графики весов о:тклонений переходной
функции , полученные путем моделирования на вычислительной
машине непрерывного действия МН-7 .
Количество информации об отклонении данного параметра, по­
лучаемой прибором измерения отклонений переходной функции при
условии, что имеет место одновременное случайное отклонение всех
параметров системы,
1
alh; (t) + a:h (t)
Iдh. = у.log2--.,,-2
---
'
анh (f)
271


дq.
где адh; (t) = Wдh; (t) --': - среднеквадратическое значение отклоне­
q;
ния переходной функции, вызванное отклонением l-го параметра
системы; аиh (t) = -.
1 а: + •f а2h - среднеквадратическое зна-
Vп/=!:J+iд/
чение отклонения переходн_ой функции, вызванное шумами; аhп -
среднеквадратическая ошибка прибора измерения переходной функ-
п
. ции;
~.a~h.
-
дисперсия
i=I; J+ 1
!
переходной функции, обусловленная
отклонениями первичных 'параметров,
не интересующая нас при измерении
отклонения переходной функции, обус­
_ ловленное отклонением i-го параметра.
На рис. 9.11 показаны графики
количества информации, получаемой
прибором измерения отклонения пере­
ходной функции и вызванного откло­
нением интересующего нас первичного
параметра.
•
Из рассмотрения этого рисунка
можно сделать следующие выводы.
1. Наибольшее количество инфор­
мации об отклонении коэффициента усиления k1 можно rюлучить
по истечении 0,5 + 0,6 с. от начала переходного _ процесса :
2. Максимум информации об отклонении постоянной времени
Ткор лежит в диапазоне времени 0-0,2 с.
Р;1с. 9.9
3. Максимальное количество информации об отклонении -пара­
метра kн лежит в интервале времени 0-0, 1 с. •
4. Наибольшее количество информации об отклонении коэффи­
циента ko. с лежит в диапазоне 0,15-0,5 с.
5. Количество информации об отклонен_ии параметров высоко­
~астотных звеньев Т1 , Т2 очень мало и сосредоточено в начале
переходного процесса.
6. Если измеряются значения переходной функции в отдельные
моменты времени, то, как это видно из рисунка, целесообразно вы­
брать такие точки, в которых отклонения переходной функции несут
наибольшее количество информации об отклонении параметров.
Сравнительная информационная оценка методов контроля.
Для сравнительной информационной оценки методов и устройств
контроля динамической системы по А ЧХ, ФЧХ и переходной функции
воспользуемся графиками количества информации, получаемой при
измерении характеристик системы.
_
Из сравнения этих графиков можно сделать следующие выводы:
1. Наибольшее количество информации об отклонении всех
параметров системы дает устройствр, измеряющее ФЧХ; наимень­
шее - устройство, измеряющее переходную функцию, ФЧХ не дает
информации об отклонении коэффициента k1, а АЧХ и переходная
272
!J


фуf!кция дают одинаковое количество информации об отклонении
этого коэффициента,
2. Графики количества ш1формации по k1 им еют, кроме указан­
ных в таблице максимальных значений, экстремум (максимум).
При этом экстремальное значение IдА ( w) на частоте 1О_!_ соот-
-
с
ветствует экстремащ,ному значению / дh ( w) в момент_времени 0,05 с,
а максимальное значение количества информации Iл л (w), начиная
i'lдh{t)r-lPt'-~--,---~--~~
Ji.r(t), rJ8.e!
5 t-,-- 1---t --+ --+-- -+--r-t- -t
0,61--т--+---т-i"<:-.---т---r--,
4_ .. .. _. ._ __ _, "-' ->-- -+--+-> ---+ ---t
o,sf---+ --1+---+ -J- ---+- ~- +- --1
2
Ok-д~~~~-+--f---J
0,41--,Ч,-,Ч---t---+--+---+--i
· 2 1 F-A--+---l '" ' " "+---+ -!--+- --J-~
-4
·5!--~ ~ -- f-c ,- '-- -'- ,--.. J'- ,-- ~- '
Qqt0,2O,J
,. q4Мо,80,7
tc
0,f 0,2 43 0,4 0,5 0,б Q7 0,8
t,c
Рис. 9.10
Рис, 9.11
.
1
а частоты w = 0,71..: .. . и до w = О, соответствует максимальному
()
количеству информации /дh (t) в момент времени t > О,6с.
3. Графики количества информации об отклонении АЧХ, ФЧХ
и переходной функции имеют явно выраженные максимумы. При
этом максимум I дА (w) при w = 10 2- соответствует максимуму
с
-
/д'fl(w) на w =- 1 ~ и максимуму fдh(t) в !',{омент време~и 0,1 с.
4. График~ колу1qества информации об отклонении коэффициента
kн также имеют явно выраженные максимумы. Максимум IдА ( w)· на
1
1
w = 30 - соответствует максимуму Iд., (w) на w = 1О - и макси-
с
т
с
муму lдh (t) в момент времени 0,020,
5. Графики количества информации / дА ( w) об отклонении имеют
.
1
максимальное значение в диапазоне w (О+ 0,7) - , а fдh щ имеют
•
с
максимальное значение в момент времени О,35с.
6. Количество информации об отклонениях параметр::>В Т1 и Т2
при измерении АЧХ и ФЧХ в области высоких частот получается
малым, не имеющим практического значения; при измерении пере­
ходной фуuкции количество информации об отклонении параметров
Т1 и Т2 получается сравнительно малым и расположено в начале
переходного процесса.
7. Отклонения параметров Ткорi kн, ko.c , Т1 , Т2 легче различать
при контрол е ФЧХ, а отклодеция параметров ki, k 0 . с
-
при конт­
роле АЧХ и переходной функции.
273


СПИСОК ЛИТЕРАТУРЫ
1. Брежнев Л. И. Отчетный доклад ЦК КПСС XXV съезду КПСС.
М., Госполитиздат, 1976.
2. Элементы технической кибернетики. Терминология. М., «Наука», 1968.
3 . Хартли Р. Л. Передача информаuии. -В сб . : Теория информации
и ее приложения. М . , Физматгиз, 1959.
•
4. К: отель ни к о в В. А. О пропускной спос обности эфира- и проволоки
в радиосвязи. Изд-во МГУ, 1933 .
5. К отель ни к о в В. А. Теория потенциальной помехоустойчивости.
М., Госэнерrои здат, 1946.
.
6. Б у r а Н. Н. Основы теории связи н передачи данных, ч. I. Л.,
. 1968.
7. Ха р к ев и ч А. А . Спектры и анализ. М., Госэнергоиздат, 1963.
8.Тихонов В.
-И.
Статистическая радиотехника. М ., «Советское
радио», 1966 .
9. С о л од о в А. В. Теория информации и ее применение к задачам
автоматического управления и контроля. М., «Наука», 1967 .
10. Фе ль д ба ум А. А. и др . Теоретические_ основы управления. М.,
Физматгиз, 1963.
11 . И u хо к и Я. С. Импульсные устройства. М., «Советское радио», 1959.
12. Кедр у с В. А. Основы телемеханики, ч. I. Харьков, Изд-во ХВК:ИУ,
1969.
13. Вен т цель Е . С. Теория вероятностей. М., Физматгиз, 1958. •
14 . Лев ин Б. Р. Теория случайных проuессов и ее применение в радио­
технике . М., «Советское радио», 1960.
15 . Терентьев С. Н. Основы общей теории связи. Харьков, Изд-во
ХВКИУ, 1968.
_
16. К: узь мин И. В. Теоретические основы информационной техники.
Харьков, Изд-во ХВК:ИУ, 1969.
17. Назаров М . В., Кувшинов Б . И ., Попов О. В. Теория пере­
дачи сигналов. М., «Связь», 1970 .
18 . Гм' у р м ан В. Е. Введение в теорию вероятностей и математическую
статистику . М., «Высшая школа», 1963 .
19. Железно в Н. А. Некоторые вопросы теории информационных элек­
трически х систем. Л., Изд-во ЛК:ВВИА им. А. Ф. Можайского, 1960,
20. Ша ст о в а Г. А. Кодирование и помехоустойчивость передачи теле­
механической информации, М . , «Энергия>>, 1966 .
•
21. Математика, ее содержание, методы и значение. М., Труды АН СССР,
1956.
22. Пугаче в В. С. Теория случайных функций. М., Физматгиз, 1962.
23 . Ш е н нон К. Работы по теории информации и кибернетике. М., «Ино­
странная литература», 1963 . .
24. Фан о Р. Передача информации .
. Стат истичес юrя
теория связи. М.,
«Мир», 1965.
25 . Голд м ан С. Теория информации. М . , «Иностранная . литература»,
1957 .
. 2 6 . К: л ю ев Е. В. Информационные основьl передачи сообщений. М .,
«Советское радио», 1966.
274


27. З е л е н ы й Д. М. Основы теории информации и оптимального приема.
Л., Изд- во ВМА, 1966 . .
28. Темни к о в Ф. Е . , Афщшн В. А, Дмитриев В. И. Теоретические осно­
в·ы информационной техники . М . , «Энергия», 1971.
29. К ар на п Р. Значение и необходимо:::ть . М . , «Иностранная литера-
тура», 1959. .
.
30. Ха р к ев и ч А. А. О ценности информации . - «Проблемы кибернетики»,
вып . 4. М., Физматгиз, 1960 .
31. Хин чин А. Я. Понятие энтропии в теории информации. Успехи
мате~;ат. наук, вып. 3. М . , Физматгиз, 1953 .
32. Беляков В. В., Расщепляев Ю . С., Соколов В. А. Основы
теории прохождения сигналов. Ростов, Изд-во РВКИУ, 1970.
33. Латхи Б. П. Системы передачи информации. М. , «Связь», 1971.
34. Оли в ер Б. Эффективное кодирование.
-
В сб.: Теория информа­
ции и ее приложения. М., Физматrиз, 1959.
35. Харкевич А . А. Очеркиоб,\Цей теории связи. М., Гостехиздат, 1955.
36.Васильев П. Р., Шастова Г. А. Передача телемеханической
информации. М., «Энергия», 1960.
37. Харкевич А. А. Борьба с помехами. М., Физматгиз, 1965.
38. К ат к о в Ф. А . . - попов А. Б. Частотные системы телеуправления
по занятым каналам связи. Киев, Гостехиздат, 1963.
39. К а т к о в Ф. А. Многочастотные узкополосные системы телеуправления.
Киев. Гостехиздат, 1960 .
.
40. К от о в П. А. Повышение достоверности передачи цифровой информа­
ции. М., «Связь», 1966.
41. Боуз Р . С., Рой-Чоудхури Д. К. Об одном классе двойных
групповых кодов с исправлением ошибок.~ «Кибернетический сборник», вып. 6.
М., «И ностранная литература», 1963.
42. Уд ал о в А. П., С упр у н Б. А. Избыточное кодирование при пере­
даче информации двоичными кода.ми. М . , «Связь», 1964.
43. Питер сон У. Коды, исправляющие ошибки. М., «Мир», 1964.
44. Мар тын о в Ю. М. Обработка информации в системах передачи дан­
ных. М . , «Связь», 1969.
45. К ан ев с кий 3. М. Передача сообщений с информационной обратной
· связью. М . , «Связь», 1969.
46. Каневский 3. М., Финкельштейн М. И. Флюктуационная
помеха и обнаружение импульсных радиосигналов. М., Госэнергоиздат, 1963.
47. Лев ин Б. Р. Теоретические основы статистической радиотехники. М.,
«Советское радио», 1968.
48. Г утки н Л. С. Теория оптимальных методов радиоприема при флюк­
туацион н ых помехах. М., Госэнергоиздат, 1961 .
49. К: а с ат к ин А. С., К: узь мин И. В . Оценка эффективности авто­
матиз и рованных систем контроля . М . , «Энергия», 1967 .
50. К:расовский А. А., Поспелов Г.С. Основыавтоматики итех­
нической кибернетики. М., Госэнергоиздат, 1962.
5 1. Но в и цк и й П. В. Основы информационной теории измерительных
устройств . М., «Энергия», 1968 .
52: К узь мин И. В., К: ед рус В. А . Критерии оценки качества функ­
ционирования и пути оптимизации систем автоматизированной проверки измери­
тельных средств.- В сб.: Автоматизированные системы управления и приборы
автоматики, вып. 26. Харьков, Изд-во ХГУ; 1972.
53. С инд ее в И. М. О выборе параметров, опредеJшющих состояние тех­
нического устройства при автоматическом контроле. Труды ВВИА им. проф.
Н. Е. Жуковского, вып. 1020 . М., 1963.
54. К узь мин И. В. Оценка эффективности автоматических систем- кон­
троля и управления.' Харьков, Изд-во ХВКИУ, 1966.
55. К у з ь ми н И. В . Элементы вероятностных моделей АСУ. М.,
«Советское радио», 1975.
56. К: узь мин И. В. Оценка эффективности и оптимизация АСКУ. М.,
«Советское радио», 1971.
275


57. С инд ее в И . М . Некоторые общие методы автоматического конт­
роля состояния динамически х систем и поиска неисправностей . Труды ВВИЛ
им . проф . Н. Е. Жуковского . М ., 1962.
58. Б ы к о в с кий М. Л . Основы динамической то ч ности электрических
и механических цепей. М., Изд-во АН СССР, 1958.
59 . Чан С. С . Л. Информационный критерий для замкнутых систем авто­
матического регулирован и я. Труд ы ИФАК:. М . , Изд-во АН СССР, 1961.
60 . К: о л м о r о ров А . Н. Теория передачи информации. Сессия АН СССР
по научным проблемам автоматизации производства . Пленарные заседания. М. ,
Йзд-во АН СССР, 1957 .
61. Фин к Л . М . Теория передачи дискретных сообщений . М , , «Советское
радио», 1963. •
1
62 . К: узь мин И. В. Проектирование автоматизированны х телемеха ни ­
ческих систем контроля и управления. Ч, III. Операt6р в системе контроля
и управления. Харьков, Изд-в.о ХВК:ИУ, 1970 .
63 . О р на т с кий П. П. Автоматические измерения и приборы .
. К:и ев,
«Вища школа», 19 73.
64. Зюко А. Г., Коробов Ю. Ф. Теория пер едачи сигналов. М.,
«Связь», 1972.
65. Философский словарь, ред. Розенталь М. М. и Юдина П . Ф. М . , Гос­
политиздат, 1963.
66. Г у р о в В. С . и др. Передача дискретной информации и телеграфия,
М . , «Связь» , 1974.
СП ИСОК ДОПОЛНИТЕЛЬНОЙ ЛИТЕРАТУРЫ
1. К ул ь ба к С . Теория информации и статистика. М., «Наука», 1967.
2. Гойхман Э . Ш., Лосев Ю. И. Передача информации в АС':/. М . ,
«Связь», 1971 .
•
3. Дружинин Н. К:. Логика оценки статистических гипотез. М., «Ста­
ти стика», 19.73.
4. Ицхоки Я. С. , Овчинников Н . И. Импульсные и -цифровые
устройства. М. , «Советское радио», 1972 .
•
.
5. Шест о в Н . С. Выделение оптических сигналов на фоне случайных
помех. М ., « Советское радио», 1967.
6. Ми щ е н к о В . А. Метод селектирующих функций в нелинейных зада­
чах контроля и у правления . М., «Советское радио», 1973.
7. Данилин Н. С., Бакланов О. Д., За г оровский Ю. И.
Теория и методы неразрушающего контроля радиоэлектронных схем. М . ,
Изд- во Министерства обороны СССР, 1974.
8. Глушко в В. М. Введение в АСУ, К:иев, «Технiка», 1972.
9. Захаров В. Н . , Поспелов Д. А . , Хоэацкий В. Е . Системы
управления. М., «Энергия», 1972.
10 . Пономаре в В . М . и др. Основы автоматического регулирования 11
уп равления. М., «Высшая школа», 1974.
11. Г лушк ов В. М. и др. Энциклопедия кибернетики, т. 1, 2. К:иев,
УСЭ, 1974. .
•
·
12 . Галл а r ер Р . Теория информации и надежная связь. М . , «Советское
радио», 1974.
•
13 . Бо в бель Е. И . , Данейко И. К:., Изох В. В. Элементы теории
информации . Минск, Изд-во БГУ им. В. И. Ленина, 1974.
14. Роз и А. М. Теор11я информации и связи. М., «Энергия» , 1971 .
15. Стр ат он о в и ч Р. Л. Теория информации. М. , «Советское радио»·,
1975 .
16. Полетаев И. А. Сигнал. М., «Советское радио», 1958 .
17. Ни к о лае в В. И . Информационная !~ория контроля и управления .
Л. , «Судостроен ие», 1973.
.
·
.
·
\
18 . Четвери к о в В. Н . Преобразование и передача информации в АСУ .
М., «Высшая школа», 1974.
·
276


ОГЛАВJIЕНИЕ
Предисловие
3
Введение.
5
Гл а в ·а I. Информация и информационные системы
8
1.1 . Оснощ1ые понятия и определения
8
1.2. КлаGсификация информационных систем
12
1,3. Предмет и метод теории информации.
13
Контрольныевопросы...........
15
Гл а в а II, Математические модели детерминированных сигналов.
16
2.1 . Общая характеристика сиг н алов
.
.
.
.
.
.
.
.
.
.
.
16
2.2 . Частотное представление детер минированных сигналов
.
21
1. Периодические сигналы .
.
.
.
.
.
.
.
.
.
.
.
.
.
21
2. Непериодические сигналы
.
.
.
,...........
.
·31 -
3. Сопоставление спектров периодических сигналов и соответствующих
непериодическихсигналов................... 32
4. Энергетическое толкование спектра сигнала
.
,·.....
33
5. Практическая ширина спектра сигнала
.
.
.
.
.
.
.
.
.
.
36
2.3 . Переход от преобразования Фурье к преобразованию Лапласа
41
2.4 . Примеры
.
.
.
.
.
.
42
Контрольные всшросы . . , .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
48
Гл а в а III, Математические модели слу11аl\'ных сигналов .
48
3.1. Случайные сигналы IL их вероятностные характеристики
48
3.2. Числовые характеристики \:Лучайного процесса
.
.
.
.
51
3.3. Стационарные с_лучайные процессы
.
.
.
.
.
.
.
.
.-
.
.
.
.
54
3.4. Свойства корреля ционной функции стационарного случайного процесса 56
• 3.5. Эрго.дичность стационарных процессов
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
б9
3.6. Спектральная плотность стационарного случайного процесса
.
.
.
.
.
60
3. 7. Эффек,:ивная ширина спектра случайного процесса .
.
.
•....•.
.
.
66
3.8. Кодирование сигналов. Модели сигналов при кодоимпульсной моду-
ляции.........
66
3.9. Квантование по времени
.
71
3.10. Квантование по уровню
78
3.11. Пр!!Меры
.
.
.
.
.
.
~3
Контрольные вопросы . . . .
\:1,
Гл а в а IV. Информационные модели сигналов .
4,1. Количество и нформации и неопределенность. Энтропия как мера
ределенности..............
4.2 . Свойства энтр опии дискретных сообщений
.
,........
4.3 . Энтропия непрерывных сообщений
.
.
.
.
.
.
.
.
.
.
.
.
.
.
неоп-
98
98
101
10_3
277


4.4. Энтропия сложных сообщений
.
.
.
4.5. Количество информации при неполной достоверности сообщений
1. Дискретные сообщения
.
.
..
.
.
.
2. Непрерывные сообщения
..
..
.
4.6 . Энтропия и количество информации при статистической зависимости
элемента]} сообщений . . .
4. 7. Избыточность сообщений
• 4 .8. Преимущества и недостатки статистической меры количества инфор-
мации.......
.
4.9. Примеры
.
.
.
.
.
.
.
.
.
Контрольные вопросы . . . . .
Гл а в а V. Передача информации
.
5.1 . Обобщенные характеристики сигналов и информационных . каналов.
5.2. Скорость передачи информации и пропускная способность дискретного
каналабезпомех. ...........
5.3 . С1<орость передачи информации и пропускнап способность дискретного
канала с помехами . .
.
..
.
.
.
.
.
.
.
5.4 . Скорость передачи информации и пропус1шая способность непрерывно­
го канала с помехами
5.5 . Примеры
.
.
.
.
..
.
.
.
.
.. ...
.
.
•Контрольные вопросы . . . . . . .
.
.
.
.
.
Гл а в а VI. Эффективность информационных систем
6. 1 . Критерии оцеюш эффективности информационных систем
6.2 . Способы повышения эффективности информационных систем
6.3 . Перераспределение плотностей вероятностей элементов сообщения
6.4 . Декорреляция сообщений
..
.
6.5. Оптимальное . статистическое кодирование
6.6. Примеры
.
...
.
...
..
. ...
.
Контрольные_вопросы...... · .
.
.
.
.
105
108
108
111
114
116
118
119
130
131
131
134
136
141
147
154
154
154
155
156
158
160
164
167
Гл а в а VII. Помехоустойчивость информационных систем
168
7.1. Общая характеристика помех в системах передачи" информации
.
168
7.2. Критерии оценки помехоустойчивости информационных систем
.
..
170
7.3. Способы повышения помехоустойчивости информационных систем
.
174
7.4. Помехоустойчивость различных видов модуляции .
.
.
.
.
.
176
7.5. Помехоустойчивое кодирование. Основные принципы помехоустойчи-
вого кодирования . .
.
.
.
.
.
.
181
7.6 . Связь исправляющей способности кода с кодовым расстоянием
.
i84
7.7 . Построение кодов с заданной · исправляющей способностью
.
186
7.8. Геометрическая модель комбинаций двоичного кода
.
188
7.9 . Показатели качества корректирующих кодов
189
7.10. Классификация помехоустойчивых кодов
.
189
7.11. Код с четным числом единиц
.
.
.
.
.
.
.
.
191
7.12. Код с удвоением элементов и инверсньJЙ код.
191
7.13 . Коды Хемминга
.
.
.
.
.
.
192
7.14 . Ци клические коды.
.
.
.
.
194
7. J~с-е: 1.iстемы с обратной связью
.
198
~
'i'.16. Примеры
.
.
.
.
.
200
Контрольные вопросы
208
Гл а в а VIII. Элементы теории оптимального приема и статистических
решений.
8.1 . Частотная фильтрация .
8.2 . Метод накопления
8.3 . Корреляционный метод
209
209
211
213 '


8.4 . Согласованная фильтрация
8.5 . Сущность основной задачи приема сигналов при наличии помех
8.6 . Обнаруже·ние сигнала
8. 7. Различение сигналов
8.8 . Синтез структуры решающего устройства
.
8.9 . Восстановление сигналов
8. 10 . Примеры
.
Контрольные вопросы . . . .
Гл а в а IX. Информационная оценка автоматизированных систем конт­
роля и управления
9.1. Общая характеристика автоматизированных систем контроля и управ-
215
216
219
226
228
230 ·
234
245
246
ления (АСКУ)
.
.
.
.
.
246
9.2 . Оценка степени неопределенности состояния объекта контроля
.
247
9.3. Информационная оценка точности результата контроля
250
9.4. Инфор ма ционная способность устр ойства контроля и информационный
к. п . _ д. процесса контроля
252
9.5 . Пропускная способность процесса контроля
254
9.6.' Энтропия и информация в системах автоматического управления
255
9.7 Оце11ка эффективности АСКУ
259
9.8 . Информационное обоснование опти мального алгоритма контроля и по•
иска неисправностей
261
9.9. Оценка методов и устройств контроля динамической системы стабили-
зации летательного аппарата
265
Список - литературы
Список допол нительной литературы
274
276


!
Иван Васильевич Кузьмин
Валентин Александрович Кедрус
Основы теории информации и кодирования
К:иев
Головное_ щздательство
издательского объединения «Вища школа »
Редакторж. Г. Давиденко
Обложка художника Б. Н. Жеребцов а
Художественный редактор С. П. Д ух лен к о
ТехническийредакторЛ. Ф. Волкова
К:орректор О.А. Савицкая
Информ. бланк М 2464.
Сда но в набор 23.08 . 76 г. Подписано в печать 14 .01 . 77 г.
Формат 60Х901/16, Бу!,!ага типографская No З. 17,5 печ. л. 16,95
уч.-изд . л. Тираж 13000 зк~. Изд..No 2323. БФ 08169. Зак. No 6·34.
Цена 85 коп.
Головное издательство издательского объединения «Вища школа»,
252054, I<:иев-54, Гоголевская, 7.
I<:нижная фабрика им: М. В. Фрунзе Республ11канского производ•
ственного оСiъедиJ!е ния «Полиграфкнига» Госкомиздата УССР,
Харьков, Донец-Захаржевская, 6/8.