Text
                    И . В. RУЗЬМИН
В.А.КЕДРУС
Основы li"TIIII Ii11
теории _ _ 65047.4
ИНФОР .
и ИОДИРОВАНИЯ
Н.йJаиие в~·орое,
r1epcpa6oxa1iн.oe и
допол,uептtое
Допущгно ',{11нu11,•epcron.at
., ,,('IJJt:lO CJ cpoдiil!•O
IШl'ЦUUJiЬ/tOl!I> otJpa-1oвaJ1U:Я
YCCI' в Nallec2a1· учеб111~н11
Qлн cty6enrtJd аv~м.
0~1/IIQIOЩ/IXCR rt0
cneut,a.нmocrя-м • Аr12·0.,,ют11 NO
и тc.,U/tlXQI/U'КIU
и, •Upll>; JIQU/i(JЛ, МЛ f.('. _.,/J1'U,,l(-4 •
..
roЛl)QtfOE W.Э.ДА'l'&пhСТВО
И3/IА '/ l]Лы;коrо ОD'Ьl;\ДIJПЕ!Пi-Я
, о,-1щл Шl('()ЛЛ •
\9110
ltl
li,
t
Ju
р
111
:о
1(
'(
]J
1t
11
r,
(О
111
с,
,1'
D
f.


·32.,. 9 ~-' дк 621.391.1 (075.8) Основы теории информации -И кодирования/ И. В. Кузьмин. В. А. Кед- - рус.~ 2-е изд., перераб. и доп.- -К. : Вища шк. Головное изд•воt 1986. - 238 с. . В учебнике рассматриваются осн·овы теории информации и кодиро­ вания, включающие общие понятия и определения информации и инфор­ мационных систем, математическое представление детерминированных и случайных сигналов, информационные характеристики сигналов, эф­ фективность и помехоустойчивость кодирования и передачи информации, теорию статистических решений и информационную оценку автоматизи­ рованных систем контроля и управления. ~торое издание (1-е изд.- 1977 г.) дополнено rлавами, посвященны­ ми квантованию и кодированию сигналов. - \ • Для студентов вузов специальностей «Автоматика и телемеханика>> и «Прикладная математика». Может быть полезен широкому кругу спе­ циалистов, исследующих и разрабатыва1?щих информационные ·~истемы. Табл. 24. Ил. 101. Библиоrр.: 84 назв. ~ Рецензенты: доктора технических наук В. Г. Абакумов (I(и­ ~кий политехнический институт), П. В. Лавинский (Киевский институт народного хоэ~йства). • - Авторам И. В. Кузьмину ·и В. А. Кедрусу за учебник «Основы теории информации и кодирования», опубликованный в 1977 roдyt присуждена " Государственная премия Украинской ССР в области _науки и техники 1981 года. - ной технике. кибернетике и АСУ , --~ Редакция учебной и научной литературы по информатике, вьiчислите.Jl .....1:1,• ..i...._.,~~....-:◄ e ...- • ,.. ,...,.•,1;~~ .\·_ SИBflHOTF.?fA_ 1 ~ , , •·, i(~,. _ . \ty.H~;:,..:: _;. . _ ,~--:.:, . ~ ' . •> ft111111мeт1t.1t.r.;,,г:1ч~ ~- - • ....,•. _'•:=";;;.;>. . . tctt~wr~1·.~ ~ ~ f'\. , . ..,,,, ,_- -,. ~.....,... ~ .-;.._;,· ;. 1502000000-140 ", -" ~ .-_ ·-- J.· -~_М211 (04)-86 III~, ,.' © Издательское объединение - «Вища школа», .1977. © .Издательское объединение . «Вища школа», 1986, с изменениями 1
; ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ ___ Ускорение научно-технического прогресса обеспечива-­ ется непрерывным ростом объема научно-технической ин~. формаuии. В связи с этим ставится задача разработки и внедрения на базе ЭВМ комплексно-автоматизированных производств, которые можно быстро и экономично пере­ страивать. Наиболее общей теорией сложных автоматизированных информационных систем, к которым относятся и автомати ... зированные системы управления, является теория инфор­ мации. В первом издании учебника (издательское объединение «Вища школа», 1977 г.) с единых позиций теории информа­ ции были изложены сведения, составляющие основу курсов «Теоретические -основы информационной техники» по спе­ циальности «Электронно-вычислительные машины», «Тео­ рия информации и кодирования» по специальности «При .. , кладная математика», «Теории информации» по специаль­ ности «Автоматизированные системы управления», «Теория передачи и преобразования информацию> по специал·ьности «Автоматика и телемех·аника». Второе издание учебника частично пер~работано и до­ полнено новым материалом по квантованию и кодиро1;3анию Сi-1ГНалов, выделенным в отдельные главы. Оправдывается, это стремительным развитием в последние годы цифровых систем передачи информации, систем связи и электронно" вычислительных систем. Отзывы просим направлять в Головное издательство издательского объединения «Вища школа» по адресу: 252054, Киев-54, ул. Гоголевская, 7.
,'\ ВВЕДЕНИЕ Широкое внедрение автоматизированного управления немыслимо без использования средств свяэиt телемеханики и вычислительной техники. - В .. процессе автоматизированного управления техникой, производ- . ственными процессами и отраслями народного хозяйс;тва, а также в процессах творческой деятельности человека и общественных явлений п~исходит интенсивный обмен информацией между отдельными зве• ньями систем управления, между человеком и техникой, человеком и природой, между отдельны~и .людьм~. Комплексная автоматизация и совершенствование электронных цифровых вычислительных машин сопровождаются резким Еозраста­ нием· объема и скорости передачи и обработки информации. Одновре­ менно повышаются требования к достоверности передачи и обработ· кн информ1ции. Из всего многообразия современных технических систем ~южно, выделить особую группу так называемых информационных :_систем, предназначенных для передачи, преобразования и хранения информа­ ции. К этой .группе систем можно отнести: связные, телемеханические, локационные, навигационные и телевизионные системы, вычислитель" ные- и информа_увонно-иэмерительные системы·, автоматизированные • системы упl)аМения и контроля и т. п. ••' , Инфор~ционные 'системы существенно отличаются от энергети- , ческих устройств и систем (двигателей, электрических генераторов, линий. электропередач, транспортных устройств, доменных печей и т. п.), основой функционирования которых являются процессы nередачй и преобразования энергии. Основой функционирования ин­ формационных. систем являются процессы передачи,· преобразования и на~опления информации. Поэтому критерием качества работы ин· формационных ус1ройств служит их способность передавать, накап­ ливать или. преобразовывать необходимое количество информации .в еди_ницу времени при -допустимых и.скажениях и· затратах,· а не коэффициент полезного действия, как у энергетических установок. В информационных системах энергетические соотношения играют . второстепенную роль, а сама энергия является -характеристикой сиг­ нала, который используется лишь в качестве транспортного средства. . -Однако· происходящее резкое возрастание потока информации в ближайшем будущем потребует значительных затрат энергии на передачу информации. Это обусловит необходимость помимо коли­ чественной оценки информации осуществлять· энергетическую оцен­ ку информационных процессов. Уже сейчас одним из критериев_ 4
' ,..~~. ' - ' ... ~'-._ - J J::\_>ецей.ки. систем •космической с-вяз.и является. информационно-энерге- • У~::f;<тичесkий критерий, -характеризующий затраты энергии сигнала ✓ ·на . - ·,: передачу единицы количества информации при данной, мощности шу• :_ мов, приходящейся на 1 Гц полосы пропускания канала связи [61 • _ В книге основное внимание уделяется теории получения, накоп­ ления, передачи и· преобразования информации, анализу и синтезу информационных процессов и информационных систем. Предполагается, что теория логических и вычислительных машин, \а также теория автоматического регулирования изучаются в само­ стоятельных курсах. В· учебнике одиннадцать глав. В первой да~тся. понятие об ин­ формационных системах, основой функционирования которых явля­ ются процессы передачи ·и преобразования информации·,; раскрыва- :ются роль и место информационных си_стем в· народном хозяйстве, - _роль отечественных ученых и ин~енеров в развитии информацион­ ных систем и теории информации; излагаются основные определения и '"понятия, касающиеся основ теории прохождения сигналов в целом и теории инфор~ации в частности. Во второй, и третьей главах рассмотрен сигнал как носитель информации" Приводятся характе­ ристики основных типов детерминированных и случайных сиг·налов, способы их математического описания и преобразования. В четвертой и пятq_~ главах изложены основные положения теории квантования • сигналов по времени и уровню,- а также основы теории эффектив­ ного и помехоустойчивого кодирования. В шестой и седьмой главах изложены информационные модели сигналов _и процессов передачи информации,- даны понятия· энтропии как меры неопределенности и количества информации, приведены способы количественnой оцен­ ки энтроции и информации, способы оценки скорости. передачи информации и пропускной спосо.бности информационного канала, способы согласования сигналов с каналом. В восьмой главе изложе­ ны основы оптимал_ьно;·о приема и обработки 1:1нформации, различные методы фильтрации и накоплеция информации. Девят·ая глава по. священа основам •оценки эффективности . информационных систем и методам ее повыш~ния. В десятой гла·ве рассматриваются пом.е­ хоусто.йчивость информационных систем и способы ее повышения. В одиннадцатой главе излагаются. методы информационной_ оценки _эф ф~ктив ности и качества работы автоматизированных систем кон­ троля и управления, практического использов·ания аппарата теории информации для ·решения отдельных задач контроля и управления. Основным математическим аппаратом, используемым в книге, явля­ ется аппарат теории информации, теории вероятностей, •а также теории случайных процессов. 5
l~~:7-t,/~! -:~- ,~i- ~ - -- .. /-:;.- ,- ~ ;:- -~.,, i-~-:--,.~•y- /< .• '· ,Глава 1.--ИНФОРМАЦИЯ и· ИНФОРМАЦИОННЪIЕ СИСТЕ~Ы •______ 1.1. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕIШЯ Как уже отмеч,алось, производственные процее-сы,. а также про­ цессы живой природы связаны с получением, передачей. преобразо­ ванием, накоплением, хранением и отображением информации. В настоящее время сущее1вуют различ~ые определения· инфор- мации. .. . Обычно под информацией в широком .смысле , пони~аются новые сведения об окружающем мире, которые мы· получ-ае~ в результате· взаимодействия с ним, приспособления к нему и изменения его в про- . цессе приспособле~ия. _ •, Комитет научно-технической терминологии Академии наук СССР рекомендует следующее определение информации: информация · - эт о -сведения, •являIQщиеся объектом хранениtЯ, передачи и nреобразова- •ния [8]. . Информация - это прежде вс~го сведения, котор-ые должны быть , использованы (сведения о состоянии природы, о состоянии и положе­ нии во времени и пространстве определенных объектов, о величине контролируемых параметров и т. п.). , В философии, развернулась борьба между материалистами и идеа­ л~стами вокруг понимания природI?I информации. Идеалисты раз­ личн~1х толков пытаются оторвать информацию от материи, превра-­ тить ее· в некоторую духовную субстанцию или же представить в виде . комплекса ·ощущений субъекта. В соответствии с положениями марк­ систской философии информация является свойством материи. Ин­ формация не явJrяетсrr ни материей, ни энергией, но н_еразрывно связана с материей. .. , Некоторые идеалисты пытаются утверждать, что само понятие информации дает основание для -примирения идеализма и материализ­ ма. Информация рассматривается ими в качестве «нейтралъното эле­ мента»,. не являющегося ни материей, •ни - сознанием, на основании чего· делается вывод, что кибернетика представляет научные данI:Iые для преодоления «ограниченности» -как материалистических, так и идеа,пистических концепций: Понятие инф9рмации есть научное подтверждение гипотезы В. И. Ленина_, что вся. материя обладает свойством отр·ажения. При этом нужно иметь в виду, что понятие «01 ражение» как свойство всей материи более общее, чем пqнятие «информация», являющееся понятием кибернетики ·и встречающееся только у .. организованных систем - машин, живых организмах и в обществе. Нужно разл~чать понятия <~информация» и «сообщение». Сообще­ ние - это форма пред~тавле.ния информации [8]. Например. при 6
,· ,- ·-· снlщенu, CWN/IA ~---------------------,. t • . nоиtщ 1 Н&т1Jчнuк • . Ко/ирVJ()Щ_41 ___ R1pedamчlJI( .,_ ..,... ЛUни# с. 'ltl ~- 1 11/lfJOPllfJqUIJ ~--- - v cmpoucnilo / 1• 1 L ___ ... С111но11 С11411алмоне.tо 1 1 ,1/tioiuptющee~....... Решающtе 1-4- --:- --11 Приенник • 1 11tтрош:т~ 1 vcnfP(J(itm6o ___ 1 I• KOIJOA с6.11зи . . I L ______________ .; .J Рис. 1.1.· телеграфной передаче сообщением яв-ляется текст телеграммы, пред­ старляющий собой последовательность различных .символов. При разговоре сообщение представляет собой- механические колебания с раэл_ичной частотой и интенсивностью голосовых связок человека~ При телевизионных передачах черно-белых с9общение представляет собой изменение во времени яркости элементов передаваемого изобра­ жения. При цветных телевизионных передачах сообщение представ­ ляется также изменением и цвета· элементов и,зображения и" т. д. Структурная схема информационной системы. '(plfc. 1 .1) наиболее полно отображает систему_ связи, но может бьiть -использована для характеристики и других информ;;~.ционных систем (систем автомати· зированноrо управления.i-систем контроля, биологических, общест­ венных систем и пр. систем). Система состоит из отправителя инфор­ мации, линии связи и получател·я информации. _, Сообщение •для передачи его в соответствующий адрес должно быть предварительно- преобразовано в сигнал. Под сигналом понима­ ется изменяющаяся физическая величина, отображающая сообщение f8, с. 9]. Сигнал - это материальный носитель сообщения. Физи­ ческая среда, по которой происходит передача сигналов от передатчи- ка к приемнику, называется линией связи. , В современной технике нашли применение электрические, элек1ро- .. магнитные, световые, механические, звуковые, ультразвуковые сиг­ налы. Для передачи сообщений необходимо применять тот перенос­ чик, который способен ~ктивно распространяться по используе­ мой в системе линии св'язи: Например, по проводно~ линии связи наиболее легко проходят постоянный ток и переменные токи сравни­ тельно невысоких частот (практически не более нескольких десятков килогерц). По радиолинии эффективно распространяются только электромагнитные колебания _высоких частот (от со_тен килогерu до десятков тысяч мегагерц). Все сообщени~ по характеру изменения во времени· можно раз­ делить на непрерывные и дискретные. Непрерывные .по времени -сообщения 01ображаю1ся непрерывной функцией време11И. Дискретные по времени сообщения характеризу­ ются тем, что поступают в определенные моменты времени и описы• ваются дискретной функцией времени. Так· как сообщения носят обыч­ но случайный характер, то непрерывные сообщения описываются случайной функцией времениt а дискретные - как последователь-­ ность случайных событий. Сообщения можно также разделить н·а непрерывные и дискретные по множеству. 7
tr?:, ••.... '-, '<\ ·, ~. ' ·,_ •.• . _ . Рис. 1.2. Р~с. 1.8. '! - --~L~...,_. .t - __ .__ ...._. _ __, _____ ...,. __ __ f f Рис. 1.4. -Рис . 1.5. Непрерывные по множеству сообщения хар-актеризуются тем, что ··.функция, их описы_в.ающая, может принимать непрерывное множество значений (континуум значений) в некотором интервале. Дискретные по множеству. сообщения·-- это сообщенияt которые могут быть описаны, с помощью ..конечного набора чисел или дискрет- -)1 ых -значений некоторой функции. .· • • -· Дискретности по множеству и· времени не связаны друг с другом. ,. ·< Поэтому возможны следующие ти_пы сообщений: а) непрерывные пр множеству и време1:1и, или просто непрерывные . • (рис. 1.2); . б) н-епрерывные по множеству и дис·кретные по времени (рис. 1.3); в). дискретные по множеству и непрерывные по времени (рис. 1.4); г) дис~ретные по множеству и времени, или просто дискретные :' (рис. 1. 5). . - . - · . .В широком смысл_е nреобраэование сообщений в сигнал называют ',/ _:кодированием _сообщений. В узком смысле кодирование - э~о ото­ _,,'<',~ражение дискретных сообщений сигналами в виде определенных ;:сочетаний символов [2]. Устройство,. осуществляющее кодир~вание, . :называется кодером_ (кодирующим устройством). . . _.- С ,'Помощью кодирующего устройства сообщение, которое может ·- · } иметь любую физическую природу (например, звуковое колебание, ,_:-·(;изображение), преобразуется· в первичный сигнал, для технических <-,.. у~тройств обычно в электрический с~rнал. При телеграфной пере­ -даче таким· сигналом. является последовательность электрических :_<~~_пульсов постоянного тQка и раэличной длительности.- В ·телефо- •11и-и. - это электрические колебания звуковой частоты. _ ·-, --_ ~Для преобразования первичного сигнала к виду, пригодному для :~сп.ользования в линии связи, предназначается передатчик. .:- • _; -~: .В передающем устройстве осуществляется воздействие на один ]~ ::ЙJiи. несколько параметр·ов носителя по закону, принятому при ко­ ~I\,цировании сообщеμий" Этот процесс называется модуляцией, а мо­ /)~ул,и:ру~мые параметрь1 называются информативными. Иногда в смыс­ -~-~е:_.·модуляции употребляется термин «манипуляция». k-..._ :, Непрерывные и дискретные сообщения не всегда передаются с ~~ -:: •,_, ~~~~~· I'·. ,,, r.- - - - -~. : ,,~:~с•~~#;,,;..,,.~. ' \-,, -· ·, ·:-,,,··~ ,,--';:~ - '(-4 ( -/
__ с . - ,~,:-~·-,~:;►·:•1';:~c;~~.;i;{~ii::~1:~~~~1tJ?R;?;;r:;;(:?;,rrг!Y~j? ?~:>•, •- .·:_>-~ ?-~~;":'~ --- ::~- -~, :';:- -.·: _,, __ -•а_-,;_ ··_ :1⁄4 \ " ' • ...; 1 . •~ : • -~~ помощью непрерывных и дискре1ных -сигналов. В ряде _случаев не• - прерывные сообщения преобразую,тся в дискретный с1:1гнал, а дис- кретные сообщения - в непрерывный сигнал. - • _ · При передаче сигналы подвергаются воздействию помех. Под по­ мехами подразумеваются любые мешающие внешние возмущения или воздействия (атмосферные помехи, влияния посторонних источников сигналов), а также искажения сигналов в ~амой аппаратуре (аппара­ турные помехи), вызывающие случайное отклонение принятого сооб- щения сигнала от передаваемого- (8, с. 11]. . . На приемной стороне осуществляется восстановление по приня­ тому сигналу переданного сообщения. При этом вначале производит­ ся демодуляция сигнала, в резульiате которой восстанавливается первичный сигнал. . Вследствие различных искажений и воздеi;:ствия помех принятый сигнал может существенно отличаться от переданного.- Поэтому про­ изводится обработка принятого - сигнала с,' целью наиболее полного извлеченцяu из него инфор~аци~. Эти функц!fи выполняются решаю­ щим устроиством. Процедуры. обработкй сигнала весьма разнообраз­ ны. Они могут сводиться к -фильтрации ·сигналов, ограничению; ин­ тегрированию (или дифференцированию), перемножению сигналов, сложеJ,Jию и т. п. П-осле обработки ·производится декодирование сигнала, т. е.· пре-. образование его в· сообщение, поступающее к. получателю. При этом •сигнал ·должен -быть преобра~овцн к в~ду~ удобному для восприятия получа1елем. Например, при передаче речи или музыки принятый сигнал преобразуется в з:еуковые механические кол~qания, если по­ лучателем является человек. Если же принятые сигналы предназна­ чены для магнитофонной записи, то они преобразуются в электри­ ческие сигналы, удобные для фиксации· на магнитной ленте. Следует заметить, что операции демодуляции, обработки и де­ кодирования или две .из них MQryт выполняться одним устройством" Например,. пр.и ·приеме телеграфных сигналов на слух оператор ·осу­ ществляет как обр_а[Х?т~у,,,-5ак и декодирование приня1.ых сигналов. Аналогично, _на передающей, стороне в Qдном ! устроцстве могут совмещаться функции кодирования и -- модуляции. ,. На практике часто необходимо обеспечить в информационных системах независимую передачу сообщений от нескольких источни­ ков. Использование для каждого источника сообщений отдельной линии связи экономически нецелесообразно. - Например, для совре­ менных технических систем передачи информации линии' связи явля­ ются наиболее дорогостоящими звеньями. Поэтому возникает задача построения систем, использующих одну линию связи для передачи сообщений от -нескольких источников. Такие системы наэываю1ся_ многоканальными. Очевидно, в многоканальных системах сигналы, поступающие от разных источников .сообщений, должны обладать определенными при­ знаками принадлежности к своему источнику - канальными_ при­ знаками. Это позволит различать их на приемной стороне. Для это- · го в таких системах, кроме указанных ранее звеньев, на передающей стороне необходимо иметь формирователь канальных признаков - 9
. аппаратуру ··уплотнения, а на -приемной стороне - .разделитель сиг­ ·налов - аппаратуру разделения. - Совокупность устройс1в, обеспечивающих независимую передачу сигналов разных источников сообщений по одной линии связи, на­ зывает~я каналом связи. 1.2. IСРИТЕРIШ ОЦЕНКИ ЭФФЕКТИВНОСТИ КАЧЕСТВА , ИНФОРМАЦИОННЫХ СИСТЕМ •При синтезе и анализе информационных систем необходимо QПерировать определенными качественными и количественными пока­ зателями, позволяющими производить оценку систем, а также ·со­ поставлять их с другими, подобными им системами. Все задачи, стоящие перед •информационными системами, сводятся обычно к двум основным проблемам: обеспечению высокой эффектив­ ности и надежности системы. Под эффективностью информационной системы понимается ее способность обеспечить передачу заданного количества информации наиболее экономичным способом. Очевидно, что эффективность систе­ мы прежде всего определяется максимально возможной скоростью передачи информации. Скорость передачи информации определяется количеством информации,' передаваемой в единицу времени. Макси-­ мально возможную скорость передачи информации принято называть пропускной способностью системы.. Пропускная способность харак­ теризует потенциальные возможности системы. Так как эффективность характеризует экономичность системы, то наиболее полная ее количественна·я оценка будет характеризовать­ ся отношением переда~аемой информации к затратам, связанным ·с передачей данного количества информации. Для передачи информа­ ции с помощью сигнала необходимы определенные за1раты мощности. Кроме того, для передачи и обра~отки сигналов необходимо опреде­ ленное время. Наконец, каждый сигнал занимает в канале определен- ный диапазон частот. Поэтому эффективность характеризует способ­ ность системы обеспечить передачу данного количества информации с наименьшими затратами мощности сигналов. времени и полосы частот. Следует отметить, что известны и другие критерии оценки эффек- 1ивности систем. Приведенное ранее определение эффективности от- _ носится. к чисто информационным системам. Под надежностью технических систем обычно понимается ее спо­ собность к безотказной работе в течение заданного промежутка вре­ мени и в заданных условиях эксплуатации. При этом под отказом. понимается событие, приводящее к невозможности использования хотя бы одного из рабочих свойс1в системы. Количественно надежность оценивается различными показателями. Одним из таких показателей является вероятность безотказной. работы· системы в течение задан­ ного промежутка времени. Однако для информационных систем весьма важной характери· стикой является информационная надежность, под которой будем понимать способность системы передавать информацию с достаточно 10
,, ...:... , ;. -:, \,; ' Q ' - вь1сок9й достоверностью. Дос.товерность количественно характери~ . .• зуется степенью соответс~вия принятого сообщения переданному. Эту величину принято. называть верностью. Снижение достоверности передачи сообщений называется их ис- ., . ..-- кажением, происходящим под воздеиствием внешних и , внутренних (аппаратурных) помех. Способность информационной системы проти­ востоять вредному действию помех называ·ют ,помехоустойчивостью [8]. В дальнейшем будем оценива1ь системы не только ·в информаци­ онном аспекте, но и •эффективностью (в информационном смысле) и помехоустойчивостью. Теория информации и кодирования устанавливает критерии оцен­ ки помехоустойчивости и эффективности информационных систем, -а также указывает общие пути повышения помехоустойчивос1и и эф­ фективности. Условия, при которых может быть достигнуто повышение поме~рустойчивости и эффективности, являются противоречивыми. Повышение помехоустойчивости практически всегда сопровождае1 - с.я ухудшением эффективности и, наоборот, повышение эффективносги .отрицательно· сl{аз~1вается на п_омехоустойчивости • систем. 1.З. ПРЕДМЕТ И МЕТОД ТЕОРИИ ИНФОРМАЦИИ Теория информации - раздел кибернетики, .занимающийся ма­ тематическим описан·ием и оценкой методов •передачи, хранения, извлечения и классификации информации. • Курс теории информации ·представляет собой единую научную дисцичлину, основу которой составляют ма1ематические модели сиг­ налов, количественная оценка инфор~ации, ~еория оценки эффектив- ности и пом~хоустойчивости информационных •систем. • -в нашей стране развитию 1еории информации и внедрению ее в практику уделяется болъtriое внимание. Без приложения теории , информаци_и практически немыслимо создание сложнейших систем управления . космическими кораблями и рак~тами, систем дальней и сверхдальней·космической связи, систем связи.и телевидения с ис­ пользованием искусственных· •Сf!утников · Земли,_ сложных вычислv.­ тельных и управляющих систем и т. д. Метод теории информации есть совокупность приемов исследо­ вания информационных систем (например, методы оценки информа­ ционной способности источника информации, пропускной способ­ ности систем передачи информации, информационной емкости' уст­ ройств, емкости запоминающих устройств). При этом в основеметода лежат материалистическая диалектика, объективные · законы при­ роды и общества, объективные законы действительности. В марксистско-ленинской теор1:1и познания метод учитывает спе­ цифические закономерности деятельности мышления при отражении диалектики предмета, связывает отражение с практико-теоретиче-. -ским воздействием общественного субъекта на объективный мир. Внешний мир, окружающий • человека, воздействует на него че­ рез органы чувств с усилителями или без усилителей чувствитель,­ ности·. Органы чувств дают человеку информацию об окружающей действительности. Получаемая информация преобразуется нервной 11
(lq;ela'la ,, . l 'Системой- 11 мозгом-, 1-ta помощь котQ.;··· рому может подключаться ЭJЭМ или - прqстейшие измерительньtе устройст- - ва, а затем, после соответс1венного -- отбора, -переработки и накопления.· ), используется человеком_ для соответ-· ---~~1 ствующих ответных воздействий -,~ fJmolf)oжeнue (рис· 1. 6·) · • ·:! В роли усилителей чувствитель- . ~ ~"~ ности могут выступать простые и \: сложные измерительные системы (элек- -· ~ тронный микроско,п, радио1 елескоп, - ~ Jf&IЛO'IHUK V лompetfumм1, UlltpOJ)Иfl/,/1/V Рис. 1.6. - косми ческ ие и .астрономические -си- . _стемы и т. д.). Возможности двиrа- .·j тельной системы человека {исполни- ·- j тельных органов) могутусилить ору- ·i дия труда (орудия производства)-. В схеме (рис. 1.6.) информация проходит следующие фазы обращения [23]. Получение информации происходит в процессе частичного или полного снятия неопределенности состояния йли положения объекта в пространстве и времени, в __ процессе познания состояния и положе- ния объекта. • 1Щ1 В фазе восприя:1ия формируются образ объекта, его опознание и ·оценка. При этом отделяется полезная информация от шумов. В ре­ зультате восприятия получается сигнал в форме, удобной для передачи и обработки. • -- В фазе передачи информация передается на расстояние посредст­ вом сигналов различной физической природы соответственно по ме- , ханическим, сейсмическим, . пневматиче·ским, акустическим, опти­ ческим, электрическим и электромагнитным каналам. При приеме информация очищается от, помех. •• Переработка информации осуществляется мозгом человека, ЭВМ или другими устройствами. Применение ЭВМ позволяет расширить возможности мозга при оценке ситуаций и цринятия решений в про­ цес_сах измерения, контроля и управления.· Промежу1очным этаnом переработки может бь1ть· запомина­ ние информации в постоянной, долговременной или оперативной памяти. Фаза отображения, информации состоит в отображении ·на устрой• ствах, способных воздействовать· на органы чувств человека, качест­ венных и количественных характеристик выходной информации .. . Воздействие состоит в том, что под воздействием сигналов, несу­ щих информацию, производятся. регулирующие или другие действия, изменяющие состояние или положение объекта. . На практике встречаются информационные системы, в которых информацией могут обмениваться человек - человек, человек -- м-ашинаt машина - машина, группа машин - человек, группа опе­ раторов -· маш ина . 12
./ 1 • • .,_ ' Контрольные в.опросы -- 1. Что поJiимается под информационными системами? 2. Что такое информация, сообщение. ·сигнал? 3. Какова связь между понятиями информация, сообщение, сигнал? 4. В чем заключается процесс преобразования сообщений в сигнал? 5. Что такое линия связи, канал связи? 6. Что понимается под многоканальными системами? 7. В чем состоят предмет и метод теории информации? . 8. Что понимается под эффективностью и помехоустойчивостью информационных систем?- • • _ .,, . 9. Назовите и охарактеризуйте основные фазы обращения информ~ции, а также системы обмена информацией. • _ . •_ _ . Глава 2. МАТ~МАТИЧЕСКИЕ МОДЕЛИ ___ ДЕТЕРМИНИРОВАННЫХ СИГНАЛОВ _____ 2.1. ОБЩАЯ ХАРАКТЕРИСТИКА СИГНАЛОВ Как отмечалось, сигнал - изменяющаяся физическая величина, обеспечивающая передачу -информации •по линии связ·и. В техниче­ ских информационных. системах используются в большинстве случа­ ев электрические сигналы. Все - многообразие сигналов, используемых в информационных сие1емах, можно по своим особенностям разделить на две основные группы: детерминированные сигналы и случайные сигналы. Детерми­ ·нированные сигналы характеризуются тем, что в любые моменты вре- •мени их значения являются известными величинами. Сигнал, значе- , . ния которого в любые моменты времени будут случайными величина- ми, называется случайным. . Деление сигналов на детер·минированные и_ случайные является условным, так-как детерминированных сигналов в точном их понима• нии в природе нет. На практике. не может быть заранее точно пред­ сказано значение· сигнада в -любые моменты _времен.и, в· противном случае сигнал не нес -бы· ·полезной информации_. Кроме того, любой реальный сигнал случаен в силу воздействия на него многочислен­ ных случайных. факторов. Несмотря на это, исследование детерминированных сигналов весь- ма важно по двум причинам: • 1) математический аппарат, используемый для анализа детерми­ нированных сигналов, гораздо проще апп_арата анализа случайных сигналов; 2) выводы, полученные в результате исследований детермини­ рованных сигналов, могут- быть во многих случаях использованы для анализа случайных сигн~лов. _ Так как в информационных системах применяются преимущест­ венно электрические средства передачи сообщений (проводные и ра­ диосредства), то ограничимся рассмотрением только электриt~~ских сигналов. Электрические сигналы являются _носителями информации лишь при определенном в~здействии (модуляции) на ·один или несколько 13
-·• . '-/~::j('•~•,•• : Г'" '.('-·~·:',;::!'"IЩIS(!•~'~-~" ;N; :~ ~?f;~, -,::и·х параметров. Такие· 'i1ар.,аметр.ы при,няТО. наз~1ва·ть -информат.ИВн-ым~{\:.\_.. ,, . . •. ~, ' • ;·:-~•_'t:, ' или кодовыми. . ·'< Сигналы, как и сообщения. по своей структуре подразделяются на1 ""·,J непрерывные по уровню (множеству) и времени; >j дискретные по уровню и времени; --j дискретные по уровню и непрерывные по· вр~мени; ~епрерывные по ·уровню и дискретные по времени. '"'t Сигналы, непрерывные по уровню и времени, называю1 непре• рь1вными. Сигналы, дискретнь1е, по уровню и времени, наз~ывают дискретными. Сигнал,_ являющийся дискретным только по времени или только •по уровню,_ принято называть дискретно-непрерывным. На практике из этой группы сигналов преимущественное применение нашли сигналы, дискретные только по времени. В связи с этим в даль­ t-Iейшем под дискретно-непрерывными сигналами буд~м подразуме­ вать сиг~алы, дискретные по времени и 1:1епрерывные по уровню. Примерами непрерывных сигналов являю1ся: постоянный ток и напряжение или· гармонические колебания тока (напряжения). В первом случае информативным параметром сигнала может быть только величина тока или напряжения. Во втором случае информа• тивным параме1ром может быть: амплитуда, частота или фаза колебаний. Примером··· дискретно--неnрерыщ1ых_ сигналов явл яе,:ся пос{!едо­ вательность прямоугольных импульсов тока или напряжения. Здесь в качестве информативного параметра •могут быть использованы ам­ плитуда, длительность, часто1 а следования и фаза импульсов (вре•· менной сдвиг импульсов в каждом периоде посылки относительно опорного момента времени). • Дискре1ные сигналы могут представляться в виде отдельных простейших элеме_нтов (посылок) или совокупности таких элементов. Дл~ анализ,а и синтеза и_нформац~онных систем необходимо знать не только х~рактеристики этих систем в виде операторов, но и мате- матические модели сигналов. . в зависимости от методов анализа информационных систем соот­ . ветственно фррме· представления операторов применяются те или иные способы представления сигналов. К основным из них следует отнес1и [9, 101: _ . _ представление сигнала в виде неl\оторой функции времени ·_х (t); представление сигнала в операторной форме х (р); • представление· сигнала в виде некоторой функции· частоты 'Х(ю). При анал11зе процесса прохождения произвольного детерминиро• ванного сигнала через линейную систему или систему, близ-кую к ли­ нейной, удобно представлять его в виде надлежащим образом выбран­ ной совокупности элементарных сигналов. Зная реакцию системы на элементарный сигнал, можно, пользуясь методом суперпозиции, определить реакцию системы на сигнал произвольной формы. К элементарным детерминированным сигн(лам относят единич­ ную_ функцию; идеальный единичный- импульс- и синусоидальное воз-. действие [11 ]. - Един;ичный импул~с и единичная функция используются при временном представлении сигналов. 14 '• ;,
•';!\; jf~!,f:~rr:~~''C-s\':.J;. iJ;~:>,':':':;-:rt :j?/" , ·,;•;::-::~;:г ~: i -~ J •••: ;,,~; ':.i '~ •_ ·. .• -· / -( \ t(t-1:>' f о t r Рис. 2.2. t Свойства единичной ·функции олределяются соотношениями:- -1 (t-· •т) ={0п~и t<-i:; (2.1►- - - 1приt~т,- где t (t - i) - единичная функция; t- время, ,: - момент начала дейстrй1я ещtничной- функции. _ Так1:1м •образом, единичная функция - это временная функция" которая при_ л~бом _t -<. 1; тqжд~ственно равна нулю, а- при любом t ~ т ·рав~а единице:" --Единична-я ·_ :фу нкц ия выражает скачко·обраэ- - ное и:~мен·ение в_·момент времени t = т величины от нуля до единицы. (рис~- 2.1). Свойства единичного импульса (дельта-функции) определяются соотношениями:· б(t -·,:) = {·О при t=1= 1:; - оо при t__'t'; t Sб(t- т:)dt=1(t- т), О<т<t, о (2.2) гдеб(t- т) - дельта-функuия; t - время, -с - момент ,действия импульса. Следовательно, единичный импульс - это идеализированный сиг­ нал, характеризуемый ·бесконечно малрй длительностью, бесконечно - • большим уровнем и площадью, равной един~-це (рис. 2.2). При анализе многих типов технических информационных систем, в особенности при исследовании пропускной способности и селектив­ ности систе~, широко испо~ьзуются синусоидальные элементарные сигналы. В связи с эти~ большой интерес -имеет частотное предс1авле­ ние сигнала, ·т. е. представление модели сигнала в виде совокупности элементарных синусоидальных сигналов. 2.2. ЧАСТОТНОЕ ПРЕДСТАВЛЕНИЕ ДЕТЕРМИНИРОВАВЩdХ: СИГНАЛОВ , В частотном виде могут представляться как периодические, так и непериодические 'детерминированные сигналы. Необходимо заметить, что в реальных условиях периодические сигналы не существуют, так как идеальный периодический сигнал бесконечен во времени, в то время как всякий реальный сигнал имеет 15
• ,-J ~): ~- :- J- >-]..а.- (:(. ,,, '' начало и конец~· О~наiо во ·многих случаях конеч11остью-~времени ·д:ей~·. • ствия сигнала можно пренебречь и для анализа допустимо использо­ вать аппарат, пригодный для идеальных периодических· сигналов . . Период и-i:t еские сиrнаJIЫ Рассмотрим - сигнал, выражаемый произвольной периодической tункцией временн х (t) (рис. 2.3). . Известно, что всякая периодическая функция, удовлетворяющая услов~ям. Дирихле 1>, может быть представлена в виде бесконечной в общем случае суммы гармонических составляющих - рядом _ Фурье. Известны две формы· разложения в ряд Фурье: тригонометриче­ ская и комплексная. Тригонометрическая форма разложения выража­ ется в виде (2.3) 1 где 2 А 0 - постоянная составляющая функции х (t); Ак cos (Kro 0 t - - <f>к) - k-я rармоническ_ая составляющая; Ак, Kro0 t cpk - ампли. туда, ·частота .и начальная ·фаза k-й гармонической составляющей @0= 2;- частота основной (первой) гармоники; т·- · пери9д из­ менения функции х (t) .. В математическом отношении удобнее оперировать ко~плексной формой ряда Фурье, представляемой в виде 00 1~• х(t)=Т ~ Анехр{jKw0t}, k=-oo . (2.4) где А~= Акехр {-jq,k} - комплек·сная амплитуда гармонической составляюще~ частоты rok -= Kro0 • Суммы, определяемые _выражениями (2.3) и (2.4), будут тождест­ венными при выполнении условий А-к=Ак; ·- fP-k = cpk; <ро =О. (2.5) При этом модуль комплексной амплитуды _будет равен амплитуде соответствующей гармонической соста~ляющей,- а аргумент равен- на­ чальной фазе составляющей~ Комплексная амплитуда определяется через временную функцию х (t) с помощью формулы . 2. t1+T Ак = Т- f x(t)exp(-/Km0t}dt. (2.6) t, Совокупность ампли1уд и соответствующих частот гармоник при­ нято называть спектром амплитуд. Совокупность ·начальных фаз и соответствующих частот гармоник ·назьrвают спектром фаз. - t) Условие Дирихле заключается в следующем: функциях (t) должна быть оrра­ ниченнойt кусоч.но-непрерывной и иметь на протяжении периода конечное число эк• стремал-ьных знач:~ний. .. .. . ...... . . •· 16
,1$:·;'; ~-- . 't. ,о • ~_,_,,,., .,-у' ,, ~- , 0·: · _,· ;. < ;°'' \. 1 •' ' ..; .....-_,..,.· -:,:...;. ~:- . · , • ~~~:·:..,;,__ •• •t::·~- ';'"' rA~~l .·:;~:<.·' . .:x}~/J·, ,. _ . 1· >.. ~~.---~ - .' ..•• · • . _::_.Cn~кrp:·. _амriл'птуд •·и.-· спектр ·фаз дtJ ..:~ i) 9д но эн ачн о • -определяют сиrнал.­ ,.ГJ:Однако .для шюгих практических "~( <" задаJ достаточно ограничиться рас­ - смотр~нием только спектра ам- . ~литуд. • . На рис. 2А даны граф11ческйе Рис. 2.3. t -- ~зображения спектра ·амплитуд и спектра фаз периодического сиr­ ·: 1/ П~с!IЭ.- Отдельные спектральные составл~ющие в графическом изобра- r· -· .• - жении· спектра амплитуд называются спек~ральными линиями. . .-~ .. .Характерной ,особенност1>ю спектра периоди_ческоrо сигнала яв..: '--" /1_:;__·J!Jte,rcя его прерывистость {д~~кретн~сть). Рассто~ние между сосед­ -}~·_ _ ?i:fими спектральны~-и \ лцни:~:ми_ одинаковое ~ равно частоте основной гарМО!{ИКИ.'' :· . --~- • . :. • • .• ·: :.. ' . '. Рассмотрим- -в· качестве примера последовательность прямоуголь-­ ных ~мnупьсов. длите.л~ностьIQ_ 't, амплитудой h, -с периодом следова- н~я. ТJрис-. -2.- 5). . _. • . . • ~ -,::}±:<Р-ущсцйя· х_{-t),.о.п.иеЬ1-ВЗ10щая. такой,сиrt1ал, может быть представ-· - . >•~;.:~-~ ~п~::?~ащщ::: ••-: ·· · _:"-/_• - ... . ·x(t)'~-{~'':: ::t:+~;:t:1,~:~~~ l)T; i=O, 1,2, оо. (2.7) Функция х (t) может быть пре;.~ставлена рядом Фурье 00 00 х(t) = ~ ~ Акехр{iKrooi} =-}-А0+~ [Акехр{jKro0t +},, k=-oo k=l + А_к ехр {- jKю0t}J, - _• (2.8) где ro0 = 2; ;АниА-к-· комплекснь1е амплитуды k--й гарм;они- 1А . ки; 20- постоянная составляющая сигнала; Ак Ак = Ак ехр {j<pk}; А_к = Ак·ехр {- jq>к}• Согласно (2.6), комплексная амплитуда 't t1+T 2 .- - 2r · 2r · Ак= Т J х(t)ехр{-iKroof}= Т J hехр{-jl(roof}dt = ' ' ti ' 't • • -2 . /(ЮоТ, /2 sin -- = _2 _h _e_x_p_{_-_,_·к_ffi__o_t}._ l't ' =2_'t_h ___ 2__ Т _ : jKro0 --r:/2 Т Kro 0't 2 - t(f) ' t,rТ 2 5-1834 t 17
. 1 ·•·J:cдl~~:::::~::::!t::~~;~%;,c ,· -~ ~ ~/;~::~/ •• ' ~ • гнала может бь1ть получен.а ·ЙЗ (2.9)<:?;i\ приk==О - _ _:, 1 2· +А0=~Jhdt= ~· -i -2 · ':~ 'Рве.· 2.6.. Таким· обр~эом, разложение в Jl ·· -~~t ; '.. ряд _Фурье периодической последо- • -:;; h •. оо (_2.10)"' Kro0't --::,~ ' • [, х(t)= ~ 1+2~-- К=] .-J: 2 ·1 . . ' • Как видно из (2.1 _0), при очередном:-приращении частоты _на. вели~ 2n- чину -Т фаза гармоник изменяется на величину· л. _ Спектр амплитуд показан на_ рис. 2.6, причем огибающая его оп- - ределяется уравнением А(<О)=2~[~ 1 ; ]. (2.11) где ro = Кт0 - для К-й гармоники. Форма огибающей спектра амплитуд определяется видом функции ,,[··si?т-]· . co't' , при~ем -- ·- 2 r.де п - четное число. lim (t)➔O ro,; sin- 2 (l)'t 2. (l)'t sin -_- . 2 - 1· - t OO't' 2 пл :_Оприro= - , . 't' Непериодические сиrиаJIЫ . Вся кий непериод~ческий сигнал (рио. 2.7) можно рассматривать как периодический. период изменения которого р~вен бесконечности. В связи о этим· рассмотренный ранее спектральный анали·э •периоди­ ческих процессов может быть обобщен и на непериодический сигнал. 18 .1
',.,,., •S(ш} ;'P(6J) · "). -61 ·t J;i~..... ;......,;~-;11..,. _ :;_ -:,1......,1;,:;..,.;.f .. -~;., . . _:-~-ii- -"1-~- . \~;;,~~:~ i=:Lt::;:;;;=~~o~~и~:~:: . • . ейии·>периода т· ИНiерnалы между·. ~МеИ<НЬlМ~:,Часто,-_ . . . •·т~:~<тре сигнала и амплитуды спе~1ральных сgставляющих .·уменьшаются и в пределе при. Т ~ ·оо. становятся ·бесконечно м:алыыи ·величинами~ При этом. ряд Фурье, -отображающий ·спектр~льное ·раз- . ложение периодического сигнала, преобразуется в интеграл ·Фурье,· отображающий• спектральное р~эложение непериодического сигнала" Комплексная форма интеграла Фурье имеет вид со х(t)=2 ~ j S (jro) 'ехр (jrot) dro, (2.1~ -оо где S (/ro) = S (ro) ехр /ер (ro) - спектральная плотность сигнала: S (ro) = 1 S (Jro) 1- амплитудно-.частотная характеристика сигнала: q, (ro) --. фа зочастотная характеристика сигнала. Выражение (2.12) называют формул9й обраtного преобразования Фурье. • Представление непериодической функции интегралом Фурье воз­ можно при ·выполнении следующих условий: , 1) функция х (t) удовлiтворяет условиям Дирихле; 2) функция х (t) абсолютно интегрируема 1>, т. е. - 00 j Iх(t) /di<оо. -со Таким образом, спектр непериодического сигнала в отличие от спектра периодического сигнала является сплошным и представляет собой сумму бесконечного числа гармонических составляющих с бес- конечно малыми ампли1удами. . •Амплитуды гармонических составляющих, исходя из _(2.12), мо- гут быть представлены в ·виде • dA= 2 ~ S (jro) dro, откуда спектральная плотность определится выражением S(jro)=2n~.. 1> Этим условиям удовлетворяет практически любой реальный сигнал. 2• tt
• Спектральная. IIJIQ.ТH-OCTЬ -связана· ·с. временной функцией сигнала -✓ - через прямое преобразование Фурье · - 00 S (jro) = S х (t) ехр {-"jrot} dt. • (2. 13) -оо ~ Спектральная плотность однозначно отображает непериодический сигнал и удовлетворяет условиям (рис. 2.8): 1:_•,· -lim S(ro) • О; • ·• ·, О)➔~ - 2. Модуль спектральной плотности является четной, а аргумент - нечетной функцией -чаtт~:>Ты, т._ е." • S_(-щ) = S(--щ); -q, (ro) = - <р (- ro). Энергетическое· толкован1-е спектра сиrвала •~~ - ''-1 - , ,,., Рассмотрим распределение мощно~ти в спектре периодического -сигнаn-а. Для этоrо предположим, что сигнал представляет· собой ток i -(t}! протекающий по резистору R (рис. 2.9) и описываемый слож­ рой цериодической функцией времени с периодом изменения Т. . Ср едня'я· мо щн о ст ь , . .выделяемая на ·резисторе R, т . Рср••: Si2(t)dt=R/2, о т rneJ2= lsi2(t)dt-. квадрат действующего значения тока. ' о Представив ток i (t) рядом Фурье, получим следующее выражение ;JVIЯ ·квадр-а1а действующего значения тока: • • • 20 / 2 +f[+ло + f Ан СО$ (Kroot--q,k)] 1 dt= 4~fА~+ О ~ 1 , О Аоот_ 1оо~т +-+ _t 1 SАнcos (Кrooi- IPk) dt +Т iLI f'1 SА1А1cos (iro0t- o . l=pl О . ' т • - <fJt) cos (lffi0t - q,,) dt +_+ ~ IAicos2 (Kro0t -- <pk) dt = ,. k=l о А2 - оо = _о+_1 \..., А2 4 2~К• k===:= 1 Следовательно, средняя мощность R (2. 14) Рис. 2.9. Таким образом, средняя мощность, выделяе­ ·мая сложным периодическим током в резисторе, равна сумме средних. мощностей, выделяемых в
c,jr ,.""•. '/, :_ ' . ' ,. ,-_ ,-- . . _, ,. ' ' ' ' ~ .·_:,: .. -. :,·~:· •• .· ,' ~ "-~-- , ..- _,,... . ..., ~-.,. •.' -~- ,.· _,( 0~ 1 , / • • 1 ' , 4.1 _ •• с !резисторе .отдельными. .гармониками тока и его ·постояннои ~ч.· . _,:,;: ( . , 4t • • ( .. .. !,i вляющец. -, • . ..... · . • _.. . _ , •РассмоТ})им ·теперь распределение энергии в спектре __.не-rtериодиче- ,.:Gкого сигнала.. .. <;•<~ i~r~-- • -Энергия,.· вьtделяемая сигналом (током) в резисторе.· в ·один:: Ом, :, ~пределяется выражением •. • • 00 W= ) [х(t)]2dt. (2.15) -оо · Для определения· распределен11я энергии rrо:•спектру· непериодиче­ ского сигнала~ выразим: э!4-ергию ·W ·чер~·э моду.ль спектральной п.цот!- ности сигнала S (ro) [13]~ , • • . Квадрат модуля спектральной плотности можно представить в виде [S (оо)]2 = S(jro) S(-jm), • где S (-jro) - комплексно-сопряженная функция ,для спе~тра_льной плотности S (jro): • •• Согласно (2.13), 00. S (-jro) = ) х(t)ехр{irot} dt. -оо Интеграл от квадрата модуля спектральной, riлотности 00 00 , J• СО 00 .,, J [S ((1))-]2 d(I) = ) S (jro) S(-jro) dro = ) S{jro) Jх (t) ехр {jrot} di4ro., -оо --оо·,.. • . -оо (2. 1_6), '...:' Изменив в (2.16) порядок интеrриров~ния,_ nолу_чим Ioo [S(ro)] 2 dro ' · 1,х (t){ soo,S (jro) ~хр {irot}d~] dt ' 2n l[x (t)] 2 dt; : : Таким образом, энергия сигнала ._ .. 00 . 100 • • 100 . • . w= s[х(t)]2dt = 2л I[S(ro)]2dro = n 1[S(ro)]2 dro. (2.17) . -оо. -оо о :В:ыражение (2J7), пол·учившее· название равенства •Парсеваля, показывает, что энергия сигнала _может быть представлена в- виде суммы беск~нечно .малых слагаеiiых. Ь [S (ro)] 2 dro, соответствующих . 3t ' , . ' . бесконечно малым участкам частотного спектра {рис. 2.10). Вь1раже- 1 . . ' '. . .. . .. н~е - [S (ro)] 2 dro представляет собой энергию, содержащуюся в спект- л •.. . . . ральных составляющих сигнала, расноложенных в полосе частот dro в окрестности частоты ro. Таким. образом, квадрат модуля спекrральной плотности характе­ ризует распределение по спектру энергии . сигнала. 21
f§'(\:\/ \~· ·, -. ,-~ ' ~•·"-· :· .- lnr...JТ2 -- :, -,.,.,-r-.... ~:/~·;."·, ~/ il '~ -~-' · ~~- •1 dfJ t.,J (и Ряс. 2.10. -. . Ее.ли задана энергия сигнала ЛW в определеннрй -по;юсе частот · -_ , Aro в окрестности частоты rok (рис.-2.11), то модуль-спе~тральной плот- ности в точке rок может быть найден из приближенного· равенства S -. / nЛW: - .- (rok)~,JI Лrо..• Практическая ширина спектра сигнала Каждый реальный сигнал имеет конечную· длительность и, СJiедо­ еательно, обладает беско~~чным· частотным спектром. Практически же все каналы связи: имеют оrра~ич~ннуiо полосу пропускания. Сле-­ довательно, при· передаче сигнала через реальный канал связи. может быть передана лишь часть его_ частотно-го спектра. Поэтому прихо­ дится заботиться о том, чтобы обес·печить пропускание через канал связи наиболее существ~нной части спектра. В св~зи с этим введено понятие практической ширины спектра сигнала. . За практическую ширину спектра сигнала принимают диапазон частот, в пределах которого находится наиболее существе1:1ная часть спектра сигнала~ Выбор __ -практической ширины_ спектра сигнала определяется д~умя критериями:· энергетическим 'критерием и кри­ терием доп_устимьiх искажений формы сигнала. • С ·энергетической точки зрени~ практическая 11:1ирина спектра · периодического _р1гнала определяется как область частот, в преде­ лах которой сосредоточена подавляющая частf? всей мощности сигна- - ла. Можно, например, показать (см. nример 2.2), что для nериоди- . ч_еской пос.ле,цовательности импульсов прямоугольной формы длитель~ .. . ,, т . ностью ,; . _ 2 достаточно практическую: ширину· спектра выбрать равной 3ffi0 = 6 ; = 3 ~ ; В этой области часто! сосредоточено 95 %· всей мощности сигнала. В качест~е иного примера рассмотрим одиночный пр_ямоуrоль• ~ый импульс- ·длитель~,остью -r и величиной h (рис. 2. 1·2). Сп~ктрал_ь­ ная плотность такого сигнала определяе,:ся выражением (!)'t оо t/2 sln - S(jffi) = f х(t} ехр {~jrot} dt..:.. ) h ехр {- jrot} dt = ,:h -ro-'t- 2 -оо -Т,/2 2' и представлена на·· рис·. 2.13. 22 /::. _ ·- ... •"v\_" . J:: (2.18)
1· - MIJ,J) - 100 80 GO ·4/J •20 о -f X{f) о r 2 Рис. 2.12. - --- =..::;;.;.-..-.--..... 1f 1.!!. т l1lr Рис. 2.14. t о К(й,). • • 4JГ т--- Рис. 2.18. Ki------ () 4)и)/} '1 ' Рис. 2.15. В соответствии с. (2.17) энергия_ а,ш(t) 4) ~сигнала, сосредоточенная .в полосе .....-+______ ..,,__.....,......,....... часrот от О до ro1, Ф1 Ть W1 = ~J[S(ro)]2dro = о =-r 2 h2 sro•[ sin ~t ] 2 - . dro. 1t OO't' - о_. Т Рис...2.16. Относительная величи_на энергии одиночногq_ •импульса, сосредо­ то9енная в полосе частот· от О до ro 1 , выражается функцией • • [ (J)'C ]Q roi sin - .а- Л(ro1)=::=;J_;_ dro, - о 2 (2.19) . . где W0- == тh2 - ·полная энергия одиночного прямоугольного· импульса• График функции л (ro1 ), называемый интегральной кривой рас·_ пределения энергии сигнала в спектре, показан на рис. 2.14-[13, 14], - О 2n бо откуда видно, что в полосе частот от до ro1 = --- сосредоточено лее . 'С 90 %_всей энергии сигнала и ,ц,анный диапазон частот может быть вз_ят в качестве практической ширины спектра одиночного прямоуголь­ ного импульса. При этом дальнейшее увеличение практической ши­ рины спектра ведет к незначительному увеличению энергии в данном 2л диапазоне частот, так как при 001 > - кривая л (001) довольно пологая" - . ~ • 23
- • ~~-J • - •. .:/ - ,)·;-·· •. •10 ',! {,' АналогИчн~ оПределяетJя Практическая ширина спектра неперИ· одических_ сигналов любой другой формы. , В т"ех случаях, когда в~жно сохранить требуемую форму сигна­ ла, пользуются вторым критерием выбора· практической ширины спектра .сигна-':}а. . • Известно, что неискаженная передача формы сигн~ла будет обес­ печена. при ус.ловии, что комплексный коэффициент передачи кана­ ла связи имеет вид .К (jro) = К ехр {-jroT0 }, т. е. амплитудная и фазовая .характеристики канала должны опреде­ ляться_ законом К(ro) =К = const; ер(ro) = roT0• Передача .сигналов по реЗЛьному каналу,. обладающему огр·ани­ ченной полосой пропускания, сопровождается искаже!lием формы сигналов. На практике Qажное значение имеет обеспечение доста-точ­ но высокого значения крутизны или допустимого значения длит.ель­ ности фронта ,импульсов. Для оценки влияния ширины полосы пропускания канала связи на искажение формы сигналов рассмотрим в· качестве примера про­ хождение прямоугольного импульса длительностью 't и величиной U через канал .связи, представляющий ~обой идеальный фильтр низ­ ких частот. Коэффициент передачи этого· фильтра выражается за­ _висимостью (2.20), при этом в' диапазоне частот О ~ ro ~ ffiь модуль коэффициента передачи К (ro-) = /( = const и аргумент q:, (ro) = ffiT0 [14, 15]; вне этого диапазона К (ro) = О (рис. 2.15). 1 В теории цепей показано, что. выходной сигнал в этом случае может быть представлен аналитически в виде йвых.(t) - UК \S sin ro (~....:...То) dro-J sin ro [t-:?o +''f)) dro 11 . . о . о • / Формы переднего и заднего фронтов импульса иск_ажаются оди:- •наково. На рис. 2.16 показана -форма переднего фронта выходного сигнала. Чтобы выходцой сигнал смог достичь наибольшего значения, активная длительность переднего фронта tФа должна быть не больше длительности. входного и-мпульса 't. При этом,- как показал анализ (14, 15],. должно быть справедливо условие - О4 . О4 - 't~-'- или fь ~-·-'-. fь· 1. 't (2.21) Выражение (2.21) можно испQльзовать для выбора практи- ческой ширины спектра прямоугольного ~мпульса при' заданной его . длительности. 24
"',,•. _, " ~';: .f;?~' ?t.~"(:;:'!,i; : ,, • ' С ••..•· .• • . r, ' ·:~f?- . :; ,;, ·:-. •• ,-,'\ ..:/· 2.8. ttРИМЕРы· · ·, \ _, - •• Пример 2:Р·НайтИ спеКтр поС.Ледовательности косинусоидал~~ых ,/···,,,импульсов ·(рис. 2- .17).· ••- , , • _ • - .;~> - . Рещеяие. Функциях (t), описывающая данный,.сиrнал,·может.быть ~:,itре~ставлена сл~дующим образом: 1. hco~roof при -( ; •-. iT)~t~ ~ + iT;. ·x(t) = О -при - (*+iT)< t <- (~ +if) ' 2n Т2· ,; +·т·- .t З,; ·т <00 =-:r;_ •== 'tИ2 t<·<:2+~t; . / r· . Комплексная ампдитуда ,сигнала,_ согласно (2.6), t/2 _ .Ак ~-.: . f kcos.ffiolёxp{-.·- jK~t} dt- -~- -т.12 = 2; т. -ехр firootJ +2ехр {- jroJ} ехр {-jKrooO dt = / -Т,/2 't h -== - 2 •2- . Т,/2 _ . Sех~J-:-: j (К -_ 1)Фi} dt + J ._ ехр {-j(/(+.J )ro0t} dt t -т./2 -2 ~- ; [ ехр{нк-1)ro 0 ~JK-_e::J~ j(К- 1) ro 0 -i} + + _е~р{i(К+1) ro 0 tl/+e::l~ f,(K +I}ю0 +} ] .•_· n (К~ l) sin (К­ - I)ro0T + n(/+l) sin(К+1)ffio.T = ., - h- /(m0~ ·h Kro0i; - n(К·-1)cos 2 +n(J<+1):cos 2 Дt) t О 2(J)0 4ы0 бы/) Выо Рис. 2.17. Р"с. 2.18. 25
Так как cos о = cos.- = . ,. . 1 . · i(oo't1 1 .Kn 1 {1 при, К четном • 2 2 О при. К нечетном, -- то-спектр сигнала содержит только четные гармоники, при ~о~ комп- лексная ам~литуда. - . -2h Аи=Л:'(К2-О •, Модуль комплексной амплиrуды А_ 2h . к - n(К2-1). График с~ектра амплитуд изображен на рис. 2.18. Пример 2.2. Определить практическую_ ширину спектра перио­ , дн.ческой последовательности прямоугольных,; импульсов при ширине . импульсов - r, равной половине периода следования импульсов Т, если требуется учесть все гармонические составляющие ·сигнала, содержащие не ..-менее 95 % ·общей. мощности ~игнала. . Решение. _Как ранее бы.[.(о установлено, в составе спектра такого сигнала содержатся только нечетные гармонические составляющие. Из выражения (2.14) видно, 11ТО _мощность сигнала может быть пред­ ставлена в виде Ро=~ +~(2:;)2+f(:) 1 +-н::)2+f (;:У+ ·.. •••=h 1 [++:2 (1+;2 +J-+7~+ •••)=+h'. Если спектр сигнала ограничить первой -гармоникой, то в нем бу- , • . - - (1 .2) .- •• . h'- +- ·200 - - - • Р 4 n2 .. дет содержаться Т • 100 = . h2 ·= 90 % асей мощ- о ностй сигнала. ·.При учете и третьей гармоники процентное содержа- • • г1 2(.)• • р h 2[-Т +n2 1+ g -200 ние мощности в спектре будет Р: • 100 =· h2 :_,_ 95 %. Таким образом, практическую ширину спектра сигнала можно . . п считать равной 3000 ~ 3 -. . - 't' Пример 2.3 . Найти спектр одиночного импульса высокочас.тотных колебаний (рис. 2.19). • Решение. Функция х (t)t описывающая данный сигнал, может быть nредставлена в виде о 't .. "t при т<t<-т· 26
Дf) тt .2 . S(м) -Рис. 2.19. Рис. 2.20. Спектральная .плотность так-ого ·сигнала равна 00 't/2 . . S(j(J})== fх(t)ехр{-· jrot}dt= f hcoSro0tехр{-jrot}dt= -оо -1:/2' h~ h~ = 2 ~ ехр{j((1)0- ro)t}dt+2 Jехр{-.•j-(ro0;tro)t}·dt=-= _ -т:/2 -т,/2 . . • _Е_ [exp{j (ш0- 6J)-i -}- ехр {.::_ j (6J0 - ro) f} +- 2. • j(Фо- (а)) . + ехр{-j(ro0 + 6J) +}-ехр{i (ro0 + ro) +} ]= -/{(&)о+ m) • . (ю0- ro)-r . .. s1n-.-- h •( )'t+ h •(+)'t h't 2• •• -= ( .)S1Пroo- СО - 2 ( +).SlПЮо ~-2 ==- 2 ( ) + . roo- ro (Оо ro _ roo- ro 't 2• . (Юо+Ф)'t SlП _, --- •• h1t . 2· - , +- ~2·· . • (~о+ю)'t - • . . 2 Из сравнения получен·ного выражения с выражением (2.18) для спектра одиночного 1tмпульса такой же длительности и величины h, но без высокочастотного заполнения, видно, что по отношению к спект­ ру прямоугольного· импульса спектр_ импульса высокочастотных ко­ лебаний смещен. на величину несущей ro0 и расширен в два раза за счет появл_ения зеркального отображения спектра. ... • График модуля спектральной • плотности одиночного импульса высокочастотных колебаний показан на рис. 2.20. Пример ~.4. Определить спектр экспоненциальноrо импульса {рис. 2.21). • • Решение·. Экспоненциальный импульс определяется функцией { hехр{- ~t} при t~О; x(t)- - О при t<O. 27
Рис.· 2.21. -) о Рис. 2.2.3.. • r t Рис. 2.25. о t S(ru) f о $р}, f ... __.......,____ о и) о- Рис. 2.:.32 . 'f((l)j J'f о . 2 .,______ (J) tI' и) Рис. 2.24. • иГ Спектральн~я плот-, ность такого сигнала r 00 S (jro) ... .\' hexp х о / х -Pt}ехр{-jrot} dt = 11) h Рис. 2.26. - ~+jш Модуль- и фаза спектральной плотности определяются соответст­ венно выражениями:. - h • --- . ю... • S- (ro) • -----;::=~ • . m (ro) = а_rctg ---;:г • . .·. ·-v~2+u,2 • ' 'У 1-1 На рис..2 .22, а и б приведены графиl{И модуля И' фазы спектр аль- .ной плотньсти экспоненциального импульса·. , • Пример 2.5. Определить спектр сигнала ·включения величи·ной U (рис. 2.23). , . . Ре ш ен ие . ·Сигна~ включения определяется функцией _; {Иприt'~О;~ . x-(t)=Ul(t)·= О tО . .при<. Единичная функция 1 (t) не удовлетворяет условию абсолютной интегрируемости и, следовательно, к ней нельзя применить преобра-­ зование Фурье. Однако· ее можщ) рассматривать как обр·азованную из импульса экспоненциальной формы (рис. 2.21) при н-еограниченнЬм уменьшении его коэффициента ·затухания ~ -+ О. •' В соответствии с этим спектральная плотность сигнала включе- ния будет равна • • S(•) 1· и ии{•.л} JФ=1mА+. = -.- =- ехр --J -2 • ~➔О tJ. /Ю . /Ю (1) 28
l_., ....~r•и -~• •• ~• ' ; ;/Jоткуда модуль и фа_sа :спектральной· плотности определ;яются выр аже.. • - :(~ ниями~ , • '' и S(ro)=00: ·<р(ro)=~ . i: · .· Модуль и фаза спектральной плотно'Сти сигнала включения при- 1~; . rf:,:,__ ведены н·а рис. 2.24 . ;~:._- • Пример ·2.6._ ··Найти спектр дел-ьта--функции~ ,;,, .. Решение~ Дельта-функцию ·можно трактовать ~,~ :~ -: - как предельную 1 форму прямоугольного импульса длительности 1i и амплитуды -, 't :получаемую при ,; -+ О (рис. 2.25). Тогда, исходя иэ (2.18), приняв амплитуду импульса равной h = 1 - ~t получим . IO't' sin - 2-_ S(jro) =lim ---=1. 'i'➔O ffi't' 2· Модуль и фаза -спектр-ал-ьной -плотности· равны. S (ro) = 1; q>(ro)~О. • График спектральной плотности дельта-функции показан на рис. 2.26. Контрольные вопросы 1. Какие детерминированные сигналы относятся к элементарным сигн-алам? 2. I(акие способы представления моделей сигналов Вам известны?· • 3. В чем заключаются преимущества чаетотного метода представления сигналов? 4. При каких условиях периодическая функция может быть представлена рядом Фурье? 5. Что понимается под спектром амплитуд и спектром фаз? _ 6. Каковы характерные особенности спектра периодическо~о сигнала? 7. При каких условиях непериодическая функция может быть представлена ин­ тегралом Фурье? 8. Каковы свойства сп~ктральной плотности сигнала? 9. Каким образом можно .-rfdлучить_ спектр- непериодического сигнала непосред• ·ственно из спектра соответствующег.о -nер,оди'ческеrо сиrн,а.ла? 10. Как можно энерrетически истолковать спектр· периодического и непериодиче• скоrо сигналов?- 11. 'Что понимается под практиqеской шириной спектра периодического и непе­ риодического сигналов? Какие известны критерии выбора практической ширины спект" ра сигнала? 12. Как выглядит спектр экспоненциального· импульса, сигнала ,включения. R дельта-функц~и? Глава 3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ СЛУЧАЙНЫХ СИГНАЛОВ ----- ------------- З.1. СЛУЧАЙНЫЕ СИГНАJIЫ И ИХ ВЕРОЯТIIОСТНЫЕ ХАРАКТЕРИСТИКИ Как уже отмечалось, -в реальных условиях все сигналы имеют случайный характер. ~следствие этого получателю заранее не из­ вестно, каким будет передаваемый ~игнал. 29
' )' ,. ,. .Однако .нельзя также утверждать, что ·приемная сторона не рас- . полагает .абсолютно никакими предварительными (априорнь1ми) дан.,. ными о _сигналах. Во-первых, предварительно· обычно известно все _ множество, весь ансамбль возможных сигналов. Во-вторых, имеются, как прави;ло, с_ведения об 9жидаемой вероятно~ти тех или ины~ сиг- • налов из общего ансамбля сигналов. Например, _при передаче текста речи известно, какие буквы используются при п~реда~,_- каки~. буквы~ с•тания букв и сочетания ~ов должны передават-ься чаще и какие рей. _ _ .Таким образом, предварительные сведения, которыми мы распо­ лагаем о сигналах, носят статистический характер. Поэтому для исследования прохождения сигналов через информационные системы следует применять статистические методы. Целесообразность ·применения статистически_х методов обусловле­ на еще и тем. что на сигнал ВОЗJ{ействуют помехи, представляющие. к~к правипо, неизвестную функцию времени. Основным содержанием задачи приема сигналов на 'фоне помех я~ляется наиболее полное извлечение информации из сигнала. Успешного решения этой задачи можно .достичь только на основе использо_вания статистических ме­ тодов приема . . .Н акон ец, целесообразность . ис~ользования статистических ме­ тодов вызвана еще и тем, что .характеристики систем, по которым проходят сигналы, под влиянием разнообразных внешних и внутрен- них факторов могут изменяться случайным образом. . Процесс, описанием которого является случайная функция вре­ мени, называется случайным процессом.· Иногда вместо термина , солучайный процесс» применяют в том же смысле термины «стохас1·и- ческий процесс» или «вероятностный процесс». •_ Конкретный вид, ·принимаемый случай~ь1м Qроцессом в рез·уль­ тате опыта, наэы~ает~я р'еализацией· процесса. Отдельн~1е наол·юдения над случайным процессом,_ протекающим в однотипных системах при одинаковых условиях опыта, дадут различные реализации слу­ чайного процесса х1 (t), х2 (t), ... , xk (t) (рис. 3.1). Вид функции xk (t) случайным образом меня_ется от одного опыта к другому. Совокупность реализаций случайного процесса, полуqенных в результате опытов,, называется ансамблем _реализаций случайного пр·оцесса х (t). Величина k-й' реализации случайного п·роцесса .в _определенный момент времени (например~ t • t1) -называется выборкой случайного процесса xk (t1). Совокупность значени_й выборок в определенный мо­ мент времени (например, t = t1) образует случайную вели~ину х (t1). Вероятность того, что в определенный момент времени t = t1 величина х находится в интервале между ·х1 и х1 + dx, - Р[х1~х(t1 ) -~ х1+dx]= w1 (х,t1 ) dx, (3.1) где ro (х, t1) -- одномерная плотность вероятности или одномерная фун-кция распределения случайного- процесса х (t). Плотность вероятности w 1 (х, t1) есть в общем· ~случае функция времени, так как зависит от .t1 , ·является частной производной от ин- тегрально~ функции _распределения F 1 (х,. t1 ) ~Р(х1<х) , (t) дF1 (х. t1) • • W1Х,1= дх :ю
Оо lt л,+L1l1 Рис. 3.2. На рис. 3.2 приведен график наиболее часто встречающегося, на . практи ке нормального закона распределения плотности вероят.н·ости u u . - случаинои величины х. Математическое описание этого' закона имеет вид . 1 { [х(t1) - а] 2 } w1(х,t1) == у ехр - 22 , 2~cr2 0 . . (3.2) где а и о - математическое ожидание и среднеквад·ратическое 01 клоне­ ние случайной величины х. Заштрих.ованная на рис. 3.2 площадь под кривой распределен~я равна вероятности нахождения х в интервале между х1 и ~1 + _Лх1 : • . 1 . х1+Лх1 . • [х(t1)·_ а12} р[Х1~Х(t1)~Х1+Лх1J = -v- .. rехр{- 22 dx .. 2na2-J - · а • Х1 (3.3) • При любом законе распределения плотности вероятности справед­ ливо равенство 00 .. Sw1(х, х1)dx== l. (3.4) • -оо Одномерный закон распределения плотности вероятностей .яв­ ляется простейшей статистической характеристикой случайного про­ цесса. Он •дает представление о процессе лишь в отдельные, фикси..; рованные мом~нты времен,и; характеризует ~роцесс статически и не дает представления о динамике его развития. Для более полной -характеристики случайного процесса необхо­ димо знать связь между вероятными значениями случайной ·функции при двух произвольных моментах времени"' t1 и t2 . Эта связь выражает-. ся через двумерную плотность вероятности и· формулируется следу­ ющим образом~ ·- ве ро ят но ст ь ·нахождения л,юбо·й из функций xk (t)~ входящих в совокупность функций х (t), в интервале (х1, х1 + dx 1) в момент времени t1 и в ,интервале (х1 , х2 + dx2) в момент времени t, р[Х1~Х(t1)·~ Х1+·dx1; •Х2·~Х(t2)~Х2+dx2] = = w2 (х1, t1; х2, t2) dx1dx2, _ (3.5) ' 1 ' 1•• где w2 (х1 , t1 ; ~ 2t2) -- двумерная цлотность вероятности или двумерная функция распределен.и я случайного процесса х ·U) .. . 31
',> ~-f ,', :.А О,~ ,; ...,: -.,.:.~,._• °' • •••" О - ~• -. ,- .:• :• ••~• - ,,•'/•••; 1 , • ·~' • ,,' • На рис. 3.3 приведена ·поверхность дву~_,... _ ~:'_ мep_:t1oro нормального· закона· распределения ·,- %(fi) • плотности 'вероятности для случайных вели~ чин_ с нулевы~ ср·едним_ .·значением в мо_мен-- ты времени t1 , t2. ~ Рассуждая аналогичным образом, можно ввести понятие о трехмерной w3 (~1 , t1; х2, t2; х3, t3 ), • а также оп-мерной w11 '(х1 , t1 ;.x 2 , t2;х3, t8; •• ~, Хп, tп) плотностях вероятности случай- ,,; - Рис" з.з. ного процесса х (t). Тогда вероятность сложно- го события, заключающегося в _том, что в момент времени t1 функция x.(t) находит.~я в интервале (х1 , х1 + dx1), в момент времени t2 • функция х (t) находится в интервале (х2 , х2 + dx2 ) и т. д., в момент времени tn находится в интервале (~п, хп+ dхп) и, т. д., Р[х1~х(t1)~~1 +dx1; х2~х(t2)~х2+dx2; ••• ; Хп~х(tп)~Хп+dx,i] === W11(x1t1; X2t2, ... : Хпtп) dx1, dx2, .. -_, dxn. (3.6) Чем больше число п, тем точнее п-мерная функция распределе­ ния характеризует статистические свойства случ~йноrо процесса. Однако п-мерные функции р~спределения могут быть получены с по­ мощью довольно сложной и трудоемкой обработки множества реали­ заций случайного про_цесса. При пользовании п-мерными функциями распределения встречаются существенные математические трудности. Поэтому на практике чаще всего оперируют конечным числом число­ вых· характеристик, которые дают, 'безусловно, менее полную. харак­ теристику случайного проце~са, но- до~таточны для :решения. ряда важных. задач и, кроме того, могут быть получены путем сравнитель-- но простой обработки реализации случайного проuесса. 1 . 3.2. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ СЛУЧАЙНОГО ПРОЦЕСС~ •В качестве числовых • характеристик слу'чайного процесса чаще - всего применяются моментные функции.- Простейшими моментными функци_ями,. в основном используемы~и для характеристики случай­ ных процессов, являются моменты распределения первых двух поряд­ ков: математическое ожидание, •дисперсия и корреляционная функ­ ция случайного процесса. - Математическое ожидание (или первый начальный момент одно­ мерного закон·а ра~пределения) выражается формулой 00 а[х(/1)) = m1 [х(t1)] = f xw1{х, t1) dx. (3.7) --оо Физически математическое ожидание выражает среднее значе­ ние совокупности выборок случайного процесса (случайной ·Величины , х (t1 )) в определенный момент времени t1 .
Дисперсия (или второй центральный момент одномерного закона распределения) - это математическое ожидание квадрата отклонения величин х (t1) от математического ожидания в определенный момент времени t1 t определяемая выражением D[х(t1)] = т1{[х(t1) - m1 {х(t1)}] 2 }= 00 = ) (х1- а[х(t1)J}2w1(xt·t1)dx. (3.8) -оо Дисперсия выражает меру разброса значений случайной величины х (t1 ) • около математического ожидания, иными словами - «степень случайности» величины х (t1). Корень квадратный из дисперсии принято называть средним квад­ ратическим отклонением случайной величины. Среднее значение квадрата случайной величины х Uп) - началь­ ный момент второго порядка вь1ражается формулой 00 cr2 [х (t1)] = m1[х2 (t1)] = S x2w1 (х, t1) dx. (3.9) -оо Физически начальный момент второго порядка выражает полную среднюю мощность случайной величины, в то время как второй цент" ральный момент (дисперсия) - среднюю мощность отклонения слу­ чайной величины относительно математического ожидания. Положительный корень о [х (t1)] из этой величины называется средним квадратичесю-1м значением х (t1). Из (3.8) можно установить следующую зависимость между диспер­ сией и средним квадратическим значением случайной величины 00 D[хU1)J . r{х2- 2ха[хU1)]+а2[х(/1)]}W1 (х,i1)dx = -со 00 00 = j. x2w1(х, t1)dx - 2а[~(t1)] j xt1(х,11)dx+ -со -оо 00 +а2[х(t1)] 5w1 (х, t1) dx. -оо 00 С учетом того, что S w1 (х, t1) dx = 1, ·можно получить -оо (3 .10) т. е. дисперсия равна разности квадратов среднего квадратического значения и математического ожидания. При а = О дисперсия D [х (/1)] совпадает с квадратом среднего квадратического значения cr2 [х (t1)] случайной величины х (t1). Математическое ожидание, дисперсия и среднее квадратическое значение случайной величины являются в общем случае функцией ; времени. Они приближенно характеризуют поведение случайного · процесса в отдельные моменты времени, но совершенно не затрагивают 3 5-1834 33
связь между значениями случайного процесса в различные момен­ ты времени. Эту связь выражает корреляционная функция Кхх (t1• t2) (второй смешанный начальный момент}. определяемая как среднее значение произведения значений случайной функции х (t) в моменты времени t1 и i2, 00 00 Кхх(t1, t2) = m1[Х(t1)Х(/2)] = S S X1X2W 2 (Х1,i1;Х2,i1)dx1dx2; (З. Щ -оо -оо Связь между значениями двух случайных процессов х (t1) и у (/2) в моменты времени t1 и t2 соответственно выражает взаимная корреля­ ционная функция Kxu (t1 , t2), определяемая как среднее значение про­ изведен и я х (t1) у (t2) 00 00 • Кх11 (t1, t2) = т1 [х (t1) У (t2)] = S S X1Y2W2 (Х1, i1; У2, t2) dx1dY2· (3.12) -ао-оо Иногда рассматривают нормированную автокорреляционную rx:c и взаимную корреляционную rх11 функции (коэффициенты корреля­ ции), определяемые выражениями (tf)_ Кхх(t1, ti) . rхх12- оtx(t1)]а[х(t2)] • (3.13) (t t) Kxy(t1, t2) rху 1, 2 =.(Jrx (/1)](J [у(t2)]• (3.14) Нормированные корреляционные функции удобны тем, что они не превосходят единицы по абсолютной величине при ·а = О Математическое ожидание, дисперсия, квадрат среднего квадрати­ ческого значения и корреляционная функция, определяемые выра­ жениями (3.7), (3.8) и (3.11), получены путем осреднения по множеству реализаций случайного процесса для фиксированных моментов вре-. мени. Осредненные характеристики могут быть также получены пу­ тем обработки одной из реализаций случайного процесса на достаточно большом интервале времени. Среднее по времени значение случайного процесса определяется выражением - 1т х= lim 2т Sх1(t)dt, Т➔ео -Т (3.15) где xt (t) - реалиiация случайного процесса х (t); Т - время наблю­ дения процесса. По аналогии пользуются понятиями среднего по времени значе- ния от функции х2 (t), от квадрата разности [х (t) - х] 2 И от произ­ ведения х (t) х (t + 't), определяемыми соответственно выражениями - 1r х2 = lim 2т Sх;(t)dt; Т➔010 -Т (3. 16) 34
т - т = J~ 2~ 5х~(t)di- }~~ ; 5х,(t}dt+х2=х2- (х)2; -Т -Т (3. 17) 1ir х(t)х(t+т)= lim 2т х1(t)х,(t+,;)dt. т➔оо -Т (3. 18) В общем случае для различных реализа~ий случайного _процесса получ~ются различные значения среднего по времени от х (t), х2 (t), [х(t)-х]их(t)х(t+т). Если предположить, что х (t) представляет изменение напряжения (или тока), то физически (3.15) равно мощности постоянной составля­ ющей, рассеиваемой на сопро1ивлении в 1 Ом. В связи с этим считают, что среднее по времени х выражает мощность постоянной составляю­ щей реализации случайного процесса xl (t). По аналогии можно считать, что (3.16) выражает полную сред­ шою мощность, а (3.17) выражает среднюю мощность «случайной» составляющей процесса х (t). Если случайный сигнал является дискретным, то чиСJiовые харак• теристики определяются выражениями: • п х= L Pkxk; k=l п [Xk-Х]2=~ pk(Xk- Х)2; k=I п XkXk+e = L Pk,k+eXkXk+e, k=1 (3.19) где Pk - априорная вероятность случайной величины xk; Pk,k+e - совместная априорная вероятность величин Х1, и X1i+,; п - число зна­ чений случайной величины х. 3.8. СТАЦИОНАРНЫЕ СЛУЧАйПЪIЕ ПРОЦЕССЫ В информационных системах очень часто встречаются случайные процессы, протекающие во времени приблизительно однородно. Эти процессы имеют вид непрерывных случайных колебаний около неко­ торого среднего значения, причем ни среднее значение, ни характер этих коле9аний не претерпевают существенных изменений во вре­ мени. Такие случайные процессы называются стационарными. В качестве примеров стационарных случайных процессов можно привести шумы на выходе электронных устройств, случайные коле­ бания в цепях питания и т. д. В любой динамической системе случайный процесс начинае1ся с так называемого «переходного» процесса и затем переходит в уста­ новившийся режим, который с некоторым приближением можно счи- 35
тать стационарным. Строго говоря, стационарные процессы беско---, нечны во времени, т. е. не имеют ни начала, ни конца. Таких про- ~ цессов практически нет. Однако многие случайные процессы на опре­ деленных отрезках времени с определенным .приближением можно , считать стационарными. Известно два понятия стационарности: стационарность в узком смысле и стационарность в широком смысле. Под стационарнь1ми процессами в узком смысле понимаются слу­ чайные процессы, для которых функция распределения плотности вероятности w11 (х1, t1; х2, t2, •.. , хiп) произвольного порядка п не меня­ ется при любом сдвиге всей группы точек t1 , t2 , ••. , t,i вдоль оси време­ ниL14],т.е.длялюбыхпит Wn(Х1,i1; Х2,t2; •••; Хп,tп)= Wn(Х1,11+,;; Х2,i2+'t; ...;Хп,!11+'t). (3.20) Из приведенного определения следует, что для стационарных процессов: а) одномерная функция распределения плотности вероятности не зависит от времени, т. е. w1(х,t1) =w1(х,t1+т)= w1(х); (3.21) б) двумерная функция распределения плотности вероятности за­ висит только от разности времени t2 - t1 = 't, т. е. W2(х1,t1;Х2,t2)=W2(Х1,Х2;t2- t1)= W2(Х1,Х2,т); (3.22) в) трехмерная функция распределения плотности вероятности зависит только от двух разностей времени i2 - t1='t 1 и!3 - t1='t2 , т. е. Wз(х1,t1; Х2, t2; Хз, tз) == W3(Х1, Х2, Хз, t2 - t1; tз--t1)= = Wз(Х1,Х2,Хз,'t1,'t2),ит.д. (3.23) Поскольку математическое ожидание и дисперсия выражаются через одномерную функцию распределения плотности вероятности, то на основании следствия (а) можно утверждать, что для стационар­ ного процесса математическое ожидание и дисперсия не зависят от времени. Вследствие зависимости двумерной функции распределения только от разности времени -r = t2 -_ t1 , корреляционная функция стационарного процесса также зависит только от разности времени ,; . Таким образом, для стационарных процессов а[х(t)]= а(х); D[х(t)]= D(х); (3.24) Кхх U1, f2) = Кхх ('t). На практике наиболее часто встречаются случайные процессы, для которых при выполнении условий (3.24) моменты высших поряд-­ ков зависят от времени. Поэтому понятие стационарности оказалось целесообразным расширить, приняв за основу определения стацио· нарности условия (3.24). В связи с вышеизложенным введено понятие стационарности 36
в широком смь1сле (или стационарности в смысле А. Я. Хинчина), согласно которому стационарными процессами являются такие слу­ чайные процессы, у которых математическое ожидание и дисперсия не зависят от времени, а корреляционная функция зависит только от разности времени т = t2 - t1. Случайные процессы, стационарные в узком смысле, будут всегда стационарными в широком смысле, но не наоборот. Стационарные случайные процессы по своей природе проще, чем нестационарные, и описываются более простыми характеристиками. Ввиду того, что стационарные процессы встречаются на практике очень часто, получила широкое применение специальная теория ста­ ционарных случайных процессов. Раздел теории, посвященный изучению лишь тех свойств процессов, которые определяются момен­ тами первых двух порядков, называется корреляuионной теорией случайных процессов. Так как свойства стационарного процесса во многом определя­ ются свойствами корреляционной функции, то для изучения стацио·­ нарного процесса нужно, в первую очередь, определить свойства корреляционной функции. 3.4. СВОЙСТВА КОРРЕЛЯЦИОННОЙ ФУНКЦИИ СТАЦИОНАРНОГО СЛУЧАЙНОГО ПРОЦЕССА Определим, как ведет себя корреляционная функuия при неог­ раниченном увеличении разностного временного интервала t = t 2 - - t1- По мере увеличения временного интервала 't зависимость между величинами х (t) и х (t + т) ослабевает. В пределе при t -+ оо эти величины становятся независимыми. Тогда с учетом того, что мате­ матическое ожидание произведения случайных независимых величин равно произведению математических ожиданий сомножителей и что для стационарного процесса математическое ожидание не зависит 01 времени, получим lim Кх.х('t) === limm1[х(t)х(t + ,;)] = lim[т1[х(t)]]т1[х(t+т)]=а2(х). 1:➔ОО "[➔оо (3.25) Таким образом, при неограниченном увеличении аргумента т корреляционная функция стремится к квадрату математического ожидания случайного проuесса. . Следовательно, при 't -+ оо корреляционная функция равна мощ­ ности постоянной составляющей реализации случайного стационар" наго процесса. При уменьшении временного интервала 't зависимость между ве­ личинами х (t) и х (t + 't) усиливается и в пределе при 't -+ О получим 1iшКхх('t)===liш m1 [х(t)х(t+т)]=т1[х2(t)] =т2[х(t)]. (3.26) t-O т➔О Таким образом, при т == О корреляционная функция равна началь­ ному моменту второго порядка функции х (t). Следовательно, дисперсия стационарного случайного процесса D(х) =Кхх(О) - Кхх(оо). (3.27) 37
- ---- --.= ----:--,f----. ... . •;' о. о -r о о ·r Рис. 3.4. В силу независимости функции распределения плотности вероя1• ности стационарного случайного процесса от начала отсчета време­ ни корреляционная функция является четной функцией 't, т. е. Кхх ('t) = Кхх (- 't). (3. 28) • Можно показать, что корреляционная функция по абсолютному значению максимальна при 't' = О. Действительно, если рассмотреть математическое ожидание квадрата суммы или разности величин х(t) и х(t+'t), то получим m1 {[х(t)±х(t+-r)]2} = m1[Х2(t)]±2т1[х(t)х(t+1:)]+ +m1 [Х,(t+'t)]= 2Кхх(О)± 2Кхх(i'). Так как среднее значение положительной величины (квадрата суммы или разности двух величин) не может быть отрицательным, то 2Кхх (О) ± 2Кхх (i-) ~ О. откуда 1 Кхх ('t) 1~ 1Кхх (О)/. (3.29) На рис. 3.4 показаны типичные кривые корреляционной функции Кхх (т). Как видно из рис. 3.4, асимптотическое приближение функ­ ции Кхх ('t) к установившемуся значению а2 (х) может происходить как монотонно (рис. 3.4, а), так и немонотонно (рис. 3.4, б). На практике часто вместо случайного процесса х (t) рассматривают его отклонение от математического ожидания х0 (t) = х (t) - а (t), называемое пульсациями или флюктуациями процесса (центрирован- ным ~учайным процессом). • Корреляционная фун.к ция пульсаций стационарного случайного процесса равна К~х(,;) =т1[Х0(t)Х0(t + т)] =т1{[х(t)- а(х)][х(t+'t') - - а(х)}=m1[х(t)х(t+'t)]- а(х)m1[х(t+ ,;)]- - а(х)m1[х(t)]+а2(х) =Кхх(,;)- а 2 (х). (3.30) Из (3.30) следует, что математическое ожидание пульсаций равно нулю, а их дисперсия [)О (х) = К~х (О). (3.31) 88
r(r) f -т r, r Отношение Рис. 3.5. ГО ('t') = Кхх ('t) х 00 (х) f/r) ., о r tf (3.32) называется нормированной корреляционной функцией (коэффициен­ том корреляции) пульсаций случайного процесса (или случ.айного процесса с нулевым средним). Типичные кривые нормированной кор­ реляционной функции пульсаций показаны на рис. 3.5 . Для чисто случайного стационарного процесса всегда можно указать значение интервала 1i = 't' 0 , что при т > i-0 величины х (t) и х (t + 't) можно считать практически независимыми, причем прак­ тическая независимость понимается в том смысле, что · при 't>-r0 абсолютная величина коэффициента корреляции остается меньше заданной величины (3.33) Величина б обычно принимается равной 0,05. Интервал i-0 назы­ вают временем корреляции случайного процесса. Время корреляции иногда определяется как половина ширины основания прямоуголь­ ника единичной высоты, площадь которого равна площади под гра­ фиком коэффициента корреляции (рис. 3.5), т. е. 1 00 о • 1 00 о 'to = Тfrх(,;)d,; = 0 f Кхх (,;) d'l1. (3.34) Кхх (О) -оо -оо 3.5. ЭРГОДИЧНОСТЬ СТ АЦИОВАРНЬIХ ПРОЦЕССОВ Существует класс случайных процессов, обладающих важным для практических приложений свойством эргодичности. Случайный процесс называется эргодическим, если усреднение по множеству с вероятностью, сколь угодно близкой к единице, рав­ но усреднению по времени. Следовательно, для эргодических процессов справедливы равен­ стваз а(х)= m1[х(t)J=х; D(х)= m1 [х(t) - m1{х(t)}]2 = [х(t)- х]1; 39
G2(х) =т1[х2(t)] = х2; (3.35) Кхх(т)=m1[Х(t)х(t+т)]== х(t)х(t+1:) . Развернув выражения средних по множеству и по времени, получим ао Т а(х)=I xw1(х)dx= lim 2~ Iх1(t)dt; -оо Т-+оо -Т 00 Т, D~х)= I[х- а(х)]2w~(х)dx = lim 2~ I[х;(t)- х]2dt; ~оо Т➔оо -Т (3.36) 00 Т а2(х)=f x2w1(х)dx • lim т~г)х7(t)dt; -оо Т--+оо -Т ао оо Кхх(т) = j .\ x1x2w2 (х1, х2, т)dx1dx2 = -оо -оо Эргодическое свойство случайного процесса имеет большое практи­ ческое значение. При исследовании таких процессов нет необходимости изучать большую совокупность реализаций, а достаточно лишь од­ ной реализации, наблюдаемой в течение длительного промежутка вре­ мени. Например, статистические свойства флюктуационных шумов на выходе электронных усилителей можно изучать в течение достаточ­ но продолжительного времени на одном усилителе, а затем результа-­ ты этого исследования распространить на все идентичные устройства. 3.6. СПЕКТРАЛЬНАЯ ПЛОТНОСТЬ СЛУЧАЙНОГО ПРОЦЕССА Как установлено ранее, при изучении детерминированных сиг­ налов весьма удобным оказался гармонический анализ. В связи с этим желательно использовать аппарат преобразований Фурье и к слу­ чайным процессам. Однако непосредственное приложение классиче­ ского гармонического анализа к случайным процессам невозможно в основном по двум причинам: 1) реализации случайно.го процесса xk (t) обычно не удовлетворяют условию абсолютной интегрируемости 00 \ lх~(t)1dt< ос; t; -оо 2) для случайного процесса х (t) частотный спектр (в классическом представлении) также является случайной функцией. Для обобщения аппарата преобразований Фурье на случайные процессы необходимо использовать такую характеристику процесса, которая имеет неслучайный вид. Такой характеристикой является средняя мощность процесса. 40
Путем усреднения по ансамблю реализации получено следующее выражение для энергетической характеристики совокупности реа­ лизаций случайного процесса [16, 17]: , 00 00 G(ro) = --k- I К ('t) ехр {- jwт:) dт: : I К (т;) cos rот:dт:. (3.37) -оо ~ Это выражение представляет собой прямое преобразование Фурь~ для корреляционной функции. Обратное преобразование Фурье име­ ет вид 00 00 К (т:) = { J G(ю) ехр {jroт:} dro = J G(ro) cos roт:dro. (3.38) -оо о Преобразования (3.37) и (3.38), связывающие функции G (ffi) и К ('t}, носят название преобразований Хинчина - Винера. Так как для стационарных эргодических процессов усреднение· по множеству может быть заменено усреднением по времени, то функ-· цию G (ro) можно представить в виде G()-1· 1 Sk (jro) 12 ю- 1m т. Т➔оо n (3.39)- Таким образом, энергетический спектр стационарного эргодичес­ кого процесса может быть определен двумя путями: а) непосредственным наблюдением одной реализации xk (t) и на­ хождением предела (3.39); б) нахождени~,М преобразования Фурье корреляционной функции. Функция G (ю) играет большую роль при исследовании преобра­ зования случайных сигналов линейными системами. Удобство спектральной плотности G (ro) состоит и в том, что функ­ ция G (m) может существовать даже тогда, когда не существует пре­ образования Фурье от функции xk (t). Для выяснения физического смысла функции G (ro) примем в (3.38) 't=о • . ()О К(О)= f G(ro)dro. (3.40) о А так как К (О) выражает мощность случайного сигнала, то G (ы).· дает усреднен_ную энергетическую картину распределения мощности сигнала по частотному спектру. Выражение (3.40) показывает, что мощность случайного сигнала может быть представлена в виде бес-­ конечной суммы бесконечно малых слагаемых G (ffi) dm соответствую­ щих мощностям, заключенных в пределах спектра [m; ffi + dш] .. 3.7. ШИРОКОПОЛОСНЪIЕ И УЗКОПОЛОСНЫЕ ПРОЦЕССЫ Из свойства преобразований Фурье следует,· что при растяжении функции К ('t) ее частотный спектр G (w) сжимается и, наоборотt _ при сужении К ('t) частотный спектр G (w) -расширяется (рис. 3.6). 41
/ ,,/ •r - -й) fl(rv) о Ktf) /' // о (J щ! о (i иJв Рис. 3.8. r ~: ~ : ar(JJJ • -(1) о {/) tf ~ Рис. 3.6. - кмl .. (,,) -r. о r tf Рве. 8.7. K(r) r Рис. 3.9. В связи с этим рассмотрим гра­ ничный и наиболее интересный слу­ trай G (ro) = 00 = const, т. е. случай, когда спектральная плотность мощно­ сти равномерна на всех частотах и спектр сигнала неограничен. Случайный процесс, имеющий Рис. З.10. равномерный на всех частотах спектр, называют белым шумом. Функция спектральной плотности белого :шума представлена на рис. 3. 7, а. Корреляционная функция белого шума OQ К(-r) = +S 00 ехр {jrot} dro = nGo/3 (i-), (3.41) -оо поскольку интеграл -оо 2~ S ехр {jrot} dro = б (-r). -оо Таким образом, корреляционная функция белого шума выражает­ .ая дельта-функцией (рис. 3. 7, 6) 42 {оопри 't = О; /(('f) = О при -r =1=- О.
Очевидно, белый шум х (t) •характеризуется тем, что значения х (t) в любые два (даже сколь угодно близкие) моменты времени некор­ релированы. Такой случайный процесс ин·огда называют абсолютно случайным. Необходимо подчеркнуть, что понятие «белый шум» основано на спектральном свойстве случайного процесса и совершенно не связано с законами· распределения плотности вероятности. В частности, если белый шум имеет нормальный закон распределения, то его называ- ют нормальным белым шумом. • Белый шум в точном смысле является идеализацией, никогда не встречающейся в реальных условиях, хотя бы потому, что достаточно близкие значения случайной функции практически всегда . зависимы, а также и потому, что реальные процессы имеют конечную мощность, а для белого шума полная мощность процесса бесконечна. Однако подобная идеализация во многих важных практических случаях значительно упрощает математический анализ и не вносит сколько­ нибудь существенных погрешностей. Спектры реальных процессов практически ограничены полосой частот Q3 = rов - rон вследствие ограниченности полосы пропускания реальных систем. Если белый шум пропустить через идеальный фильтр низких час­ тот с граничными частотами rон = О, wв, то на выходе получим шум с ограниченным спектром (рис. 3.8). Корреляционная функция такого .сигнала оов S . sin ювт. sfn ю8,: K('t) = 0 0 cosrotdro "00rов--- = Р0 --- . ювт. шв~ о (3.42) где Р0 = 00 rов - средняя мощность процесса. График корреляционной функции (3.42) представлен на рис. 3.9. Для такого процесса интервал корреляции 't'0 имеет конечную величину, которую можно определить, например, как интервал между точкой 't = О и точкой, где К ('t) первый раз обращается в нуль, 1t т.е.,;0=- . (J)B Следовательно, ограничение спектра влечет за собой появление корреляции, причем по мере сокраще.ния полосы частот Q9 = ro 8 интервал корреляции увеличивается. В случае, если для случайного процесса спектр непрерывен и со­ средоточен около некоторой фиксированной частоты ro 0 , причем вы­ полняется условие (3.43) то такой процесс называется узкополосным. Если узкополосный спектр обладает максимумом при ro 0 и сим­ метричен относительно этой точки (рис. 3.10), то корреляционная функция процесса [16] 00 (1)0 К (-r:) = JG(ro) cos ro-rdro = f G(ro0 - (а)) cos (оо0 - w) тdro == о -оо 43
[1> (ro 0 - ro) cos roтdro] cos ro 0 -r +[s~G(ro0 - ro) sin ro'rdro] х х sin rо0т. Поскольку по условию полоса спектра пренебрежимо мала по сравнению с частотой ro 0 , то верхние пределы интегрирования без особt)Й погрешности можно распространить до бесконечности. Принимая во внимание, что второй интеграл, как интеграл от синуса в бесконечных пределах, равен нулю, получим 00 ,.. К ('т:) =:: cos ro0т ~ G* (ro) cos w,:dro = Ьт cos ro0't, (3.44) -оо где G* (ro) = G(ro0 - ro); 00 00 Ь(т)= IС*(~)cosuн:dro = 2IG* (ro) cosroтdro. -оо о Из (3.44) видно, что корреляционная функция узкополосного процесса, спектр которого расположен симметрично около некото­ рой частоты ffio, равна умноженной на cos rо0т корреляционной функ­ ции Ь ('t), которая соответствует спектру G* (w), полученному из исходного смещением на величину u> 0 в область низких частот. 3.8. ЭФФЕКТИВНАЯ ШИРИНА СПЕКТРА СЛУЧАЙНОГО ПРОЦЕССА Под эффективной или эквцвалентной шириной спектра принято \ u принимать ширину полосы частот, в пределах которои сосредоточена подавляющая часть (обычно 95 ·%) мощности процесса. Однако при анализе случайных процессов, характеризуемых неравномерным спект­ ром с ярко выраженным максимумом (рис. 3.11), часто пользуются понятием эффективной ширины спектра, определяемой выражением 00 5G (ro) dro Q===о _ К (О) э Gm.ax Gmax ' (3.45) где Gmax - наибольшее значение функции спектральной плотности. Так как интервал корреляции определяется с учетом (3.37) соот­ ношением 00 SJК('t) 1d,; о :rtG (О) К (О) 2К(О) ' о _______. , _ _-. !::Q------ lu то может быть установлена следую­ щая связь между интервалом кор­ реляции и эффеJ<тивной шириной Рис. 3.11. 44
спектра процесса: (3.46) З.9. ПРИМЕРЫ Пример 3.1. В измерительном приборе· расстояние между сосед­ ними метками шкалы постоянно и равно а. При округлении отсчета до ближайшего целого деления погрешность округления по абсолют­ ной величине не превышает половины расстояния между соседними метками шкалы. Найти плотность распределения вероятности, математическое ожи­ дание и дисперсию погрешности округления. Petueнue. Погрешность при округлении отсчета можно рассмат-­ ривать как случайную величину х, которая может принимать с равной вероятностью любьiе значения в пределах от - ; до + ; . Следова­ тельно, плотность распределения случайной величины х постоянна в а а пределах от - 2 до+ 2 и равна нулю за этими пределами (рис. 3.12). то Так как должно быть справедливо равенство а а 2 2 fw1(х)dx=w1(х)fdx= I, Аналитически закон равномерного распределения можно записать I а 1 Оприх<-2; 1 а а w1(х)=с.(при -2~Х~2; о а при х>т. Математическое ожидание и дисперсия погрешности округления в соответствии с (3. 7) и (3.8): w(:х) 1 а а 00 2 2 а(х)= fXW1Xdx= fх~dx= ~ ~ 2 1 -оо а а --т --т = ~(~2 _ ~2 )2=О; , а -х_(lо [l :r. 2 2 Рис. 3.12. 45
а. 00 2 D(x) = )[х- а(х)]2w1(х)dx = fx 2 ~dx= -оо а -т Пример 8.2. Контрольно-измерительное устройство имеет системати­ ческую по~решность 30 мВ и случайную погрешность, распределен­ ную по нормальному закону со средним квадратическим отклонением 10 мВ. Найти вероятность того, что общая погрешность устройства примет значение, принадлежащее интервалу 10-50 мВ. Решение. Вероятность того, что погрешность х устройства на 11ревыснт по абсолютной величине заданного предела, равна 50 1 r ехр {- (х 2_.,.2а)2 1· dx. PtlO~x~50) = у- J u 2na2 to Введем новую ~еременную Отсюда Тогда х-а Z=-- х=az+а; dx=adz. 50-а о P(I0~x~50) = /- f ехр [- +dz] == 2n 10-а - (J - а 50-а 50-а (J fехр{-;}dz= о ----- 10-а l а{2 1 ° {2} - у2л;jехр-~}dz-. у2n jехр-f dz. Пользуясь функцией Лапласа Iх{z 2 l Ф(х)= у2л; fехр - TJdz, о окончательно получим р(lО~Х~50)=Ф(50;а)_ Ф(1О;а). 46,
В нашем случае а=30мВиа=1ОмВ. Тогда с помощью таб~ицы функции Лапласа (см. приложение) найдем Р = (10 ~х~50) = Ф(2)-Ф(-2) = 2Ф(2) = 2 • 0,4772 = 0,9544. Пример 8.3 . Совместная плотность вероятности случайных ве­ личин х и у имеет вид 1 { 1 [ (х- ах>2 w2(х,у)= V ехр - 21tOxOy 1 - к;у 2(1- К;у) cr; _ 2Кху(х-ах)(у-ау) +(у-ау)2]}, Ox(J~ (12 у r)!:e ах, ау, ах, fJ у и Kxu - параметры распределения. Определить плотности вероятностей w1 (х) и w1 (у) мучайных ве­ пичинхиу. Petueнue. Плотности вероятностей w1 (х) и w1 (у) могут быть опре­ делены. исходя· из следующих свойств двумерной интегральной функ­ ции распред~ления F2 (х, у): х1/ F2(х,у)=)) w2(х,у)dxdy; -оо -оо х 00 F2(x,oo)= S Sw2 (х, у)dxdy = F1(х); -оо -оо . 00у F2(оо,у) = )5w2(х, у)dxdy=F1(у), -оо -со где F1 .(х) и F1 (у) - одномерные интегральные функции распреде­ ления случайных величин х и у. Тогда одномерные плотности вероятностей w1 (х) и w1 (у) могут быть определены из соотношений: 00 W1(х) = dF1 (х) Iw2 (х, у) dy; dx - -оо со W1 (у)= dF1 (у) fw2 (х, у)dx. dy- -оо п х- ах -- Иу-ag V роиэводя замену переменных --- -------- = , получим J/2ax ' У2оу W1(х)= _ V 2ехр{- и 2 2}х У21tox 1- Кху 1- Кху х_lехр1- 1-lк;ll v2 + 1~K~II иIdV; 47
Известно [26], что 00 fехр{-R 2 x2±gx}dx= v;ехр{4 ~ 2}• -оо Тогда W1(х)= 1 ехр{-V 2 } f2п.Ох пли W1(х) = 1 .ехр{-И2}. У2лох Таким образом, величина х подчинена гауссовскому закону с па­ раметрами ах и ах· Произведя аналогичные вычисления, получим w1(у) = V_I ехр{-(у - ?) 2 l. 2лау 2ах f Пример 3.4. Корреляционная функция процесса х (t) задана вы­ ражением Кх(т)= Аехр{-а(т)}, где а > О (рис. 3.13). Найти спектральную плотность. Решение. В соответствии с (3.37) спектральная плотность 2С 2А( • 2Аа G(ro) = лJКх(т)cosuYtdт = 31Jехр{-a1t}cosffi'td't = n (а2+w2). о о График G (ro) показан на рис. 3.14 . Пример 3.5 . Найти спектральную плотность для процесса с кар· реляционной функцией вида б--функции. Ре~иение. Исходя из определения f) функции как предела прямо- 1 угольного импульса {)" (t), длительности 't и высоты - при 't~О '& 00 интеграл f х (t) б (t) dt, где х (t) - произвольная функция, может -оо быть представлена в виде 48
Согласно теореме о среднем значении, 't ~ 2 2 fim Sх(t)- 1 dt= limх(0)- 1 S dt, 't➔O 't" -.;...,О 't ~ 't -у -т где ·х (0) - среднее значение х (t) в пре~елах [- _!_. --=-] • -Т 2'2 Jе1~t:. 't 2 Так как интеграл j +dt = 1, то 't -т 't 2 limх(0) S+dt = lim х(0)=х(6). 't 't ...o - 2 1e1~'t K(:r) о Рве, 3.13. •V -Тогда, полагая в формуле (3.37) для спектральной плотности Kz (-r) = = t, (t) и ехр {- jro1:} = х (t), с учетом полученных соотношений по­ лучим 00 00 G(ro) ..., . -} SК..,(t)ехр{-jrot}dt = +Sб(t)ехр(-jrot)dt = -оо -оо = -3⁄4-1ехр{-jro,;}l-r=o = f . Следовательно, при корреляционной функции типа l)-функ­ ции спектр равномерен на всех частотах (сигнал типа <<белый шум» см. рис. 3.7, а и 6). Пример 3.6 . Найти корреляционную функцию для процесса со спектральной плотностью в виде б-функции - G (ro) = б (ro) (рис. 3.15). Решение. Согласно общей формуле (3.38) и исходя из определения б-функции как предела прямоугольной функции ширины Q и высоты 1 - 1Г при Q .. -+ О, получим 00 00 К (t) = -{ - S G(ro) ехр {jro't'} dro = +f б ((i)) ехр {j(i)t} d(i) = -оо , Q т -оо = lim -} S ехр {jroт} {- dro = --} - 1ехр {jro-т:} l(J)=O = +. ,~➔ О g .· . -т Графи~ корреляционной функции представлен на рис. 3.16. Пример 3.7 . Белый шум со спектральной плотностью G (со) =- = G0 ~ const проходит через усилитель с частотной характеристикой 4 5-1834 49
Рис. 3.14. о Рис. 3.15. (J} -т Kfc) о Рве. 3.16. в форме гауссовой кривой К(ro) =Коехр {- (оо -;-~~ 0) 2 }• Найти спектральную плотность и корреляционную функцию _вы­ ходного сигнала. Решение. Спектральная плотность выходного сигнала 01(ro) = G01К(ro) 12 = 00К~ехр{- (оо~roo) 2 }• Таким образом, спектр шумов на выходе усилителя также имеет форму .гауссовой кривой. Для случая, когда спектр сигнала узкополосный, симметричен относительно частоты ro 0 и обладает в этой точке максимумом, кор­ реляционная функция в соответствии с (3.44) К(т:)= [2J01 (ro0 - ro) cosroт:dro] cosrо0т:= 00 == 200К~ cos rо0т: ~ ехр {- ;: } cos roт:dro = ' о V- 2 f ~2-r2 \ = лG0Ko~ ехр l--- 4 -J cos ffi0't~ Пример 3.8 . Найти энергетический спектр случайного процесса, имеющего корреляционную функцию гауссового вида К(-r) =К(О)ехр{- ~ 2 't 2 }. Определить ширину спектра и интервал корреляции процесса. Решение. В соответствии с (3.37) энергетический спектр ОС) 00 О(ro) = ~ SК(т:)cosrот:dт: = ~ SК(О)ехр{- ~ 2 't 2 } cos ro,:d,: = о о К(О) { ro 2} = ~-Vnехр- 4~2 • Следовательно, случайный процесс гауссового вида имеет и энер­ гетический спектр rayccoвoro вида. 50
Эффективная ширина спектра, согласно (3.49), 00 00 rк(_о) { ro2 l SG(ro) dro J ехр - ~f dro о о ~-V"n 1--' v- Qз = --G -m-ax-- - К (О) =~n. ~Yn Интервал корреляции процесса 00 00 • '°'о= К~О) IК('t)d't = Iехр{- ~2't2} d1: = ~; . о о Пример 3.9 . Найти корреляционную функцию и спектральную плотность для стационарного случайного сигнала х(t)=Аsin(root +<р), где А и ro 0 - постоянные амплитуда и угловая частота; q> - случай­ ная начальная фаза, равномерно распределенная на интервале (-n; n). Решение. По определению корреляционной функции (3.11), имеем Кх('t) = m1 [х(t)х(t+i-)] = n - ~А2sin(roJ + r.p)sin(roof + ro0't+ r.p)w1(q,)dr.p. -п Учитывая, что 1 W1(q>)= 2n; sin а sin ~ = +{cos (а-~) - cos (а+~)], находим А2 Кх(т)= - 2- cos rо0т. Спектральная плотность в соответствии с (3.37) 00 G(ro) = -3⁄4- jКх(-r)ехр{-jroт:} d,; = -оо 00 А2 - 2л;_ jcos ro0'tехр {-jrot} d,: = -со 00 = :: j[ехр{j(ro0 - оо) ,;}+ехр{-j(ro0 +ro)т}]dt. -оо 00 Учитывая, что [26] 2~ i ехр {jro't} d't = 6 (ro), окончательно по- -оо лучаем 51
Контрольны,е воп р осы, 1. I(акие трудности возникают при использовании п- мерных n~отностей распре­ деления вероятностей случайного процесса для анализа передачи информации? 2. I(акими усредненными характеристиками описываются обычно случайные про• •цессы? 3. Что пони·мается под математическим ожиданием и дисперсией случайного про­ цесса? 4. Что понимается под средним квадратическим значением и средним квадратиче­ ским отклонением случайной величины? 5. Что понимается под корреляционной функцией случайного процесса? 6. Что понимается под стационарностью случайного процесса в широком и узком смыслах; всегда ли процессы, стационарные в узком смысле, будут стационарными в широком смысле, и наоборот? _ 7. Каковы основные свойства корреляционной функции стационарного процесса? 8. Что понимается под временем корреляции случайного процесса? 9. Какие случайные процессы называются эргодическими? 10. Почему невозможно непосредственное приложение классического гармони­ ческого анализа к случайным процессам? 11. Какова связь между спектральной плотностью и корреляционной функцией случайного процесса? 12. Какой случайный процесс называют белым шумом? 13. Какова корреляционная функция белого шума? 14. Что понимается под эффективной шириной спектра случайного процесса? 15. Какова связь между интервалом корреляции и эффективной шириной спектра случайного процесса? Глава 4. КВАНТОВАНИЕ СИГНАЛОВ ----~------- 4.1. СПОСОБЫ КВАНТОВАIШЯ СИГНАЛОВ Во многих случаях первичные сигналы в информационных систе­ мах непрерывны как по множеству, так и по времени. Передача таких сообщений встречает трудности, связанные с появлением аппа-­ ратурных погрешностей, погрешностей от нестабильности параметров линий связи и т. п. С целью устранения этих погрешностей произ­ водят преобразование непрерывных сигналов в дискретные. Дискрет­ ная форма представления сигналов дает значительные преимущества при хранении и обработке информации. Наконец, дискретизация сигналов позволяет использовать одни и те же устройства (каналы связи, устройства обр-аботки информации) для большего числа раз­ личных сигналов. Преобразование непрерывных сигналов в дискретные называют квантованием сигналов. Необходимо различать квантование по времени и квантование по уровню. Квантование по. времени заключается в замене непрерыв­ ного сигнала х (t) дискретным по времени сигналом Xg (t), значения которого для фиксированных моментов времени t0 , t1 , t2 , ••• , t,,, совпа­ дают соответственно с мгновенными значениями непрерывного сиг• нала (рис. 4.1, а и 6). Квантование по уровню заключается в замене непрерывного множества значений сигнала х (t) множеством дискрет­ ных значений. При этом шкала возможных значений сигнала раз­ бивается на определенное количество уровней и непрерывное зна- 52
X{t) х,т t,t,t2 а о Рис. 4.1. 6 t чение сигнала заменяется ближайшим из этих уровней (рис. 4.1, в). Часто сигнал подвергается квантованию как по времени, так и по уровню. 4.2. КВАНТОВАIШЕ ПО ВРЕМЕIШ При квантовании по времени непрерывная по аргументу функция х (t), описывающая сигнал, преобразуется в функцию Xg (t) дискретного аргумента. Такое преобразование. может быть выполнено путем взя­ тия отсчетов функции х (t) в определенные дискретные моменты вре­ мени t0, t1, t2, •... , tn. В результате функция х (t) заменяется совокуп­ ностью мгновенных значений х Ut), i = О, 1, 2, ... , п. Временной интервал Тк = t, - tt-t между двумя соседними фик­ сированными моментами времени, в которых задается дискретная функция, называется интервалом временного квантования. Величи" на, обратная интервалу временного квантования (4.1) называется частотой квантования. По мгновенным значениям х (t,) можно восстановить исходную функцию с определенной точностью. Функцию, полученную в резуль­ тате восстановления по отсчетам х (tJ, называют воспроизводящей. Очевидно, с уменьшением интервала временного квантования Тк воспроизводящая функция будет с большей точностью отображать исходную функцию х (t). Однако уменьшение Тк приводит к увели­ чению времени занятости канала связи, требует использования кана­ лов с большей пропускной способностью. Поэтому интервалы Тк нужно выбирать так, чтобы по отсчетным значениям х (tt) можно было бы с заданной точностью получить исходную функцию. Квантование сигналов по времени может быть равномерным и не­ равномерным. При равномерном квантовании функции х (t) интервал времен­ ного квантования Тк постоянен. Его величина выбирается на основе априорных сведений о характеристиках сигнала. При неравномер.. нам квантовании интервал между отсчетами изменяется по случайно-­ му закону или с учетом изменения характеристик сигнала (адапти•в- ное квантов~ние). Адаптивное квантование реализовать труднее, чем 53
nр1рь16атиь равномерное, однако оно позволя­ ет значительно сократить число из­ быточных отсчетов и, следовательно, избыточную для потребителя инфор­ мацию. Рис. 4.2. Известно· несколько критериев вы­ бора интервалов временного квантования. К таким критериям отно­ сятся: частотный критерий В. А. Котельникова [5], корреляционный критерий Н. А. Железнова [18], критерий допустимого отклонения воспроизводящей функции от исходной [19] и др. 4.3. РАВНОМЕРНОЕ КВАНТОВАНИЕ ПО ВРЕМЕНИ При равномерном квантовании точки отсчетов tt функции х (t), отображающей исходный сигнал, равномерно размещен по оси t. На рис. 4.2 представлена упрощенная функциональная схема устройства, обеспечивающего равномерное квантование по времени сигналов. Генератор импульсов вырабатывает управляющие сигналы, сле­ дующие с частотой fк, с которой необходимо квантовать входной сигнал х (t). Прерыватель обеспечивает отсчеты мгновенных значе­ ний сигнала х (t) в моменты поступления управляющих сигналов - генератора импульсов. Устройство управления устанавливает час­ тоту генератора импульсов и определяет время работы устройства. Частотный критерий Котельникова Данный критерий выбора частоты квантования базируется на те­ ореме Котельникова, которая формулируется следующим образом: если непрерывная функция х (t) удовлетворяет условиям Дирихле (ограничена, кусочно-непрерывная и имеет конечное число экстрему­ мов) и ее спектр ограничен некоторой частотой fс, то она полностью определяется последовательностью своих значений в точках, отстоя- 1 щих на расстоянии Тк = 2 ,с друг от друга. Аналитически теорема Котельникова выражается интерполяци­ онным рядом 00 x(t)= ~ Х(kЛt) sin[roc (t- kЛt)] ~ Wc(t- kЛt) ' k=-oo (4.2) n 1 где Лt= - =- 21 Wc с Непосредственно из (4.2) следует, что непрерывная функция с ограниченным спектром может быть представлена в виде суммы бесконечно большого числа членов, каждый из которых является sin у произведением функции вида. -У- (функции отсчета) и коэффициен- та х (kЛt), определяющего значение функции х (t) в моменты отсчета. 54
Рис. 4.4. Функция отсчетов представлена графически на рис. 4.3, где вве­ дено обозначение 't' = t - kЛt. Эта функция в момент времени t = = kЛt достигает максимального значения и равна единице. В момент времениt= (k+i)Лt,гдеi= 1,2,3, ..., оо, функция отсчетов об­ ращается в нуль. sin оо 't • Как известно, функция вида с представляет собой реакцию Фс't идеального фильтра нижних частот с граничной частотой roc на дельта- функцию. [Iorдa, если через такой фильтр пропустить квантованный по времени сигнал с частотой квантования fк = 2f O = roe , то сумми- л руя выходные сигналы фильтра, можно получить исходный непрерыв­ ный сигнал х (t).J , Все это свидетельствует о фундаментальном значении теоремы Котельникова, так как она указывает на возможность восстановления исходного непрерывного сигнала по его отсчетным значениям. Однако при практическом применении теоремы Котельникова возникает ряд принципиальных затруднений. Как видно из выражения (4.2), для точного восстановления ис­ ходной функции необходимо получить и просуммировать реакции фильтра на входные импульсы на всей оси времени от -оо до_ ...+оо · или хотя бы достаточно большого количества импульсов до и после аппроксимируемого участка функции. Практически реализовать это трудно. Далее, функции отсчетов, генерируемые фильтром низких частот, должны иметь бесконечную протяженность во времени как для положительных, так и для отрицательных значений t. Такие фильтры физически неосуществимы. Наконец, на практике приходит­ ся иметь дело с сигналами, ограниченными во времени и обладающими, следовательно, бесконечно широким спектром, что противоречит основному условию теоремы Котельникова. Однако на практике никогда не требуется идеально точного вос­ произведения передаваемого сигнала. Поэтому с целью использования теоремы Котельникова для кван­ тования сигналов реальный спектр сигнала, простирающийся от нуля до бесконечности, условно ограничивают некоторым диапазоном час" тот от· нуля до roc, в котором сосредоточена основная часть энергии спектра (рис. 44). Энергия отсекаемой части спектра сигнала характе­ ризует погрешность, возникающую за счет ограничений спектра час• татой roc. Эту погрешность можно оценить отношением энергии, 55
содержащейся в отсекаемой части спектра, к общей энергии сигнала roc 1\,'Wg = -оо----.- • JI S (jro) 12 dro о (4.З) Погрешность удобнее оценивать в приведенных значениях. Тогда дисперсия приведенной погрешности, возникающей в результате огра­ ничения частотного спектра сигнала, 100 :rr.T S IS (jro) 12 dm с (1) D с ' W = -------2 - с (Xmax - Xmin) t (4.4) 00 ir - где nTc J. 1S (jro) 12 drо-средняя мощность отсекаемой части частотно-- Фе го спектра; Те - длительность сигнала; Xmax, Xm1n - предельные значения функции х (t), описывающей сигнал. Дисперсию приведенной погрешности удобнее представить в виде vwcPт Dw=(Х Х)2 с max - min (4.5) ос Xmax где Рт= tt~c S IS(jro) 12dro = S x2w (Х) dx - средняя мощность сиг- о Xmin нала. Выражение (4.5) по заданной величине Dmc и при известных Рт, Xmax, Xmtn и спектре функции х (t) позволяет определить частоту те, ограничивающую спектр. КорреJ1.яциоииый критерий ЖеJiезвова В основе модели сигналов, предложенной Железновым, лежат следующие допущения: сигнал х (t) представляет собой недетерминированный стационар- ный или квазистационарный процесс; длительность сигнала Те конечная; спектр сигнала сплошной и отличен от нуля на всей оси частот; интервал корреляции сигнала 't0 «_ Те; функция корреляции сигнала равна нулю вне интервала т0 ; мгновенная мощность сигнала ограничена и не может изменяться скачком. Так как сигнал предполагается случайным, ограниченным по вре­ мени и обладающим неограниченным спектром, то модель сигнала Железнова значительно ближе к реальным сигналам, чем модель Ко­ тельникова. 56
Единственным ограничением в этой модели являются ограниче­ ния, накладываемые на функцию корреляции, так как предполагает­ ся,чтоК(t)=Оприt>'to• Железновым было доказано [18], что стационарный или квазиста­ ционарный сигнал с неограниченным спектром определяется со сколь угодно малой ошибкой последовательностью его мгновенных значе­ ний, следующих друг за другом через интервалы Лt, если Лt ~ t 0 t а длительность сигнала Те)) to. • Для опенки погрешности, возникающей вследствие допущения" что вне интервала 't0 функция корреляции равна нулю, можно вос­ пользоваться выражением (3.46) для определения эффективной ши­ рины спектра сигнала Q_ па(О) 9- 2Gmax't"o • Тогда искомая ·погрешность может б~1ть оценена отношением 00 Sа(w) dffi Qэ 00 Iа(ro) dro о Критерий допустимого отклонения (4.6) Трудности практической реализации методов Котельникова и Железнова обусловливают необходимость использования в ряде слу­ чаев других методов выбора требуемой частоты квантования сигналов по времени. В тех случаях, когда закон изменения непрерывной функции с определенной достоверностью известен, целесообразным мо­ жет оказаться метод, основанный на замене исходной функции аппрок­ симирующей. В общем случае исходная функция аппроксимируется полиномом, кривая которого совпадает с кривой функции для задан­ ных дискретных моментов времени. При этом интервалы временного квантования должны выбираться таким образом, чтобы в их преде­ лах максимальная величина или среднее квадратическое значение отклонения аппроксимирующей функции от исходной· не превышали допустимых значений. На практике наиболее часто применяется ку~очно-линейная или / ступенчатая аппроксимация. При кусочно-линейной аппрокси­ мации полиномом первого порядка все точки кривой исходной функции, l{f) соответствующие отсчетным моментам времени, соединяются отрезками пря- мых (рис. 4.5). Если придерживать- ся критерия наибольшего отклонения, то выбор частоты квантования нужно производить из условия, чтобы от­ клонение аппроксимирующей лома- ной прямой от исходной функции на 1 1. Рис. 4.5. t 57
каждом из интервалов дискретизации не превосходило бы заданно­ го значения. Задача может быть решена с помощью интерполяционной формулы Ньютона, в соответствии с которой значение функции для любого момента времени внутри интервала Лt = t1+1 - tt определя­ ется выражением х*(t)= х(ti)+а1[х(tl+t)- х(t,)], rде а.= t-tl t tl+l- tl • Погрешность аппроксимации б определяется остаточным членом L (t) интерполяционной формулы tб1= 1L(t)/==х*(t)- х(t). В рассматриваемом случае остаточный член выражается следую­ щим образом [19]: • L(t) =+~~}t)(t - ti)(t- ti+1). Очевидно, максимальное значение погрешности аппроксимации 1(d 2 x(t)) (ti+l- tl) 2 1(d2 x (t)) Л2 1б lrnax = 1L (t) lrnax =т dt2 max 2 = т dt2 rnax t· (4.7) Следовательно, задаваясь допустимой погрешностью аппроксима­ ции бmах, можно определить интервал и частоту квантования Лt= 86mам ( d 2 x~)) dt max (4.8) При сrупенчатой аппроксимации полиномом нулевого порядка о значении функции в любой момент времени t' в интервале tt ~ t' ~ tt+i ~удят по значению функции х (t), зафиксированной в точке ti. Оста­ -точный член интерполяционной формулы определяется в этом случае выражением Максимальное значение погрешности аппроксимации ( dx(t)) JВlmax = 1L(t)lmax = dt max Лf, (4.9) откуда необходимые значения интервала и частоты квантования <>пределятся выражениями: Лt = Jб lrnax ( dx (t) ·) dt rnax ( dx(t)) dt max fк= lбl • max (4. 10) Критерий наибольшего отклонения относится к детерминирован­ ному случаю, когда предполагается известным закон изменения нс- 58
• ходной функции х (t). Так как реальные сигналы практически всегда имеют случайный характерt то этот критерий страдает определенной неточностью. При случайном характере исходной функции целесо- • образно пользоваться критерием среднего кв~дратическоrо откло- нения. .. Рассмотрим кусочно-линейную интерполяцию для случая кван­ тования случайного стационарного эрrодич~скоrо процесса х (t). Аппроксимирующая функция для i-го интервала квантования имеет вид где t- tl al= Лt • Текущее значение погрешности квантования в момент времени t равно: б(t)=х*(t)- х(ti+t) = aix(t1+1)+(l- ai)х(tt)- х(ti+t). (4.11) В настоящее время существует значительное число способов адап­ тивного квантования. Наиболее эффективными и простыми среди них являются способыt основанные на сравнении сигнала х (t) и аппрок­ симирующей функции, формируемой в процессе обработки сигнала х (t). Адаптивное квантование может быть реализовано путем изменения типа и порядка аппроксимирующей функции nри постоянном интер­ вале временного квантования или путем изменения интервала кван­ тования .при неизменной аппроксимирующей функции. Практически наибольшего применения получили способы с адаптацией по величине интервала квантования, использующие полиномы нулевого и первого порядка. Сущность некоторых из этих способов состоит в следующем (20, 21, 22]. При адаптивном квантовании с использованием полиномов ну­ левого порядка производится сравн_ение текущего значения сигнала х (t) со значенйем предшествующей выборки х (ti) сигнала. Модуль разности Лх (t) = х (t) - х (ti) сравнивается с допустимым значением погрешности бmах• Момент следующего отсчета ti+t сигналах (t) опре­ деляется выполнением условия 1Лх (t) 1 = бmах• Один из способов адаптивного квантования с использованием полиномов первого порядка заключается в том, что после очередного отсчета функuии х (t) в момент времени ti формируется функция у(t)=х(t,)+1d~/') 't=tit. (4. 12) - Затем вычисляется разность Лх (t) == у (t) - х (t1) и момент следую- щего отсчета it+i определяется при выполнении условия 1Лх (t) 1 = бmах. Более подробные сведения об адаптивном квантовании по времени даны в [20, 21, 22, 23]. 59
Так как в процессе квантования по уровню значение сигнала отобра­ жается уровнем квантования, -то при передаче, хранении или обработ­ ке значение сиrцала может быт~ представлено номером-кодом соот­ ветствующего дискретного уровня. 4.5. РАВНОМЕРНОЕ КВАНТОВАНИЕ ПО УРОВНЮ Квантование сигнала по уровню осуществляется с помощью не­ линейного элемента - квантизатора (рис. 4 .7, а), амплитудная ха­ рактеристика которого определяется способом квантования. На рис. 4. 7, 6 показана характеристика квантизатора при квантовании спо­ собом замены случайной величины х (t) ближайшим меньшим дискрет­ ным значением. Характеристика на рис. 4.7, в соответствует способу квантования путем замены х (t) ближайшим меньшим или большим дискретным уровнем. В том случае, когда дискретные уровни не фик­ сированы относительно нулевого уровня х (t), характеристика кван­ тизатора может смещаться случайным образом относительно характе­ ристики, представленной на рис. 4.7, 6 в вертикальном направлении в пределах от О до Лх. Вследствие квантования функции по уровню появляются методи­ ческие погрешности, так как действительное мгновенное значение функции заменяется дискретным знач~нием. Эта погрешность, кото­ рая получила название погрешности квантования по уровню или шу­ ма квантования, имеет случайный характер. Абсолютное ее значение в каждый момент времени определяется разностью между квантован­ ным значением Xg (t) и действительным мгновенным значением х (t) функции бк (i) = Xg·(t) -· Х (t). На рис. 4.8, а и 6 показан характер изменения абсолютного зна­ чения погрешности квантования для способов квантования, представ­ ленных на рис. 4. 7, 6 и в соответственно. При квантовании методом замены действительног9 мгновенного значения функции х (t) ближай­ шим меньшим дискретным значением абсолютная погрешность кван­ тования будет всегда отрицательной и находиться в диапазоне О+ -Лх. Закон распределения этой погрешности зависит от закона распре­ деления х (t). Пусть функция х (t) подчиняется определенному закону распре­ деления w (х) (рис. 4.9). Разобьем диапазон изменения функции х (t) на интервалы величиной Лх. Пусть с\ - случайное отклонение дей­ ствительного значения функции х (t) от ближайшего меньшего дис­ кретного значения погрешности квантования. Очевидно, вероятность появления ошибки бк может быть определена как вероят-ность Р (б,J попадания значения функции х (t) в участок бк любого из интер­ валов квантования: 61
X(t) К6ант11за- Xg(f) тор Лх а W(x) Рис. 4.9. о Рис. 4.7. д:ААА - rrrv t о Рис. 4.10. Дифференцируя обе части данного равенства по (\, найдем диффе­ ренциальный закон распределения погрешности квантования n-1 d:?к) = W (&к) =~ W(iлх+&к), к 1~0 · Умножив обе части равенства на Лх, получим п-1 W(бк)Лх = ~ W(iЛх+бк)Лх. i=O (4.13) Правую часть последнего равенства можно рассматривать как приближенное выражение площади, заключенной между осью х и кривой w (х). Это приближение будет тем точнее, чем больше число участков квантования. Следовательно, в пределе при п -+ оо или Лх~о выражение (4.13) приводится к виду Xmax W(&к)Лх = ) W(х)dx. (4.14) о Так как правая часть выражает вероятность нахождения функции х (t) в пределах от О до Xmax и, следовательно, равна единице, то" плот­ ность вероятностей распределения погрешностей квантования будет с достаточным приближением 1 W(бк)=Лх • (4. 15) 62
Таким образом, можно полагать, что при достаточно большом числе уровней квантования погрешность квантования подчиняется закону распределения равной. вероятности, представленн~му на рис. 4.10. В соответствии с рис. 4.10 можно записать, что [+при - Лх~~и~О; w(<\)= х . О при бк>ОиВк<-Лх• Математическое ожидание погрешности квантования о о а(бк)= ~бкw(бк)dбк = ~х Sбкdбк= - ~. (4.16) лх -дх Дисперсия погрешности квантования о . о 2 л2 D(бк) = I[бк·- а (б,J]2W(бк)dбк = S[бк+~х ]i-dбк =--тf. -Лх -дх При квантовании методом замены действительного мгновенного. значения функции ближайшим меньшим или большим дискретным значением погрешность квантования также подчиняется закону pac- u Лх пределения равнои вероятности, но изменяется в пределах от - 2 _до + л2 (рис. 4.11). В данном случае справедливо, что при ~ Лх ~ Лх при uк>-2- или uк< - -2 -. Математическое ожидание _погрешности квантования а(бк).= О. Дисперсия погрешности При отсутствии фиксации дискретных уровней квантование про­ изводится практически путем замены мгновенного значения функ­ ции ближайшим меньшим дискретным уровнем и нижний дискретный уровень принимается за первый. Вследствие этого будут иметь место две погрешности квантования: бк1, изменяющаяся в пределах от О до - Лх, и с5к2 , изменяющаяся в предела_х от О до + Лх. Эти погреш­ ности независимы и подчиняются законам распределения равной ве­ роятности (рис. 4.12, а и 6). бЗ.
W(Ок) W(~,) .W{tfкz) w/41). 1 j_. f ~к 4" 4к -~, ..лх ~ Лtоk. i& о 'КI ~l(! Л,r~..~,( о ~x6;z -т 2 а tf 6 Рис. 4.11. Рве. 4.12. Суммарная погрешность квантования бк~=бк1+Вк2 изменяется в пределах от - Лх до + Лх. Закон распределения сум-­ марной погрешности является· композицией законов распределения погрешностей бк1 и бк2 и выражается распределением Симпсона {рис. 4.12, в) [24]. Аналитически данное распределение выражается следующим об­ разом: при О~ВкЕ~Лх; при ВкЕ>ЛхиВкЕ<- Лх. Математическое ожидание суммарной погрешности квантования а (бк1:) = О; дисперсия погрешности (1+ бк}: ) дх 1- _б_иЕ_ л2 ЛхЛх dбк1: + i __Л_х_Л_.х_ dВкЕ = + • (4.18) о Таким образом, в случае отсутствия фиксации дискретных уров­ ней относительно начального уровня квантуемой функции средне- квадратическая погрешность квантования увеличивается в V2 раза. 4.6. ПЕРАВНОМЕРНОЕ КВАНТОВАНИЕ ПО УРОВНЮ Неравномерное квантование может быть использовано в тех слу- .чаях, когда вероятность распределения значения функции х (t) по шкале уровней неодинакова. Основная цель такого квантования - уменьшение усредненной по параметру дисперсии погрешности кван­ тования. Идея неравномерного квантования состоит в том, что значения функции х (t), вероятность возникновения которых велика, передают­ ся с меньшей погрешностью квантования и маловероятные значения - с большей погрешностью квантования. Дл~ реализации такого квантования первичная функция подвер­ гается нелинейному преобразованию у (х) [25]. Сущность нелинейно- 64
го преобразования иллюстрируется рис. 4.13, где w (х) - кривая рас­ пределения плотности вероятностей значения функции х (t). Величина у квантуется равномер­ но. При этом ·приращения функций Л11 и Лх связаны соотношением Лу = Лху' (х). При большом числе уровней кван­ тования такое соотношение справедли­ во и для погрешностей квантова­ ния, т. е. Для дисперсий погрешностей получим Du = Dx [у' (х)]2• к к Рис. 4.13. (4.19) Тогда усредненная по параметру дисперсия погрешности кванто­ вания функции х(~ w (х) (у' (х)]2 dx. Здесь множитель Dyk вынесен за знак интеграла, так как кван­ тование функции у равномерное и дисперсия погрешности квантова• ния постоянна в пределах всего диапазона изменения величии х и у. Выигрыш в погрешности квантования оценивается отношением В= Dllк = 1 (4.20) Dx Xmax к \ w(х) dx J [У' (х)]2 Xmin / Для получения максимального выигрыша в погрешности кванто- вания необходимо отыскать такую функцию у' (х), которая миними­ зиров·ала бы интеграл w (х) [у' (х}]2 dx. Xmtn Задача относится к типу вариационных. Решение этой задачи сво­ дится к решению дифференциального уравнения ::- ; (::)=о, (4.21) где F= w (х) ry' (х)]2 • Внашемслучае: =О; :; = - 2w (х) [у' (х)]~. 6 &-1834 68
Тогда уравнение (4.21) примет вид дwд~х) [у' (х)Г3 -. З w (х) [у' (х)]-4 у" (х) = О. Интегрируя это уравнение разделением переменных, получим У~пт (х) = С0 VW (х). (4.22) Тогда оптимальное нелинейное преобразование по критерию ми­ нимума дисперсии .погрешности равно Xmax Уопт(х)= С0 I -l,-' w(x) dx +С1• (4.23) Xmin Коэффициенты С0 и С1 определ·яются из условия у = Ymrn или 1/max при х = Xmin или Xmax соответственно. Тогда С1 = Ymin и Ymax-Ymin Xmax s Vw. (х> ctx «min • 4.7. ПРИМЕРЫ • Пример 4 .1. Определить погрешность квантования во времени сигнала конечной длительности. Известно следующее: 1) сигнал х (t) может принимать с равной вероятностью любые значения в пределах от О до Xmax; 2) частота квантования ook выбрана таким образом, что относитель­ ная величина площади энергетического спектра сигнала, находящего- 1 ся в пределах частот от ro 0 = 2rokдоro=со,равна5%. Реиrение. Для решения задачи воспользуемся выражением (4.5). По условию относительная величина площад·и отсекаемого участка спектра сигнала ')'ro 0 = 0,05. Средняя мощность сигнала Xmax Рт= S x2w(Х)dx. о Так как сигнал по шкале уровней распределен равновероятно) тоw(Х) = 1 Тогда Xmax 0 Xrnax Рт=rx2 - 1 -dx = J Xmax о Спедовательно, искомая погрешность квантования О 05х2 Dro = 1 2 max 100%=1,7%. о • Зхmах Пример 4.2. Найти частоту квантования во времени экспонен­ циального сигналах (t) = А 0 ехр {- at}, t ~ О, если относительная 66
величина площади отсекаемой части энергетического спектра равна 5%;сх=1Ос-1. Решение. Из (4.3) имеем 00 S\S(jro)12dw "rroc = -:_с____ = 0t05. SIS (jro) 12dro о Спектральная плотность сигнала 00 00 S (jro) = Iх(t) ехр1-jrot} dt = IА0ехр1-(а+ jrot)} dt = о о Модуль спектральной плотности IS (jro) 1= -V Ао • а2+ro2 В соответствии с (2.17) энергия сигнала оо оо А2 А2 W0 =-3⁄4-SIS(jro) 1 2 dro =-3⁄4- 5аЧ~00 2 dro=2: • о о (4.24) Энергия сигнала, сосредоточенная в диапазоне частот от ro = оос до со = оо,, равна w(j)=- 1 rIs(jro)12dro = - 1 s"" 212dro=А~(1t2-arctgООс)' • сnJ n аro na. а • ffic wc ' Подставляя найденные значения интегралов в (4.24) и производя несложные преобразования, получим tЮс n n arcg-= ----Yro а, 2 2с' откуда g----Yro =- , t( Лn) ffic 2 2с а или ctg(;1'юс)=:с • Используя формулу разложения ctgх= - 1 - - [~+~+ х З 45 и для малых значений х ограничиваясь первым членом разложения11 получи_м s• 67
и ли окончательно 2а -- 2-·- 10- - 127.5 с-1 000 = _1t_V_ro_ - .n • 0,05 ' с Требуемая частота квантования сигнала, согласно теореме Котельникова, ffiK = 2ffic = 225 C-l. Пример 4.3 . Определить частоту, с которой необходимо кванто­ вать во времени стационарный случайный процесс с корреляционной функцией Кх (-r) = Кх (О) ехр {-О. 1 J 't 1}- Расчеты произвести, исходя из критерия среднеквадратического отклонения со ступенчатой ап­ проксимацией. Допустимое значение дисперсии погрешности кван- тования 1 %. • Решение. Из (4.11) определяем относительное значение дисперсии погрешности кван1ования Vo- 2[Кх (ix(o~x (Лt)] = 2[1 - ехр {-·о, 11Лt J} ]. Тогда интервал временного квантования 1 1 Лt=10ln 1_ 0,5Уо =10ln 1_ 0 , 5.o,0l = 0,05 с. Частота квантования {k=1t=20Гц. Пример 4.4. Передаваемый по каналу связи сигнал квантуется по уровню способом замены его мгновенных значений ближайшим меньшим квантованным уровнем. Определить необходимое количест­ во уровней квантованfiя сигнала при условии, что приведенная сред­ няя квадратическая погрешность квантования не превышает 093 %. Ре.шение. При заданном способе квантования погрешность кван• тования отрицательная и может принимать значения от О до -Лх, где Лх - шаг квантования. Среднее квадратическое значение погрешности квантования в со­ ,ответствии с (4.17) Приведенная средняя квадратическая погрешность '\'к%= (JK • 100 = v~X 100 = ;- 100, xmax 2 ЗNЛх 2ЗN где N - количество интервалов, на которые разбивается динамиче• ский диапазон сигнала при квантовании. Так как количество уровней квантования М на единицу превы­ шает количество интервалов квантования, то М=N+1= у- 50 +1= ~о +1=97. 3)'к% У 30,3
Пример 4.5 . В процессе и/( Bpeн11-uнrv111Jcныu fк -венmиАь ................ ll iotfpoзd6omeл~ .........~ передачи сигнала, представ- .,,,,.- ..__....,.t_(J_ _. ляющего напряжение посто­ янного тока, величина кото­ рого изменяется в пределах от О до 100 В, происходит после­ довательное преобразование енеротор зmfVloнн~ 11остоты Рис. 4.14. п его во временной интервал tх и в число-импульсный код. Преобразо­ вание напряжения Их во временной интервал tx осуществляется с по­ мощью время-импульсного преобразователя ВИП, последующее пре­ образование в число-импульсный код осуществляется путем запол­ нения временного интервала tx импульсами генератора эталонной частоты (рис. 4.14). Определить суммарную относительную среднюю квадратическую погрешность преобразования напряжения в код, если: . коэффициент преобразования время-импульсного преобразовате­ С ля Квип == 104 8; номинальное значение частоты эталонного генератора fO = 100 кГц; относительное значение средней квадратической погрешности вре­ мя-импульсного преобразователя 1'вип == О, 1 %; -относительное значение средней квадратической погрешности эта­ лонного генератора "i'to == 0,05 %. Реш:?нuе. Количество импульсов п эталонного генератора, укла­ дывающихся во временном интервале tx и поступающих на выход вентиля (рис. 4.14), n ~ txfо= КвипfоUх. Общая средняя квадратическая погрешность преобразователя, приведенная к выходу устройства, определяется известной зависи­ мостью • -. j(ап. ) 2 -· (ап)2 2 у 2 )2 2 0'1; = V дt"О'вип + дfOПf0 +ak= •(f0О'вип) + (t1pf0 + O'k , где авип, а,0 , ак - средние квадратические погрешности время-импул·ьс­ ного преобразователя, эталонного генератора и преобразователя временного интервала в число импульсов соответственно. Преобразование временного интервала tx в число импульсов сво­ дится по существу к квантованию по уровню сигнала, представлен­ ного временным интервалом tx. При этом шаг квантования равен 1 Лх == t0 = ,;;· Так как нет синхронизации между посылками импуль. сов эталонного генератора и началом временного интервала tx, то имеем по существу случай квантования, когда дискретные уровни не фиксированы относительно нулевого уровня входного сигнала (рис. 4.6, в). При этом погрешность квантования распределена по закону Симпсона, а среднее квадратическое значение этой погр.еш­ ности Лх ] Ок=--=- Уб Ув' 69
так как шаг квантования Лх, приведенный к выходу устройства, равен единице (одному импульсу). Тогда общая среднеквадратиче• екая погрешность преобразователя O'I = V(fоО'вип)2 + (tx0'/0)2 -+-1⁄4- , Переходя к относительным величинам, получим 1:Е %'= ___!_ • 100 = ~+~+_1_ 100 о {(а)2(а)2 ( n tx fo 6 КвипfоИх = ✓ (0,1)2 + (0,05) 2 + +(ю-~~~0102 )2 = 0,12 %. Контрольные вопросы 1. В чем сущность квантования непрерывного сигнала по времени и уровню? 2. Какова цель квантования сигналов? 1 3. Сформулируйте критерий Котельникова, в чем заключается его фундаменталь­ ное значение для теории и техники передачи сообщений? 4. В чем заключаются трудности практической реализ,uии критерия Котельни- кова? - • . 5. Что такое функция отсчетов и каков ее вид? 6. Сформулируйте критерий Железнова и сопоставьте его с критерием Котельни­ кова. 7. В чем сущность критерия наибольшего отклонения с кусочно-линейной аппро• ксимацией исходной функции? 8. В чем сущность критерия наибольшего отклонения со ступенчатой аппрокси­ мацией исходной функции? 9. В чем состоит ограниченность практического использования критериев наи­ большего отклонения? 10. В чем сущность критерия среднего квадратическоrо отклонения? 11. В чем сущность адаптивного квантования по времени и с какой целью оно используется? 12. Какие lfэвестны способы квантования сигналов по уровню? 13. l(аков характер погрешностей квантования сигналов по уровню? 14. В чем сущность неравномерного квантования по уровню и в каких случая~ прибегают к этому виду квантования? Глава 5. КОДИРОВАНИЕ СИГНАЛОВ __________ 5.1. ЦЕЛЬ КОДИРОВАНИЯ. OCIIOBНЬIE ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ Как отмечалось в главе 1, под кодированием в широком смысле понимают процесс преобразования сообщений в сигнал. Как при передаче, так и при хранении и обработке информации значительные преимущества дает дискретная форма представления сигналов. Поэтому в тех случаях, когда первичные сигналы информа­ ционных систем являются непрерывными, происходит, как правило, предварительное преобразование их в дискретные сигналы. В связи с этим термин «кодирование» относят обычно к дискретным сигналам и под кодированием в узком смысле понимают отображение дискрет-­ ных сообщений сигналами в виде определенных сочетаний символов 70
J(f} а t Рис. 5.1. X(t) 1 fi t,- . .,_,, __ "" - .-t,. ti fi> - - - tf Совокупность правил, в соответствии с которыми производятся эти операции, называют кодом. Итак, будем полагать, что источник выдает некоторое дискретное_ сообщение а, которое можно рассматривать как последовательность элементарных сообщений а, (i = 1, 2, ... , /). Эти элементарные сооб­ щения будем называть символами сообщений, а их совокупность {а,} - алфавитом источника. Кодирование заключается в том, что последовательность символов источника а заменяется последователь­ ностью кодовых символов - кодовой комбинацией (кодовым словом). Кодирование преследует несколько целей. Первая из них- заклю- . чается в том, чтобы представить сообщения в такой системе символов, которая обеспечивала бы простоту и надежно·сть аппаратной реали­ зации информационных устройств и их нео.бходимую· эффективность. Вторая цель кодирования состоит в том, чтобы обеспечить наилучшее согласование свойств источника сообщений со свойствами канала связи. Путем такого согласования добиваются выигрыша во времени передачи, т. е. повышения эффективности системы. Наконец, при на­ личии помех кодирование может обеспечить достаточно высокую до­ стоверность передачи или обработки- информации. Но необходимо иметь в виду,· что кодирование, обеспечивающее изменение структуры сигналов, ни в какой мере не должно изменять количество информации, заключенной в первоначальном сообщении. Элементарными сигналами, представляющими символы кодовой комбинации, в технических информационных системах обычно служат одиночные импульсы постоянного тока (видеоимпульсы) или перемен... наго тока (радиоимпульсы). Элементарным сигналом может служить пауза между импульсами или комбинации паузы и импульса и так да­ лее. Эти сигналы должны различаться по какому-либо одному или нескольким параметрам, называемым часто кодовыми признаками. В качестве кодовых признаков применяются такие параметры, как величина, полярно~ть, время (продолжительность или фаза импульсов), частота заполнения импульса и т. п. Общее число символов, составляющих кодовую комбинацию, на­ зывает~я значностью, или длиной кода п. Количество значений кодо­ вых признаков, используемых в кодовых комбинациях, называется основанием кода т. На рис. 5.1, а приведен пример кодовой комбинации с длиной кода п == 5. В качестве импульсного признака эдесь использована величина импульсов. Основание кода (число значений импульсного признака) т == 3. На рис. 5.1, _6 приведен.а кодовая комбинация с п ~ 5 и т == 3, в которой в качестве импульсного признака испол_ь" зуется длительность импульсов. 71
1/исло f ,({tt J' X{t)t 6 X(f)t fQ ',({i)t Кои 1] 87 ппп: "t 1]О[1ПОП "f ппппnппппn.f По условиям построения кодовых комбинаций коды делятся на равно­ мерные и неравномерные. В равно­ мерных кодах все сообщения переда­ ются кодовыми группами с одина ... ковым числом элементов п == const" Так, например, телеграфный код Бо­ да является равномерным кодом с п=5. При использовании неравномер­ ных кодов разные сообщения мо- Рис. 5.2. ~:ут передаваться кодовыми груп- пами, содержащими неодинаковое чис­ ло элементов (п = var). Типичным представителем этой группы является код Морзе. Равномерный код обладает большими возмож­ ностями с точки эр-ения обеспечения помехозащищенности переда_чи, так как потеря элементов или возникновение новых элементов в ко­ довых комбинациях сп = const могут быть легко обнаружены. Нерав­ номерные коды могут обеспечить наибольшую экономичность постро­ ения кодов и наибольшее быстродействие передачи сообщений. Такие коды используются при так называемом статистическом кодировании. Вместе с тем неравномерные коды менее помехозащищенные, чем равномерные. Потеря или возникновение новых эл~ментов в комби­ нации в результате действия помех могут привести к созданию новой ложной комбинации, воспринимаемой на приемной стороне как ис­ тинная. Неравномерные коды требуют при передаче либо специальных разделительных символов, указывающих конец одной и начало дру­ гой кодовой комбинации (код Морзе требует наличия разделительно­ го символа), либо же должны строиться так, чтобы никакая кодовая комбинация не явилась началом другой. По числу различных символов (m) в кодовых комбинациях разли- чают коды: единичные, т = 1; двоичные, т = 2; многопозиционные (т > 2). В единичном коде используются одинаковые символы. Кодовые комбинации отличаются друг от друга лишь количеством символов (импульсов). Такие коды называют еще числоимпульсными. Иллю­ страция числоимпульсного кода дается на рис. 5.2. Единичный код отличается своей простотой. Однако вследствие тогоJ что он неравномеренt помехозащищенность его низкая. Кроме того, при передаче большого количества сообщений происходит из­ менение в широких пределах длины кода, что вызывает определенные неудобства. В связи с вышеизложенным единичный код практически не исполь­ зуется для передачи информации по каналу связиt а используется __ лишь при промежуточных преобразованиях сигналов на передающей и приемной сторонах. Наибольшее распространение получили двоичные коды. Это об­ условлено следующим. Формирование кодовых сигналов и их дешиф- J 72
рация производятся с помощью релейных устройств, способных за­ нимать ряд устойчивых состояний. Количество таких состояний опре­ деляется основанием кода. Очевидноt что простейшими релейными устройствами являются устройства с двумя состояниями. К такоrС> типа устройствам принадлежит большинство электромагнитных, элек-­ тронных, магнитных и других типов бесконтактных реле. Кроме того" следует также учитывать простоту хранения информации и выпол­ нения арифметических и логических операций при двоичном кодиро­ вании. Многопозиционные коды пока не нашли широкого применения в информационных системах. По форме представления в канале передачи различают цоследова­ тельные и параллельные коды. При последовательной форме элемен­ тарные сигналы, составляющие кодовую комбинацию, посылаются в канале передачи последовательно во времени. Как правило, они раз­ делены между собой определенным временным интервалом. При параллельной форме элементарные сигналы посылаются од­ новременно по нескольким электрическим цепям, число которых со­ ответствуе~ количеству элементов кода. Параллельная форма представления кода, хотя и связана с мень­ шей затратой времени для передачи сообщений, используется для­ передачи информации по каналу связи редко, так как требует зна­ чительных материальных затрат на многопроводные линии связи. Практически параллельная форма кода при передаче информации П() однопроводной линии связи используется лишь в тех случаях, когда в качестве импульсного признака применяется частота и на приемной стороне элементы кодовой комбинации можно легко разде-• лить с помощью частотных фильтров. Параллельная форма представления кода часто используется при преобразовании аналоговых величин в код и обратных преобразова­ ниях, в устройствах памяти, регистрацииt при логической и матема­ тической обработке информации, когда важную роль играет быстро­ действие. По возможности обнаружения и и·справления ошибок различают простые (примитивные.) и корректирующие коды. В простых кодах ошибка в приеме хотя бы одного элемента кодовой комбинации при­ водит к неправильной регистрации передаваемого сообщения. Кор­ ректирующие коды позволяют •обнаруживать и устранять ошибки в кодовых комбинациях. Наконец, по основным законам кодообразования коды можно разделить на два класса: комбинаторные (нечисловы€) и арифмети­ ческие (чис.ловые). Комбинаторные коды строятся на законах теории соединений. Примером таких кодов является код по закону сочетаний. В этом коде из т различных символов образуются кодовые комбинации из п < т символов. Длина кода постоянна и равна n, возможное чис- ло кодовых комбинаций N = с~. Например, код по· закону сочетаний может образовать следу­ ющие комбинации из трех элементов а, Ь и с по два элемента: аЬ" ас. Ьс.
Арифметические коды основаны на известных системах счисления. В технических информационных системах используются преиму­ щественно арифметические (цифровые) коды. 5.2. РАВНОМЕРВЫЕ ПРОСТЫЕ ЦИФРОВЫЕ КОДЫ Системы счисления~ на основе которых могут строиться цифровые ~<оды, делятся, как известно, на непозиционные и позици·онные. Из непозиционных систем можно привести в качестве примера римскую -систему счисления. Значение символа в этих системах не зависит QT его положения в ряду символов, составляющих передаваемое со­ ,общение. Наиболее распространенным при кодировании в настоящее время является позиционный принцип образования системы счисления. ·при таком принципе значение каждого символа зависит от его поло­ жения - позиции в ряду символов, составляющих число. Значение единицы каждого следующего разряда больше значения единицы лредыдущего разряда в т раз, где т - основание системы счисления. При этом любое п-разрядное число N с основанием т может быть пред­ ставлено в виде суммы п-t N=~е,т 1 , (5.1) i ==0 где е1 - значение разрядного коэффициента l -ro разряда. Число возможных значений разрядного коэффициента каждого разряда равно основанию выбранной системы счисления. В качестве примера рассмотрим четырехразрядное десятичное число 4752. Это число может быть представлено в виде суммы 4752=2· 10°+5-101 +7-102 +4• 103 . Кодовые комбинации, соответствующие простому цифровому ко­ ду, содержат количество элементов, соответствующее числу разрядов числа N, выражаемого данным кодом. Каждый элемент кодовой ком­ бин_ации может принимать т различных значений импульсного при­ знака. Максимально возможное число кодовых комбинаций определяет- .ся выражением Nmax = тп. (5.2) Как уже отмечалось, на практике· наиболее широко используются двоичные коды, т. е. коды, базирующиеся на двоичной системе счис­ ления. Математическая запись двоичного кода следующая: п-1 N=~lii. (5.3) i=O Здесь разрядные коэффициенты /1 могут принимать значения О и 1. Максимально возможное число кодовых комбинаций простого .двоичного кода определяется выражением Nmax = 2п. (5.4) 14
На рис. 5.3 показана двоичная ко­ довая комбинация длиной п = 7. В ка­ честве импульсного признака здесь используется полярность. Импульсам положительной полярности соответ­ ствует 1 и импульсам отрицательной полярности - О. X(t)t □□ ооо.uu Рис. 5.З. - f Кодовая комбинация содержит две единицы (два положительных импульса), но численное выражение (вес) каждой единицы определя­ ется её номером (разрядом). Так как обычно нумерация разрядов идет справа, то кодовая комбинация, представленная на рис. 5.3:, выражает число (в десятичной записи): N==О •2°+О.·21+1•2 2 +О•2 3 +1•2 4 +25+О•2~ = 20. Двоичный код, широко используемый при передаче, хранении и обработке информации, неудобен, однако, при вводе и выводе ин-­ формации, так как оператору трудно оперировать с непривычными двоичными числами. Кроме того, запись чисел в двоичной системе счисления громоздкая. Поэтому помимо двоичной получили распро-­ странение системы с основанием, равным целой степени двойки (вось­ меричная, шестнадцатиричная), которые с одной стороны, легко сво­ дятся как к двоичной, так и к десятичной, а с другой - дают более компактную запис_ь. Для обозначения любого числа в восьмеричной системе счисления используется восемь цифр: О, 1, 2, 3, 4, 5, 6, 7. Перевод чисел из вось-­ меричной системы в двоичную сводится к замене каждой восьме-­ ричной цифры равным ей трехразрядным двоичным числом. Напри­ мер, для восьмеричного числа 3275 получаем: 3 2 7 5 011 010 011 101 Для представления шестнадцатиричных цифр используются циф­ ры от О до 9 и буквы лат·инского алфавита от А до F. Перевод чисел из шестнадцатиричной системы в двоичную осуществляется путем замены каждой шестнадцатиричной цифры четырехразрядным дво­ ичным числом. Обозначения шестнадцатиричной цифры и представле­ ния их двоичными числами иллюстрируются табл. 5.1. Таблица 5.1 Десятичное Шестнадцати- Двоичное Десятичное Шестнадцати~ Двоичное число ричное число число число ричное число число о о оооо 8 8 1ООО 1 1 ООО1 9 9 1ОО1 2 2 ОО1О 10 А 1О1О з 3 ОО11 11 в 1О11 4 4 О1ОО 12 с 11ОО 5 5 ОlОl 13 D 11О1 6 6 О11О 14 Е 111О 7 7 оJI1 15 F 1111 75
Восьмеричная и шестнадцатиричная системы счисления исполь­ зуются при вводе - выводе информации, а также при программиро­ вании. 5.3. СОСТАВНЫЕ ·коды Составные коды базируются на составных системах счисления, имеющих два и более оснований. При таком кодировании числа, заданные в системе с некоторым основанием q, изображаются с помощью цифр другой системы счисления с основанием р < q. . Среди составных кодов наибольшее применение нашли двоично­ десятичные коды. Такие коды обычно используются в качестве про­ межуточных при переводе десятичных кодов в двоичные и наоборот, например при вводе в вычислит~льную машину данных, представлен­ ных в десятичной системе, или при выводе из машины информации для -.регистрации в десятичном коде. В двоично-десятичном коде основной системой счисления являет­ ся десятичная. Однако каждая цифра десятичного числа записыва­ ется в виде четырехразрядного двоичного числа (тетрады). Для фик­ сации цифр десятичного числа наибольшее практическое применение нашли четырехэлементные двоичные весовые коды 8-4-2 -1, 7- 4-2-1, 5-1 -2 -1 и 2 -4 -2 -1 . Цифры в названии кода выра­ жают веса единиц в соответствующих двоичных разрядах. В табл. 5.2 приводится запись десятичных цифр различными ти­ пами четырехэлементных двоичных кодов. Так как с помощью четырех двоичных разрядов можно образовать 16 различных комбинаций, а используется только lOt то двоично­ десятичный код обладает некоторой избыточностью. 5.4. РЕФЛЕКСНЫЕ (ОТРАЖЕННЪIЕ) КОДЫ -В простом двоичном коде при переходе от изображения одного числа к изображению соседнего старшего или соседнего младшего числа может происходить одновременное изменение цифр в несколь­ ких разрядах. Как следует из табл. 5.3, при переходе от изображения Таблица 5.2 Десятичное I(од 8-4-2-1 Код 7-4-2 -1 Код 5-1 -2-1 Код 2-4 -2-1 число о оооо оооо оооо оооо 1 ООО1 ООО1 ООО1 ОООl 2 ООIО ОО1О ОО1О ООlО з ОО11 ОО11 ОО11 ОО1l 4 О1ОО О1ОО О111 О1ОО 5 О1О1 О1О1 1ООО 1О11 6 О11О О11О 1ОО1 I1ОО 7 О111 1ООО 1О1О 11Оl 8 1ООО 1ОО1 1О11 111О 9 1ОО1 1О 1О 1111 l111 76-
Таблица 5.3 Десятичное Двоичный Код Грея Десятичное Двоичный Код Грея число код число код о .оооо оооо 8 1ООО 11ОО 1 ООО1 ООО1 9 1ОО1 11О1 2 ОО1О ОО1l 10 1ОlО 1111 3 ОО11 ООIО 11 1О11 111О 4 О1ОО Оl1О 12 11ОО 1О1О 5 ОlО1 О111 13 11О1 1О11 6 О11О О1О1 14 111О 1ОО1 7 О111 ОIОО 15 1111 1ООО числа 3 к изображению числа 4 происходит одновременное изменение цифр в трех разрядах, а при переходе от изображения числа 7 к изо­ бражению числа 8 происходит одновременное изменение цифр в четырех разрядах. Это может явиться источником значительных ошибок при некоторых способах кодирования непрерывных со­ общений, например при преобразовании угла поворота вала в двоич­ ный код. Особенностью таких преобразователей является то, что при переходе изображения одного числа к изображению следующего числа (большего или меньшего) может иметь место неоднозначность отсчета в тех разрядах, где происходит смена цифр. Например, при переходе от изображения числа 7 к изображению числа 8 происходит смена цифр во всех разрядах, т. е. может иметь место неоднознач­ ность отсчета в любом разряде и даже сразу во всех разрядах. Вслед­ ствие этого, в частности, может быть такой случай, когда вместо чис­ ла 1000 будет зафиксировано число 1111, т. е. будет иметь место недопустимо большая погрешность. Для устранения этого явления используются специальные двоич­ ные коды, у которых при переходе от изображения одного числа к изо­ бражению следующего соседнего числа изменяется значение цифры только одного разряда. Вследствие этого погрешность за счет неод­ нозначности считывания не превышает единицы изображаемого чис­ ла. К числу таких кодов относится код Грея, называемый иначе реф­ лексным (отраженным) кодом (табл. 5.3). Код Грея является непозиционным кодом, вес единицы не опре­ деляется номером разряда. В этом коде можно выделить оси симмет­ рии (оси «отражения»), относительно которых наблюдается идентич­ ность элементов в некоторых разрядах. Так, например, имеет место симметрия относительно оси, проведенной между числами 7 и 8. В комбинациях, симметричных относительно этой оси, идентичны три символа младших разрядов. Отмеченная особенность послужила ос­ нованием для введения термина «рефлексный код» (от английского слова to refJect - отражать). Вес единицы в коде Грея по абсолютной величине в j-м разряде j определяется выражением L 21, причем знак суммируемых членов i=O положителен для всех нечетных единиц в числе, записанном в коде 11
Грея (считать слева направо), и отрицателен для всех четных единиц. Например, значение числа 1101101, записанного в коде Грея, будет 6 5 3 2 О [}}Q}}QJ]r= ~21+~2l- ~i+~2i+~2i= i=O i=O i=O i=O l=O =2 6 - 33+2° = 57. 5.5. ПОМЕХОУСТОИЧИВОЕ КОДИРОВАНИЕ. КЛАССИФИКАЦИЯ ПОМЕХОУСТОИЧИВЫХ КОДОВ -Помехоустойчивые коды - одно из наиболее эффективных средств обеспечения высокой верности передачи дискретной информации. Создана специальная теория помехоустойчивости кодирования, быст­ ро развивающаяся в последнее время. Бурное развитие теории помехоустойчивого кодирования связано с внедрением автоматизированных систем, у которых обработка при­ нимаемой информации осуществляется без участия человека. Исполь• зование для обработки информации электронных цифровых вычисли­ тельных машин предъявляет очень высокие требования к верности передачи сообщений. _ К. Шеннон сформулировал теорему для случая передачи дискрет­ ной информации по каналу с помехами (см. п. 7.3), утверждающую, что вероятность ошибочного декодирования принимаемых сигналов может быть обеспечена сколь угодно малой путем выбора соответст­ вующего способа кодирования сигналов. В теореме Шеннона не го­ ворится о том, как нужно строить пом хоустойчивые коды. Однако в ней указывается на принципиальную• возможность кодирования. при котором может быть обеспечена сколь угодно высокая верность передачи. Это явилось стимулом к разработке помехоустойчивых кодов. Под помехоустойчивь1ми кодами понимают коды, позволяющие обнаруживать или обнаруживать и исправлять ошибки, возникающие в результате влияния помех. Помехоустойчивость кодирования обеспечивается за счет введе­ ния избыточности в кодовые комбинации, т. е. за счет того, что не все символы в кодовых комбинациях используются для передачи инфор­ мации. t Все помехоустойчивые коды -можно разделить на два основных , класса: блочные и непрерывные (рекурентные или цепные) (рис. 5.4). В блочных кодах каждому сообщению (или элементу сообщения) сопоставляется кодовая комбинация (блок) из определенного коли­ чества сиrна~ов. Блоки кодируются и декодируются отдельно друг от друга. Блочные коды могут быть равномерными, когда длина кодо~ых комбинаций п постоянна, или неравномерными. когда п непостоянно. Неравномерные помехоустойчивые коды не получили практиче­ ского применения из"за сложности их технической реализации. В непрерывных кодах введение избыточности в последователь­ ность входных символов осуществляется без разбивки ее на отдель- 78
Кf)f)ректирgющие коlы Рис. 5.4. вые блоки. Процессы кодирования и декодирования в непрерывных кодах имеют также непрерывный характер. Этот класс кодов появил­ ся недавно и не .получил пока широкого развития. Как блочные) так и непрерывные коды в зависимости от мето­ дов внесения избыточности подразделяются на разделимые и неразде­ лимые. В разделимых кодах четко разграничена роль отдельных символов" Одни символы являются информационными, другие явля­ ются проверочными и служат для обнаружения и исправления оши­ бок. Разделимые блочные коды называются обычно п, k-кодами, где п - длина кодовых комбинаций, k - число информационных симво­ лов в комбинациях. Неразделимые коды не имеют четкого разделения кодовой ком­ бинации на информационные и проверочные символы. Этот класс кодов пока немногочислен. Раэделимые блочные коды делятся, в свою очередь, на несисте­ матические. и систематические. Несистематические разделимые коды строятся таким образом, что проверочные символы определяются как сумма подблоков длины lt на которые разделяется блок информа­ ционных символов. Большинство известных разделимых кодов составляют система­ тические коды. У этих кодов проверочные символы. определяются в результате проведения линейных операций над определенными ин... формационными символами. Для случая двоичных кодов каждый проверочный символ выбирается. таким, чтобы его сумма по модулю два с определенными информационными символами стала равной нулю. Декодирование сводится к проверке на четность определенных групп символов. В результате таких проверок дается информация о наличии ошибок, а в случае необходимости - о позиции символов,. где имеются ошибки. 6.6. ОСНОВНЫЕ ПРИIЩИПЬI ПОМЕХОУСТОЙЧИВОГО КОДИРОВАНИЯ При дальнейшем рассмотрении помехоустойчивых ·кодов будем полагать их блочными и равномерными. Для выяснения идеи помехоустойчивого кодирования рассмотрим двоичный код, нашедший на прак1ике наиболее широкое применение. Напомним, что двоичный код - это код с основанием т = 2. Количество разрядов п в кодовой комбинации принято называть длиной или· значимостью кода. Символы каждого разряда могут 79
nринимать значения О и 1. Количество единиц в кодовой комбинации называют весом кодовой комбинации и обозначают w. НапримерJ кодовая комбинация 100101100 характеризуется знач­ .ностьюп=9ивесомW=4. Степень отличия любых двух кодовых комбинаций данного ко­ д.а характеризуется так называемым расстоянием между кодами d. Оно выражается числом позиций или символов, в которых комбина­ пли отличаются одна от другой, и определяется как вес суммы по .мuдулю два этих кодовых комбинаций. Например, для определения ·расстояния между комбинациями 100101100 и 110110101 необходимо nросуммировать их по модулю два: + 100101100 110110101 010011001 • Полученная-· ·в результате суммирования новая кодовая комби­ нация характеризуется весом w = 4. Следовательно, расстоя~~,ие меж-­ ду исходными кодовыми комбинациями d = 4. Ошибки, вследствие воздействия помех, проявляются в том, что в одном или нескольких разрядах кодовой комбинации нули пере­ ходят в единицы и, наоборот, единицы переходят в нули. В резуль­ -тате создается новая - ложная кодовая комбинация. Если ошибки происходят только в одном разряде кодовой ком­ бинации, то их называют однократными. При наличии ошибок в двух, трех и т. д. разрядах ошибки называют двукратными, трехкратными ит.д. Экспериментальные исследования каналов связи показали, что ошибки символов при передаче по каналу связи, как правило, груп­ пируются в пачки различной длительности [28, 64). Под пачкой оши­ бок понимают участок последовательности, начинающийся и конча­ ющийся ошибочно принятыми символами. Внутри пачки могут .быть и правильно принятые элементы. Для указания мест в кодовой комбинации, где име~qтся искаже- ния символов, используется вектор ошибки е. Вектор ошибки п-раз­ ,рядного кода - это п-разрядная комбинация, единицы в которой указывают положение искаженных символов кодовой комбинации. Например, если для пятиразрядного кода вектор ошибки имеет вид е = 01100, то это значит, что имеют место ошибки в третьем и четве.р­ ~ом разрядах кодовой комбинации. Вес вектора ошибки we характеризует кратность ошибки. Сумма 110 модулю два для искаженной кодовой комбинации и вектора ошиб­ ки дает исходную неискаженную комбинаuню. Как уже отмечалосьt помехоустойчивость кодирования обеспечи­ вается за счет введения избыточности в кодовые комбинации. Это значит, что из п символов кодовой комбинаuии для передачи информа­ ции испqльзуется k < п символов. Следовательно, из общего числа N0 = 2п возможных кодовых комбинаuий для передачи информаuии используется только N = 2'· комбинаций. В соответстви.и с этим все множество N0 = 2п возможных кодовых комби.наций делится на две so
группы. В первую группу·-входит множество N = 2k разрешенных комбинаций, вторая группа вклю­ чает в себя множество (N0 - N) = = 2п - 2k запрещенных комби­ наций. Если на приемной стороне уста­ новлено, что принятая ко~бинация относится к группе разрешенных, то считается, что сигнал пришел Рис. 5.5. без искажений. В противном случае делается вывод, что принятая комбинация искажена. Однако это справедливо лишь для таких помех, когда исключена возможность перехода одних разрешенных комбинаций в другие. В общем случае каждая из N разрешенных комбинаций может трансформироваться в любую из N0 возможных комбинаций, т. е. всего имеется N • N 0 возможных вариантов передачи (рис. 5.5), из них N вариантов безошибочной передачи (на рис. 5.5 обозначены жирными линиями). N (N - 1) вариантов перехода в другие разре­ шенные комбинации (на рис. 5.5 обозначены пунктирными .линиями) и _1 N (N0 - N) вариантов перехода в запрещенные комбинации (на рис. 5.5 обозначены штрихпунктирными линиями). Таким образом, не все искажения могут быть обнаружены. Доля обнаруживаемых ошибочных комбинаций составляет N(N0-N) _l _ _!:!__ N.N 0 - N0 • (5.5) Для использования данного кода в качестве исправляющего мно­ жество запрещенных кодовых комбинаций разбивается на N непере­ секающихся подмножеств Mk. Каждое из подмножеств Mk ставится в соответствие одной из разрешенных комбинаций. Если принятая запрещенная комбинация принадлежит подмно­ жеству М 1 , то считается, что передана комбинация Al (рис. 5.5). Ошибка будет исправлена в тех случаях, коrда полученная ком­ бинация действительно образовалась из комбинации А,. Таким об­ разом, ошибка исправляеrся в (N0 - N) случаях, равных количеству запрещенных комбинаций. Доля исправляемых ошибочных комби­ наций от общего числа обнаруживаемых ошибочных комбинаций составляет N0 -N 1 N(N0 -N) =71• (5.6) Способ разбиения на подмножества зависит от того, какие ошибки должны исправляться данным кодом. 5.7. СВЯЗЬ КОРРЕКТИРУЮЩЕЙ СПОСОБНОСТИ КОДА С КОДОВЫМ РАССТОЯНИЕМ Для оценки степени различия между двумя произвольными ком­ бинациями данного кода используется, как уже отмечалось, характе­ ристика, получившая название расстояния между кодовыми комби- 6 5-1834 81
Таблица 5.4 Ai А1 1 As 1 . А4 А" Аа 1 А, А. ООО 001 010 011 100 101 110 111 наuиями. Наименьшее расстояние между разрешенными кодовыми комбинациями dmin - очень важная характеристика кода, ибо имен­ но она характеризует его корректирующие способности. Рассмотрим это на конкретных примерах. Пусть необходимо построить код, обнаруживающий все ошибки кратностью t и ниже. Построить такой код - это значит из множества N0 возможных выбрать N разрешенных комбинаций так, чтобы любая из них в сумме по модулю два с любым вектором ошибок с весом W 1 ~ t не дала бы в результате никакой другой разрешенной комбинации. Для этого необходимо, чтобы наименьшее кодовое расстояние удовлетворяло усл.овию (5.7) В качестве примера рассмотрим код со· значностью п = 3. Все возможные комбинации такого кода представлены в табл. 5.4. Мат­ рица расстояний между кодовыми комбинациями имеет вид (rабл. 5.5). Таблица 5.5 А1 А" Аа А.,, Ar, Ав А, Ав А1 о 1 1 1 2 1 2 1 2 3 А2 1 1 о 2 1 2 1 3 2 Аз 1 2 о 1 2 3 1 2 А4 2 1 l 1 о 3 2 2 1 1i As 1 2 2 1 3 о 1 1 2 Ав 2 1 3 2 1 о 2 1 А1 2 3 l 2 1 2 о 1 Ав з 1 2 1 2 1 1 2 1 1 о 82
Для того чтобы код обеспечивал обнаружение однократных ошh бок, необходимо из всего множества N0 = В возможных комбинаций выбрать в качестве разрешенных ·такие, расстояние между которыми было бы не менее d = 2. Как видно из матрицы расстояний, в качест­ ве примера разрешенных комбинаций в этом случае можно выбрать следующие: А1=ООО; А4=011; А6=101; А7=110. Для обнаружения двукратных ошибок наименьшее расстояние должно быть равно dmin = 3. При этом в качестве примера разрешенных комбинаций можно выбрать А1=ООО; А2=111. Очевидна срvаведливОсть условия d<n. , (5.8) Пусть теперь необходимо _построить код, обеспечивающий · уст­ ранение однократных ошибок. Выбираем в качестве первой разре­ шенной комбинации А 1 = ООО. При наличии однократных ошибок комбинация А1 может перейти в одну из следующих запрещенных комбинаций: А2 = 001, А3 = 010 и А5 = 100. Комбинации А2 , Аз и А5 можно принять в качестве подмножества запрещенных комбина­ ций А 1 . Последнее означает, что в случае приема одной из комбина­ ций этого подмножества выносится решение. что передана комбина- ция А1. • Пусть в качестве второй разрешенной комбинации выбирается комбинация, отстоящая от первой на расстоянии d = 2, например, А4 = 011. Ей должно соответствовать подмножество запрещенных комбинаций А3 :z= 010; А2 = 001 и А8 = 111. Однако получилось пе­ ресечение подмножеств. При приеме запрещенных сигналов А2 или А 3 нельзя однозначно установить, какой был передан сигнал - А1 или А4 .. _ Если же в качестве второй разрешенной комбинации выбрать комбинацию, отстоящую от А1 на d = 3, т. е. комбинацию А8 = 111, которой соответствует подмножество запрещенных комбинаций А4 ~ = 011, А8 == 101 и А7 = 110, тов этом случае подмножества запрещен­ ных комбинаций не пересекаются. Следовательно, при d = 3 обеспе- чивается устранение всех однократных ошибок. • В общем случае для устранения ошибок кратности о кодовое рас­ стояние должно удовлетворять условию dmin~2а+1. (5.9) Аналогично рассуждая, можно установить, что для исправления всех ошибок кратности не более а и одновременно обнаружения всех ошибок кратности не более t и (при t ~ а) кодовое расстояние долж­ но удовлетворять условию drnin~t+а+1. (5. 10) 83
'5.8. ПОСТРОЕIШЕ КОДОВ С ЗАДАВИОИ ИСПРАВЛЯЮЩЕИ tпосовностью До сих пор при рассмотрении корректирующих кодов мы пред­ полагали заданной его значность п. Повышение корректирующей способности кода достигалось при сохранении п за счет уменьшения множества N разрешенных комбинаций (или уменьшения количества k информационных символов). Обычно же на практике коды строятся в_ обратном порядке: вначале выбирается количество информацион­ ных символов k, исходя из объема алфавита источника, а затем обес-· печивается необходимая корректирующая способность кода за счет добавления избыточных символов. Пусть известен объем алфавита источника N. Необходимое ко­ личество информационных символов k= log2N. Пусть также известно полное число ошибок Е, которое необходи­ мо исправить. Задача состоит в том, чтобы при заданных N и Е определить знач­ ность кода п, обладающего требуемыми корректирующими возмож­ ностями. Полное число ошибочных комбинаций, подлежащих. исправлению, равно Е • 2k = Е • N. Так как количество ошибочных комбинаций равно N0 - N, то код обеспечивает исправление не более N 0 - N l(омбинаций. Следовательно, необходимое условие для возможности исправления ошибок можно записать в виде NE~N0 -N, откуда получим ~ 0~(1+E)N, или 2n N~ l+E. (5.11) (5.12) Формула (5.12) выражает условие для выбора значности кода п. Рассмотрим частные случаи. Если имеются ошибки разной крат­ ности, то прежде всего необходимо обеспечить устранение однократ-­ н-ых ошибок, вероятность по'явления которых наибольшая. Возмож­ ное количество векторов однократных ошибок Е=С~ ==n. В этом случае зависимость (5.12) примет вид • •2n N=2~l+п· (5.13) При построении кода целесообразно пользоваться табл. 5.6 . Нужно при этом иметь в виду, что код должен также удовлетво­ рять условию dmin ~ 3. (5. 14) 84
r:~~·· ~:- Таблица 54'6 п 2 з 4 5 6 7 в 1 9 1 1 2n 1,33 2 3,2 5,33 9.2 16 1 28,4 51_,2 I+n Если необходимо обеспечить устранени~ всех ошибок кратности от 1 до l, то нужно учесть, что • число возможных однократных ошибок Е1 = С~; число возможных двукратных ошибок Е2 = С~; число возможных /-кратных ошибок Е1 = C/i. l Общее число ошибок Е = L С~. i=l При этом зависимость (5.12) примет вид 2n N~ 1 (5.15) 1+Lс~ l=l Условие (5.15) является нижней оценкой для длины корректирrю­ щего кода, т. е. оно определяет необходимую минимальную длину кода п, обеспечивающую исправление ошибок заданной кратности при· известном числе разрешенных комбинаций N или числе информа­ ционных символов k = log 2 N. Это же условие является верхней оценкой для N или k, т. е. опр~­ деляет максимально возможное число разре.шенных комбинаций или информационных символов для кода длины п, обеспечивающего ис­ правление ошибок заданной кратности. 5.9. ПОКАЗАТЕЛИ КАЧЕСТВА КОРРЕКТИРУЮЩЕГО КОДА Любой корректирующий код характеризуется рядом показателей: длиной п, основанием т, количеством информационных символов k или избыточных символов р = п - k, полным числом всех возмож­ ных кодовых комбинаций N0 = тn (для двоичных кодов N0 = 2п), числом разрешенных кодовых комбинаций (мощностью кода) N, ве­ сом кодовой комбинации w, весом вектора ошибки wl, кодовым рас­ стоянием d и пр. Однако основным показателем качества корректирующего кода является его способность обеспечить правильный прием кодовых ком­ бинаций при наличии искажений под воздействием помех, т. е. по­ мехоустойчивость кода. Количественная оценка помехоустойчивости кода может быть осуществлена по-разному. Помехоустойчивость кода характеризует его способность обеспе­ чить правильную передачу сообщений в условиях воздействия помех. Поэтому для колиt1ественной оценки помехоустойчивости кода целе­ сообразно использовать вероятность правильного приема кодовых 85
комбинаций Рпр _ 1- Рош, (5. 16) где Рош - вероятность ошибочного приема кодовых комбинаций. Если код не обладает корректирующими свойствами, то вероят... ность ошибочного приема Р0ш будет равна вероятности искажения кодовых комбинаций Pk. Для корректирующего кода Р0ш <-Pk. В ре­ альных условиях Рош ~ 1, поэтому более удобным критерием оценки .помехоустойчивости кода является логарифмическая величина 1 1 sk=tg-= Ig--- (5.17) рош•l-pnp• Иногда для оценки качества корректирующих кодов пользуются понятием коэффициента обнаружения Роо Кобн == JJi: , (5.18) где Р оо - вероятность обнаруживаемых ошибок. Это недостаточно полная характеристика качества корректиру­ ющего кода. Ею целесообразно пользоваты;я в основном для оценки кодов, предназначенных только для обнаружения ошибок. Корректирующая возможность кода обеспечивается за счет •из­ быточности, т. е. удлинения кодовых комбинаций. При удлинении кодовых комбинаций усложняется аппаратура, увеличивается время передачи и обработки информации. Поэтому избыточность также является важной характеристикой кода. Для оценки избыточности кода пользуются понятием коэффици­ ента избыточности р n-k К.изб = - = ---, п п (5. 19) где. р - количество избыточных символов в кодовой комбинации. 6.10. СИСТЕМАТИЧЕСКИЕ КОДЫ Как уже отмечалосьt в настоящее время наиболее широкий класс корректирующих кодов составляют систематические коды. Эти коды относятся к группе разделимых блочных кодов. Для систематиче­ ского кода сумма по модулю два двух разрешенных комбинаций также дает разрешенную комбинацию. В теории кодирования широко используется матричное представ- ление кодов. • Все разрешенные кодовые комбинации систематического (п., k)- кода можно получить, располагая k исходными разрешенными кодо­ выми комбинациями. Исходные кодовые комбинации должны удов­ .летворять следующим условиям [28, 30, 31, 32, 33]: 1. В ЧI:JСЛО исходных комбинаций не должна входить нулевая. 2. Кодовое расстояние между любыми парами исходных комби- наций не должно быть меньше dmtn• . 3. Каждая исходная комбинация, как и любая ненулевая разре- 86
шенная комбинация, должна содержать количество единиц не менее dmtn• 4. Все исходные комбинации должны быть линейно независимы, т. е. ни одна из них не может· быть получена путем суммирования других. Исходные комбинации могут быть получены из матрицы. состоя­ щей из k строк и п столбцов: ан а12.." йtk Ьн Ь12...Ь1р й21 й22.."й2k Ь21Ь22.". Ь2р Pn,k = .... ••... •. • .. •• (5.20) • . •••• ..• •• .... •• .. •••••• .. • .. • . ••• ak1 ak2••• akk bk1 bk2••• bkp Здесь символы первых k столбцов являются информационными и последних р столбцов -- проверочными. Матрицу Р п.k называют производящей. Производящая матрица Pn,k может быть представлена. двумя подматрицами - информационной Uk и проверочной Нр: а11 а12••• a1k Ь11 Ь12 ••• Ь1р а21 а22 •• .. a2k Ь21 Ь22 •••Ь2р Pnk = .... ••.. ..... " (5.21) t ... • . ••• 1" ... • .. ...... • .. " • ... akt ak2 ... akk bkt bk2 ... bkp где ан а12... a1k Ьн Ьа ••• Ь1р й2~ й22 ... й2k Ь21 Ь22 ... Ь2р Vk= . •1 •• . Нр=... •••• . (5.22) t .. •1 1 ••• ••.• .. • . . •• . •• .. •.. ••• .. aki ak2••• akk bk1 bk2•••bkp Для построения производящей матрицы удобно информационную матрицу брать в виде квадратной единичной матрицы 1ОО...ОО О1О...ОО ОО1...ОО Vk= •'•••• 1 •• (5.23) ..1 •••••. . • .. • .... ооо...1о ооо...о1 При этом проверочная подматрица НO должна строиться с соблю­ дением следующих условий: 1. Количество единиц в строке должно быть не менее dmtn - 1. 2. Сумма по модулю два двух любых строк должна содержать не менее dm1n - 2 единиц. 87
Проверочные символы образуются эа счет линейных операций над информационными символами. Для каждой кодовой комбинации • должно быть составлено р независимых сумм по модулю два. Выбор информационных символов, участвующих в формировании того или иного проверочного символа, зависит от способа декодирования кода. Весьма удобно проверочные суммы составлять с помощью про­ верочной матрицы Н, строящейся следующим образом [28]. Вначале строится подматрица Н1, являющаяся транспонированной по от-­ ношению к подматрице Н р: hн Ь21 ••• bkt Ь12 Ь22 ••• bk2 Hl= ........ ........ ...... Затем к ней справа приписывается единичная матрица Ь11Ь21... bkt 1оо...оо Ь12Ь22...bk2 о1о...оо Н= ... •... • ......... (5.24) ... ••• .. •••• .. • .... ... ••• .. •...... •• ... Ь1рЬ20...bkp о о о...о1 Алгоритм определения проверочных символов по информацион­ ным с помощью матрицы (5.24) следующий. Позиции, занимаемые единицами в первой строке подматрицы Н1, определяют информаци­ онные разряды, которые должны участвовать в формировании перво­ го проверочного разряда кодовой комбинации. Позиции единиц во второй строке подматрицы Н1 определяют информационные разряды, участвующие в формировании второго проверочного разряда и т. д. Пусть например, производящая матрица кода (7 ,4) имеет вид 1ОООО11 О1ООIО1 Р7,4=ОО1О11·О ООО1111 Проверочная подматрица о11 Нр= 1о1 ]lо. 1l1 Транспонированная подматрица по отношению к Н0 о111 н1=1о11. ]1о1 88
Приnиеывая справа единичную матрицу, получим проверочную матрицу о1111оо Н=1о11о1о. 11о1оо1 Кодовые комбинации должны содержать р = п - k = 7 - 4 = 3 проверочных символа. Подматрица Н 1 указывает на то, что провероч­ ные символы должны определяться равенствами Ь1=а2+аз+а4; Ь2=а1+аз+а4; Ьа=а1+а2+а4. Тогда для сообщения, представляемого, например, простой кодо- вой комбинацией 0011, проверочные символы будут Ь1=О+1+1=О; Ь2=О+1+1=О; Ь3=О+О+1=1. Следовательно, полная кодовая комбинация будет иметь вид 0011001. . Проверочная матрица Н очень удобна для определения места ошибки в кодовой комбинации, а, следовательно, исправления оши­ бок. Проверка кодовых комбинаций при этом выполняется путем суммирования по модулю два проверочных символов кодовых комби­ наций и ·проверочных символов, вычисленных по принятым информа­ ционным. В результате будет получена совокупность контрольных равенств, каждое из которых представляет сумму по модулю. два одного из контрольных симв.олов и определенного количества информа► ционных. Состав контрольных равенств легко определяется из провероч~ ной матрицы Н. В состав первого контрольного равенства должны входить символы, позиции которых заняты единицами в первой стро­ ке матрицы Н. В состав второго контрольного равенства должны вхо­ дить символы, позиции которых заняты единицами во второй строке­ матрицы Н, и т. д" Так, для рассмотренного ранее примера с кодом (7,4) эти равен- ства будут иметь вид S1 = Ь1+а2+а3+а4; s~ = Ь2+al+аз+а4; S3= Ь3+а1+а2+а4• В результате р таких проверок будет получено р-разрядиое двоич­ ное число (синдром), которое будет равно нулю при отсутствии оши­ бок и отлично от нуля в случае наличия ошибок. Если код предназначен для исправления ошибок, то должно быть. заранее определено соответствие ~лежду видом синдрома и видом ис­ правляемой ошибки. 89
Помехоустойчивость кода с удвоением элементов выше помехо­ устойчивости кода с четным числом единиц. Это достигнуто за счет увеличения избыточности кода и усложнения процедуры проверки кода. Инверсный код В основу построения инверсного кода положен метод повторе­ ния исходной кодовой комбинации. Причем в тех случаях, когда исходная комбинация содержит четное число единиц, ·вторая комби­ нация в точности воспроизводит исходную. Если же исходная комби­ нация содержит нечетное число единиц, то повторение производится в инвертированном виде. Например, комбинация 01010 и 01110 ин­ версным кодом представляются соответственно как 0101001010 и О111О1ООО1. Проверка кодовой комбинации производится в такой последо­ вательности. Сначала суммируются единицы, содержащиеся в основ­ ной комбинации. Если их число окажется четным, то элемец.ты до­ полнительной комбинации принимаются в неизменном виде. После этого обе комбинации сравниваются поэлементно (первый элемент с первым, второй со вторым и т. д.) и при обнаружении хотя бы од­ ного несовпадения принятая комбинация бракуется. Если же количество единиц основной комбинации нечетное, эле­ менты второй комбинации принимаются в инвертированном виде. Затем, как и в предыдущем случае, основная и дополнитель11ая ком­ бинации сравниваются поэлементно. Образующая и проверочная матрицы кода имеют вид Pn,k=JVк,Uкl; H=IVк,Uкl, где Uк - единичная матрица и Uк - матрица, полученная из еди­ ничной путем замены единиц нулями, а нулей - единицами. Избыточность кода не зависит от числа элементов кодовой ком- 6инации и равна· Кизб = 0,р. Код позволяет обнаружить практически все ошибки в комбина­ ции. Ошибки не будут обнаружены лишь тогда, когда одновременно исказятся два, четыре и т. д. элемента в исходной комбинации и со­ ответствующие два, четыре и т. д. элемента дополнительной ·комби­ нации. Из рассмотренных кодов инверсный код обладает наибольшей помехоустойчивостью. 5.12. КОДЫ С ОВНАРУЖЕШIЕМ И ИСПРАВЛЕНИЕМ ОШИБОК Коды Хзмминга Известно несколько разновидностей кода Хэмминга, характери­ .зуемых различной корректирующей способностью [36). К этим кодам обычно относят коды с исправлением однократных ошибок и коды с исправлением однократных и обнаружением двукратных ошибок. 91
Код Хэмминга, обеспечивающий исправление всех однократных ошибок, должен иметь минимальное кодовое расстояние dmtn = З. Длина кода п выбирается из условия 2" 2k~ l+n (5.25) где k - количество информационных сигналов. Код строится таким образом, чтобы в результате р = п - k про­ верок получить р-разрядное двоичное число, указывающее номер ис­ каженной позиции кодовой комбинации. Для этого проверочные сим­ волы должны находиться на номерах позиций, которые выражаются степенью двойки (2°, 2 1, 22 ,. ... , 2Р- 1 ), так как каждый из них входит только в одно из проверочных уравнений. Таким образом, если ну­ меровать позиции слева направо, то контрольные символы должны находиться на первой, второй, четвертой и т. д. позициях. Результат первой проверки дает цифру младшего разряда син­ дрома в двоичной записи. Если результат этой проверки даст 1, то один из символов проверенной группы искажен. Таким образом, первой ироверкой должны быть охвачены символы с номерами, содер­ жащими в двоичной записи единицы в первом разряде: 1, 3, 5, 7, 9 и т. д. Результат второй проверки дает цифру второго разряда син­ дрома. Следовательно, второй проверкой должны быть охвачены сим­ волы с номерами, содержащими в двоичной записи единицы во втором разряде:2,3,6,7,10ит.д. Аналогично при третьей проверке должны проверяться символы. номера которых в двоичной записи содержат единицы в третьем раз- ряде:4,5,6,7,12ит.д. . Таким образом, проверочные группы должны иметь вид S1 = а1+а8+а5+а,+а9+ •••; S2 = а2+а3+а6+а7+а10+ ···; S3== а4+а5+а6+а,+а12+···; S4 = ав+а9+а10+а11+а12+ .... (5.26) Проверочная матрица кода должна иметь п столбцов и р строк. Каждый столбец должен составлять двоичную комбинацию, указы­ вающую номер соответствующей позиции кода. Например, для кода длиной п == 9, обеспечивающего исправле­ ние однократных ошибок, количество· избыточных. символов р == 4. При этом в качестве проверочной может быть выбрана следующая матрица: ооооооо11 ооо1111оо Н=о11оо11оо . 1о1о1о1о1 Представим в качестве примера nростую двоичную комбинацию 10011 кодом Хэмминга. Так как информационными должны быть Q2
третий, пятый, шестой, седьмой и девятый символы, то для рассмат­ риваемого кода а3= 1; а5= О; а6= О; а7 = 1; а9 = 1. Из условия обес­ печения чеtности сумм (5.26) получим следующие значения п_ровероч­ ных символов: а1 == 1; а2 = О; а4 == 1; а8 == 1. Следовательно, простому пятиэлементному коду 11011 соответствует девятиэлементный код Хэмминга 101100111. Пусть теперь при передаче произошло искажение пятого символа, т. е. код принял вид 101110111. Тогда в результате первой проверки получим 1, второй - О, третьей - 1 и четвертой - О. Таким образом, в результате проверок получен синдром 0101, указывающий на иска-­ жение пятого символа. Исправление ошибки сводится к инвертиро­ ванию символа на пятой позиции. I(од Хэмминга с кодовым расстоянием dmin = 4 получается путем добавления к коду Хэмминга с dmin = 3 проверочного символа, пред­ ставляющего собой результат суммирования по модулю два всех сим­ волов кодовой комбинации. Операция декодирования состоит из двух этапов. На первом оп­ ределяется синдром, соответствующий коду с dm1n = 3, на втором - проверяется последнее проверочное соотношение. Для рассмотренного ранее {{Ода с dm1n = 4 проверочная матрица может иметь вид ооооооо11о ооо1l11ооо Н=о11оо11ооо. 1о о1о1о1о ]11 1 1111 Дополнительное проверочное соотношение, вводимое для увели- чения минимального расстояния кода Хэмминга до dm1n = 4, имеет вид S5= й1+й2+й3+й4+й0+йв+Q1+йg+й9+й10• Избыточность кода Хэмминга Киэб = .L зависит от количества п информационных символов и при изменении k от 4 до 1013 изменяет­ сяотОА29ДО0,098приdmln = 3иотО,&ДО0,0107приdmin=4. ЦиRJiические коды Основные свойства циклического кода и способы построения. Цик­ лические коды получили довольно широкое применение благодаря их эффективности при обнаружении и исправлении ошибок. Схемы кодирующих и декодирующих устройств для этих кодов чрезвычайно просты и строятся на основе обычных регистров сдвига. Название кодов произошло от их свойства, заключающегося в том, что каждая кодовая комбинация может быть получена путем циклической перестановки символов комбинации, принадлежащей к этому же коду. Это значит, что если, например, комбинаuия а0а1а2 .•• 93
.. .ап-1 является разрешенной комбинацией циклического кода, то комбинация ап-1а0а1а2 •• .ап-2 также принадлежит этому коду. Циклические коды удобно рассматривать, представляя комбина­ цию двоичного кода не в виде последовательностей нулей и единиц, а в виде полинома от фиктивной переменной х, а именно: Q (х) = йп-lХп-l + йп-2Хп-2 + ••• + й1Х + йо, (5.27) где ai - цифры данной системы счисления (в двоичной системе О и 1). Так, например, двоичное семиразрядное число 1010101 может быть записано в виде полинома а(х)=1•х 6 +О•х 5 +1•х4+О•х3+1•х2+О•х 1 +1•х0= =x 6 +x4 +x2 +l. (5.28) Наибольшая степень х в слагаемой с ненулевым коэффициентом называется степенью полинома. Представление кодовых комбинаций в форме (5.28) позволяет свести действия над комбинациями к действию над многочленами. При этом сложение двоичных многочленов сводится к сложению по модулю два коэффициентов при равных степенях переменной х; умно­ жение производится по обычному 11равилу перемножения степенных функций, однако полученные при этом коэффициенты при равных степенях переменной х складываются по модулю два; деление осу­ ществляется по правилам деления степенных функций, при этом операции вычитания заменяются операциями суммирования по моду­ лю два. Представление комбинаций в формах (5.27) и (5:28) удобно еще и тем, что упомянутая ранее циклическая перестановка есть резуль­ тат простого умножения данного полинома на х. Действительно, если одна из кодовых комбинаций выражается полиномом V (х) = = а0 + а1х + а2х2 + ... ап-1хп- 1 , то новая комбинация за счет цик­ лического сдвига будет х • V (х) = а0х + а1х2 + а2х3+ ... + ап-2хп-1 + + ап_ 1 хп. Однако в последнем члене необходимо заменить xn на l. Следовательно, новая комбинация будет V1(Х) = йп-l+й0Х+й1Х2 + ••• +йп-2Хп-l. Например, циклический сдвиг кодовой комбинации 1010101 мо­ жет быть получен путем умножения полинома (5.28) на х G(х)•х=х 7 +х0+х3+х. Заменив х1 на С получим полином 01(х) =х 5 +х3+х+1, соответствующий кодовой комбинации 0101011. Согласно определению циклического кода для построения произ­ водящей матрицы Pn.k достаточно выбрать только одну исходную п-разрядную комбинацию V1 (х). Циклическим сдвигом можно полу­ чить (п - 1) различных комбинаций, из которых любые k комбина-­ ций могут быть взяты в качестве исходных. Суммируя строки произ­ водящей матрицы во всех возможных ·комбинациях, можно получить остальные кодовые комбинации. Можно показать, что кодовые комби­ нации, получаемые из некоторой комбинации V1 (х) циклическим сдви- 94
гам, удовлетворяют условиям, предъявляемым к совокупности ис­ ходных комбинаций [30]. Циклический сдвиг комбинации с единицей в старшем п-м разряде равносилен умножению соответствующего многочлена на х с одновре­ менным вычитанием из результата многочлена (хп - 1) или (хп + l)t так как операции осуществляются по модулю ·два. Следовательно" если в качестве исходного взять некоторый полином Р (х), то процесс получения базовых полиномов можно представить в следующем виде: И1(х)=Р(х); U2(х) =Р(х)х-С2(х"+1); U3(х) =Р(х)х2- С8(хп+1); (5.29) Un(х)=Р(х)xn-t - Сп(xn+1), где С2, С3, ••. , Сп - коэффициенты, принимающие значение 1 при Р(х)•xi>(хп- 1)изначениеОприР(х)•xi<(хп- 1). При таком способе построения базовых полиномов полином Р (х}' называют образующим. _ Если принять условие, что полином Р (х) •является делителем­ двучлена (хп + 1), то базовые комбинации, а вместе с ними и все раз­ решенные комбинации кода приобретают свойство делимости на Р (х). Из этого следует, что принадлежность кодовой комбинации к группе разрешенных можно легко проверить делением ее полинома на образующий полином Р (х). Если остаток от деления равен нулю. то комбинация является разрешенной. Это свойство циклического кода используется для обнаружения или исправления ошибок. Действительно, если под воздействием по­ мех разрешенная кодовая комбинация трансформируется в запрещен­ ную, то ошибка может быть обнаружена по наличию остатка при. делении комбинации на образующий полином Р (х). Таким образом, образующий полином Р (х) должен удовлетворять. требованию - он должен быть делителем двучлена (хп + 1). Выбор· Р (х) однозначно определяет циклический код и его корректирующие, свойства. Циклический (п, k)-код может быть получен путем умножения . простого k-значного кода, выраженного в виде полинома степени[ (k - 1), на некоторый образующий полином Р (х) степени (п - k) .. Возможна и другая процедура получения циклического кода .. Для этого кодовая комбинация простого k-значного кода G (х) умно-­ жается на одночлен xn-k, а затем делится на образующий полином Р (х) степени (п - k). В результате умножения G (х) на xrz-k степень каждого одночлена, входящего в G (х), повысится на (п - k). При де­ лени и произведения xn-kQ (х) на образующий полином Р (х) получится. частное Q (х) такой же степени, как и G (х). Результат умножения и деления можно представить в следующем виде: х";:~)(х) = Q(х) + R (х) р(х) , (5.30), где R (х) - остаток от деления ri-k G (х) на Р (х).
Так как частное Q (х) имеет такую же степень, как и кодовая комбинация G (х), то Q (х) также является комбинацией простого k-значного кода. Умножая обе части равенства (5.30) на Р (х) и произведя н-екото-­ рые перестановки, получим F(х)=Q(х)Р(х)= xn-kQ(х)..+R(х). (5.31) В правой ч_асти (5.31) знак минус перед R (х) заменен знаком :плюс, так как вычитание по модулю два сводится к сложению. Таким образом, кодовая комби.нация ц~клического (п, k)--кода :может быть получена двумя способами: 1) путем умножения простой кодовой комбинации степени (k - 1) ·на одночлен xn-k и добавления к этому произведению остатка, полу­ ченного от деления полученного произведения на образующий по­ Jiином Р (х) степени (п - k); 2) путем умножения простой кодовой комбинации степени (k - 1) на образующий полином Р (х) степени (п - k). При первом способе кодирования первые k символов полученной кодовой комбинации совпадают с соответствующими символами ис­ ходной простой кодовой комбинации. При втором способе в полученной кодовой комбинации информа­ ционные символы не всегда совпадают с символами исходной простой комбинации. Такой способ легко реализуем, но вследствие того, что в полученных кодовых комбинациях не содержатся информационные ,символы в явном виде, усложняется процесс декодирования. • В связи с вышеизложенным на практике обычно используется первый способ получения .циклического кода. • Матричное представление циклических кодов. Для формирования ,строк производящей матрицы по первому способу образования цикли­ ческого кода берут комбинации простого k-разрядного кода G (х), •Содержащие единицу в одном разряде. Эти комбинации умножаются на xn-k, определяется остаток R (х) от деления полученного произве­ дения xn-k О (х) на образующий полином и записывается соответству- ющая строка матрицы в виде суммы произведения xn-k G (х) и остатка R (х). При этом производящая матрица Рп.k представляется двумя подматрицами - информационной Uk и дополнительной Нр: Информационная подматрица Uk представляет собой квадратную ~диничную матрицу с количеством строк и столбцов, равным k. Допол­ нительная подматрица Нр содержит р = п - k столбцов и k строк и образована остатками R (х). Производящая матрица позволяет получить k комбинаций кода. Остальные комбинации получаются суммированием по модулю два .строк производящей матрицы во всех возможных сочетаниях. Пусть, например, необходимо построить производящую матрицу (7,4) циклического к~да. Образующий полином Р (х) = х8 + х1 + 1. 96
Информационная подматрица имеет вид ООО1 ОО1О Uk=0100• 1ООО Для получения первой строки дополнительной подматрицы первая строка информационной подматрицы умножается на х3 и делится на об- u Эт • u ООО1•1ООО разующии полином. о соответствует выполнению операции 1000 . Остаток этих операций 101 и составит первую строку дополнительной подматрицы. Аналогично определяются остальные строки дополни- тельной подматрицы. • Окончательно производящая матрица имеет вид ООО11О1 ОО1О111 Pi,4=О1ООО11• 1ООО1.1О При втором способе образования циклического кода производящая матрица Р n,k формируется путем умножения образующего полинома Р(х)степенир=п- kнаодночленxk-1 и последующихk- 1 сдвигов полученной комбинации. Выбор образующего полинома. При построении циклического кода вначале определяется число информационных разрядов k по заданному объему кода. Затем находится наименьшая длина кодовых комбинаций п, обеспечивающая обнаружение или исправление ошибок заданной кратности. Эта проблема сводится к нахождению нужного образующе­ го полинома Р (х). Как уже отмечалось ранее, степень образующего полинома должна быть равна числу проверочных разрядов р. Поскольку в циклическом коде опознавателями ошибок являются остатки от деления многочлена принятой комбинации на образующий многочлен, корректирующая способность кода будет тем выше, чем больше остатков может быть образовано в результате этого деления. Наибольшее число остатков, равное 2е - 1 (исключая нулевой), может обеспечить только неприводимый многочлен степени р (т. е. не делящийся ни на какой другой многочлен). Известно [36], что двучлен типа (хп + 1) = (х22- 1 + 1), в разло­ жении которого в качестве сомножителя должен входить образующий многочлен, обладает тем свойством, что он является общим кратным для всех без исключения неприводимых полиномов степени z и разла­ гается на множители из всех неприводимых полиномов, степени Zt i которых делят без остатка число z. Простейшим циклическим кодом является код, обеспечивающий обнаружение однократных ошибок. Вектору однократной ошибки со­ ответствует одночлен x 1t степень которого i может ·принимать значения от 1 доп. Для того чтобы могла быть обнаружена ошибка. одночлен xi 7 5-1834 97
не должен делиться на образующий полином Р (х). Среди неприводи­ мых многочленов, входящих в разложение двучлена xn + 1, является многочлен наименьшей степени х + 1. Таким образом, образующим полиномом данного кода является двучлен Р (х) = х + 1. Остаток от деления любого многочлена на х + 1 может принимать только два зна­ чения: О и 1. Следовательно, при любом числе информационных разря­ дов необходим только один проверочный разряд. Значение символа этого разряда обеспечивает четность числа единиц в кодовой комбина­ ции. Данный циклический код с проверкой на четность обеспечивает обнаружение не только однократных ошибок, но и всех ошибок не­ четной кратности. Например, для кода с k = 4 информационная подматрица будет иметь вид ООО1 ОО1О Uk=0100• 1ООО Дополнительную матрицу можно последней строки информационной лями, на образующий полином построить по остаткам деления подматрицы, дополненной р ну- 10000 11 11 1111 10 11 10 11 10 11 1 остатки 1 1 1 1 Таким образом, дополнительная матрица имеет вид 1 1 Hr,=1• 1 Следовательно, производящая матрица ооо11 РБ.4: = оо1о1 о1оо1~ 1ооо1 Для построения циклического кода, исправляющего однократные или обнаруживающего двукратные ошибки, необходимо, чтобы каждой одиночной ошибке соответствовал свой опознаватель, т. е. остаток 98
от деления многочлена принятой комбинации на образующий много­ член. Поскольку количество возможных однократных ошибок равно п, а неприводимый многочлен степени р _может дать 2Р - 1 ненулевых остатков, то необходимым условием исправления любой одиночной ошибки является выполнение неравенства 2р- 1>=n. (5.32) Отсюда находятся степень образующего полинома р=п- k~log2(п+1) (5.33) и общая длина п кодовой комбинации. В табл. 5.7 приведены наибольшие значения k и п для различных р. Поскольку образующий многочлен Р (х) должен входить в качест- ве сомножителя в разложение двучлена (х11 + 1)~= (х22- 1 + 1), то, используя отмеченные ранее свойства этого двучлена, а также ус­ ловие (5.33), можно выбрать образующий полином. Однако не всякий многочлен степени р, входящий в разложение двучлена xn + 1, может быть использован в качестве образующего полинома. Необходимо, чтобы для каждой из п однократных ошибок обеспечивался свой, отличный от других, остаток от деления принятой . кодовой комбинации на образующий полином. Это будет иметь место при условии, если выбранный неприводимый многочлен степени р, являясь делителем двучлена х'1 + 1, не входит в разложение никакого другого двучлена х1 + 1, степень которого l < п [23}. • Рассмотрим в качестве примера способ выбора образующего полино­ ма для построения циклического кода, содержащего k = 4 информа­ ционных символа и обеспечивающего устранение однократных ошибок и обнаружение двукратных ошибок. В соответствии с (5.35) и табл. 5.6 определяем общее количество символов·п = 7 и количество проверочных символов р = 3. Образующий полином Р (х) должен быть степени р = 3 и входить в качестве -сомножителя в разложение двучлена хп + 1 = х~-1 + 1. Так как п = 7, то составляющие сомножители двучлена должны быть неприводимыми полиномами, степени которых являются делителями числа z = 3. К числам, на которые z = 3 делится без остатка, относят­ ся 1 и 3. Следовательно, сомножителями двучлена х7 + 1 должны быть неприводимые полиномы первой и третьей степеней. Пользуясь таблицами неприводимых полиномов, имеющимися в Таблица 5.7 1 р 1 2 3 4 б 6 7 8 9 10 п 1 3 7 15 31 63 127 255 511 1023 k 1 о 1 4 11 26 57/120 1 247 1 502 1013 1• 99
[32) и [35), получим х"!+1=(х+1)(х3+х+l)(х3+х2 -+- 1). Ни один из сомножителей степени 3 не входит в разложение другого двучлена xn + 1 степени п < 7. Поэтому каждый из этих сомножите" лей может быть выбран в качестве образующего полинома. Образующие полиномы кодов, способных исправлять ошибки лю­ бой кратности, можно определять, пользуясь следующим правилом Хэмминга •[28]: 1. По заданному числу информационных разрядов k определяется число проверочных разрядов р, необходимое для исправления одно­ кратных ошибок, и находится образующий полином. 2. Рассматривая полученный (п, k)-код как некорректирующий п­ разр ядный код, определяют дополнительные разряды для обеспечения исправления одной ошибки в этом коде и находят соответствующий образующий полином. 3. Повторяется данная процедура столько раз, пока не будет по­ лучен код, исправляющий независимые ошибки до данной кратности включительно. Однако код, построенный таким образом, является неоптимальным с точки зрения числа избыточных символов. В этом отношении более совершенен код Боуза - Чоудхури [37], обеспечивающий минималь­ ное число проверочных символов при заданном k. Математическая структура этого кода несколько отлична от рассмотренной ранее и ха­ рактеризуется более сложными устройствами для обнаружения и ис­ правления ошибок. Особенностью этого кода является то, что для лю­ бых целых положительных чисел z и tи существует циклический код значности п = 2z - 1 с кодовым расстоянием dmtn ~ 2tи + 1. При этом число проверочных символов р не превышает величины z • tu, т. е. р ~ z • tи. Такой код гарантийно исправляет ошибки кратности не более tи или обнаруживает ошибки кратности не более 2tи· Кроме того, код обнаруживает все пачки ошибок, длина которых равна или меньше р. К числу циклических кодов, предназначенных для исправления пачек ошибок, относятся коды Файра, Абрамсона и Миласа - Абрам­ сона, обеспечивающие исправление одной пачки ошибок, и код Рида - Соломона, рассчитанный на исправление нескольких пачек ошибок. Наиболее известным из этой группы кодов является код Файра [35]. Образующий полином данного кода имеет вид Р(х)=q(х)(хе+1), (5.34) где , q (х) - неприводимый многочлен степени t, принадлежащий показателю степени (5.35) а число с есть некоторое постоянное число, которое не должно делиться на т. Чис_ло проверочных символов равно с + t, а общее число символов 100
в кодовой комбинации равно наименьшему общему кратному чисел ,с ит. С помощью кодов Файра можно исправить одиночную пачку оши­ бок длины Ь или меньше и одновременно обнаружить пачку ошибо:к длины l ~ Ь или меньше, если Ь+l-1~с; Ь~т. (5.36) Если применять эти коды только для обнаружения ошибок, то они позволяют обнаружить любую комбинацию из двух пачек ошибок, длина наименьшей из которых не превосходит t, а сумма обеих пачек не превосходит с + 1, а также любую одиночную пачку ошибок с дли­ ной, не превосходящей числа проверочных символов р = с + t. Итеративные коды Итеративные коды отличаются тем, что операции кодирования про­ водятся над совокупностью символов, располагаемым по нескольким координатам. Общее число информационных символов в таком коде равно q k=Пk1, (5.37) l=I где kz - число информационных символов по координа1е l; q - коли­ чес1во координат. В общем случае каждый информационный символ входит одновре­ менно в q различных кодовых комбинаций. Комбинации информаци-­ онных символов по каждой из координат кодируются каким"либо ли­ нейным кодом. Получаемый итеративный код также является линей­ ным. Общее количество символов в кодовой комбинации q n=Пn1, (5.38) l=I где nl - общее количество символов по координате l. Минимальное кодовое расстояние для итеративного кода q drnin = П drninl, (5.39) l=l где dminz - минимальное кодовое расстояние для линейного кода по координате l. Простейшим из итеративных кодов является двумерный код с про­ веркой на четнос1ь по строкам и столбцам. Расположение информаци­ онных и проверочных символов такого кода показано на рис. 5.6 . Проверочные символы располагаются в крайнем правом столбце и нижней строке. Их значения выбираются такими, чтобы суммы единиц в каждой строке и каждом столбце были четными. Передача одной комбинации итеративного кода обычно происхо­ дит по строкам последовательно - от первой строки к последней. 101
Qif а,1 .... а,; .... а•к Qf, K+I оооОО·О оооооо ооооо оооооо оооооо о• Q•о аа, а12 ... a2i••• й2,с й2,к+~ о • о • оо о • оо • о оо•о • . • • . . . . . . оооооо оооооо ооооо . . . . (lj' ~j2 ... ajl ••• Qjк а1.к+1 о•о • оо о •• ооо оо•о • . . оооооо оо•о•о ооооо . . . . . . ~ aLf . . оооооо оооо.оо о• о•о йt2 ... Gti •• • йtк а,.IC+f оооооо оооооо оооое й~.1.1аt+1.2· • • at+1.i' • • йt+f,I( at+1.1r+1 а 5 6 Рис. 5.6. Рис. 5.7. Проверка на четность также производится последовательно по стро­ кам. Этот код является простейшим итеративным кодом с dmin = 4. Он обнаруживает все ошибки нечетной кратности и двукратные ошиб­ ки. Не обнаруживает ошибки. имеющие четное число искаженных символов как по строкам, так и по столбцам. Простейшая необнару­ живаемая ошибка - четырехкратная ошибка, располагающая в вер­ шинах правильного четырехугольника (рис. 5.7, а). На рис. 5.7, бив изображены некоторые необнаруживаемые шестикратные и восьми" кратные ошибки. Простейший итеративный код обнаруживает любую пачку ошибок длиной l + 1 и менее. где l - длина строки [28]. Процедура исправления ошибок проста. Если не выполняется про­ верка на четность для i-й строки и j-ro столбца, то изменяется на об­ ратный символ, находящийся на пересечении i-й строки и j-ro столбца. Многомерные итеративные коды с количеством координат q > 2 пока не получили большого распространения. Недостатком итеративных кодов с проверками на четность по стро­ кам и столбцам является их сравнительно высокая иэбыточностьt которая составляет 15-20 % и значительно превышает при прочих равных условиях избыточность циклических кодов. Кроме того, ите" ративный код не способен исправить все ошибки кратности tи = == 2dmin + 1. Действительно, например, при итерации двух кодов Хэмминга с dmin = 3, обеспечивающих исправление однократных оши­ бок, получается код с dmin = 3 • 3 = 9, который должен исправлять ошибки кратности fu = 4 и менее. Однако такой код не может исправ­ лять четырехкратные ошибки с расположением искаженных символов в вершинах прямоугольника (рис. 5. 7, а). Итеративные коды. предложены П. Элиасом [39, 40]. Они нашли широкое применение для обнаружения и исправления ошибок, возни­ кающих при записи, хранении и считывании цифровой информации на _ магнитном носителе [23, 41]. Рекуррентные коды Циклические коды позволяют обнаруживать и исправлять как оди­ ночные и двойные ошибки, так и пачки ошибок. Однако практическое применение этих кодов для исправления пачек ошибок затруднено тем, что при не очень большой избыточности длина кодовых комбинаций 102 о о о о о о о о
значительно превышает длину пачек. В этом отношении более удобны­ ми являются рекуррентные коды. Рекуррентные (непрерывные) коды [34, 42, 43, 44, 45] отличаются тем, что у них операции кодирования и декодирования производятся непрерывно над последовательностью символов без деления их на блоки. Эти коды предназначены в основном для нс.правления пачек ошибок. Формирование проверочных символов осуществляется путем сложе~ ния двух или более информационных символов, сдвинутых один от­ носительно другого на определенное расстояние t, называемое шагом сложения. Длина исправляемой рекуррентным кодом пачки ошибок l зависит от шага сложения t и определяется из условия l=2t. (5.40) 1\'lинимальное необходимое расстояние между пачками ошибок, при котором обеспечивается исправление всех ошибок в пачке длиной /, равно а=бt+1. (5.41) Из всех рекуррентных кодов наибольшее распространение полу­ чил т. н. цепной кодt отличающийся предельно простыми методами ко­ дирования и декодирования. В цепном коде каждый проверочный символ формируется путем сложения по модулю два двух информационных символов, отстоящих друг от друга на шаг сложения t. Обозначая последовательность информационных символов через а0а1а2 ••• a1at+1 ...a2tй2t+t• .. , получим следующую последовательность проверочных символов для цепного кода: Ь0 = а0 + at; Ь1 = а1 + -t - at+1; ••• bt = at + а2,; bt+1 = йt+1 + й2t+l•• •• В общем потоке символов цепного кода между каждыми двумя информационными символами помещается один проверочный: a 0b0a 1b1a 2b2•• .atbtat+t••· .. . a2tb2tй21+1bu+1 ••• _ Так как число проверочных символов, сформированных за некото­ рое время, равно числу информационных символов, поступивших за то же время, то избыточность цепного кода равна 0,5. На приеме информационные и проверочные символы разделяются и регистрируются независимо друг от друга. Из принятой последова­ тельности информационных символов формируются контрольные сим­ волы так же, как формировались проверочные символы при передаче. После задержки на величину (Зt + 1) каждый сформированный конт­ рольный символ сравнивается с соответствующим принятым провероч­ ным символом. В случае искажения одного из проверочных символов будет несовпадение соответствующих контрольных и проверочных сим­ волов. Если же искажен один из информационных символов, то будет несовпадение двух контрольных и соответствующих проверочных сим­ волов, в формировании которых участвует данный информационный символ. Из рассмотренного принципа исправления ошибок в цепном коде следует, что правильное испрЩ3ление ошибок возможно только в том 103
случае, если два из трех символов, охватываемых проверкой, приняты правильно. Это ус~овие выполняется при условии, что при шаге сло­ жения t длина пачки ошибок не более 2t и проверочные символ~~ пере­ даются в канал с задержкой на (Зt + 1). Таким образом, цепной код обнаруживает и исправляет пачки ошибок сравнительно просто, но ценой большой избыточности. В последние годы начали находить применение сверточные коды ► представляющие другую разновидность рекуррентных кодов. Для них разработан метод последовательного декодирования, позволяющий эффективно исправлять ошибки при сравнительно небольшой сложнос­ ти. Рассмотрение этих кодов выходит за рамки данного учебника. Наи­ более подробно сверточные коды .изложены в работах I28, 42, 43, 44 ► 46]. 5.13. ПРИМЕРЫ Пример 5.1. Дискретный источник выдает 10 сообщений. Какое минимальное число разрядов должны иметь кодовые комбинации равно... мерного двоичного кода, предназначенного для кодирования этих сообщений? Записать комбинации. Решение. Число разрядов в кодовой комбинации из (5.4) равно п=log210=3,32. Округляя полученный результат до ближайшего большего целого окончательно имеем п = 4. Кодовые комбинации приведены в табл. 5.8. Пример 5.2. Чему равна минимальная длина кодовых комбинаций при передаче 16 и 128 сообщений в двоичном и восьмеричном кодах? Решение. Необходимая длина кодовых комбинаций при передаче сообщений в двоичном коде n16= log216=4; n12s= log2128=7. Длина кодовых комбинаций при передаче сообщений в восъмерич­ Таблuца 5.8 Символ Число Представление числа в виде суммы Кодовая комбинация а1 о~ Q.23+О•2 2 +О•21+О•2° оооо а2 1 О·23+О·22+О,2 1 + 1•2° ОООl аз 2 О•23+О•22+1•21+О•2° ОО1О а4 3 О•2 3 +О•22+1•2 1 + 1•2° ОО11 аБ 4 0,23+1-2 2 + 0-21 + 0.2° О1ОО ав 5 О•23+1•22+О•2 1 + 1•2° ОIО1 ; а, 6 О•23 + 1•2 2 + 1•2 1 +О•2° О11О as 7 О·23 + 1•2 2 + 1•2 1 + 1•2° О111 ао 8 1•23+О•22+О•21+О•2° 1ООО ' й10 9 1•2 3 +О•22+О•2 1 + 1•2° 1ОО1 104
ном коде lo~ 16 З n18=log816= 1 2 8 .. = 1, после округления получим n16 = 2; og2 log2 128 n128 = log8128 = 1 8 = 2,33 после округления n12в =3. og2 Пример 5.3. Определить корректирующую способность кода, име- .. ющего следующие разрешенные комбинации: 00000; 01110;. 10101; 11011. Решение. Корректирующая способность кода определяется мини-­ мальным кодовым расстоянием. Составим матрицу расстояний между~ кодовыми комбинациями (табл. 5.9). Как видно из матрицы, минимальное кодовое расстояние dmtn =~ = 3. Следовательно, данный код способен: 1. Обнаруживать двукратные ошибки. 2. Устранять однократные ошибки. 3. Устранять и обнаруживать однократные ошибки. Пример 5.4 . Построить производящую матрицу систематическог~ кода, способного исправлять одиночную ошибку (а = I) при передаче 16 сообщений. Решение. Так как число разрешенных кодовых комбинаций N = 16" то число информационных разрядов в кодовых комбинациях k=log216=4. Следовательно, число строк производящей матрицы Рn,k должнО' быть равно четырем. Пользуясь условием (5.13) и табл. 5.6, находим длину кода п = 7.. Следовательно, число столбцов матрицы Pn,k равно семи. Так как число проверочных разрядов р = п - k = 3, то число­ столбцов проверочной подматрицы Нр равно трем. Количество едини;ц_ в каждой строке подматрицы Нр до.11жно быть не мeнee--drnin - 1. Для а= 1 dmtn = 2а + 1 = 3. Выбираем для подматрицы Нр следующие комбинации: 111, 11 О, 1О 1, О 11. С~едовательно, проверочная. Таблица 5.9: 00000 01110 10.101 11011 1 1 00000 о 3 3 4 •, 1 01110 1 3 1 о 4 3 10101 3 3 о 3 < 1 1 11011 4 з 4 о ; 105~
1юдматрица может иметь вид: 111 111 о1] 11о илиНр= о11 1оl Нр=1о1t 11о' илиНр=l1о ит.д. о11 1о1 111 Информационную подматрицу Uk берем в виде единичной матрицы с количеством строк и столбцов, равным k = 4: 1ООО О1ОО Uk=00}0• ООО1 Окончательный вид производящей матрицы: 1ооо111 1оооl11 Р14= о1оо11о P1t4 = о1ооо11 оо1о1о1'или оо1оl1оt . ооо1о11 оооl1о1 1оооо11 о1оо1о1 илиР1,4=оо'1оl1о ит.д. ооо1111 Пример 5.5. Построить проверочную матрицу Н систематического кода (7.4), образующая матр1iца которого имеет вид 1ООО111 О1ОО11О Р7,4=ОО1О1О1• ООО1О11 Составить уравнения для определения проверочных символов. Решение. Находим подматрицу Н 1 , являющейся транспонированной no отношению к подматрице Н р: 111О н1= 1 1 1О О1 1 1 Приписывая к ней справа единичную матрицу Uk, получаем прове- рочную матрицу 111о1оо н-11о1о1о• 1о11оо1 Проверочные символы определяются путем суммирования по мо­ дулю два определенных информационных символов. Алгоритм опреде- 106
ления проверочных символов определяется подматрицей Н1. Позиции. занимаемые единицами в первой строке Н1, -0пределяют информацион­ ные разряды, которые должны участвовать в формировании первого проверочного разряда. Позиции единиц во второй строке определяют информационные разряды, участвующие в формировании второго про­ верочного разряда. И, наконец, позиции единиц в третьей строке опре­ деляют информационные разряды, участвующие в формировании трЕть­ его проверочного разряда. Следовательно, проверочные симв~ы опре­ деляются равенствами Ь1=а1+а2+а8; Ь2=а1+а2+а4; Ь3=а1+а3+а4• Пример 5.6. Построить комбинацию систематического кода (7, 4) для случая, когда простая неизбыточная комбинация имеет вид 0110. Ре~иение. В данном случае значения информационных символов· следующие: а1=О; а2=1; а3=1; а4=О. Тогда, используя полученные в предыдущем примере равенства для проверочных символов, определяем: Ь1=О+1+1=О;/12= О+1+О=1;Ь3=О+1+О=1. Следовательно, сообщение 0110, закодированное систематическим кодом (7, 4), примет вид: 0110011. Пример 5.7 . Образующая матрица кода (7, 4) имеет вид 1оооооо1111 о1ооооо11lо оо1оооо11о1 Р11,1=ооо1ооо1о11• оооо1ооо111 ооооо1о1оо1 оооооо1о11о Построить комбинацию систематического кода (11, 7), соответству­ ющую неизбыточной комбинации 11ОI001. Решение. Поскольку для получения комбинации вида 1101001 необходимо сложить первую, вторую, четвертую и седьмую строки единичной матрицы Uk, для нахождения проверочных разрядов следу­ ет сложить эти же строки подматрицы Нр: 1111 +1011101 1 0110 1100 • Таким образом, комбинация кода (11, 7) имеет вид 11010011100. Пример 5.8 . Необходимо обеспечить передачу 8 команд кодом с четным числом единиц. Определить необходимую значность кода, рассчитать избыточность и помехоустойчивость кода при условии, что вероятность искажения одного символа комбинации равна Р5 = = 10-3 • 107
Решение. 1) Код с четным числом единиц строится путем добавле­ ния к информационным символам комбинации одного избыточного (контрольного) символа. Причем в тех случаях, когда информационная часть комбинации содержит четное число единиц, дополнительный сим­ вол представляется нулем, при нечетном числе единиц в информаци­ онной группе дополнительный символ представляется единицей. Значность кода, таким образом, п=k+l, где k=lgN=~-З lg2 lg2 - • Следовательно, п=4. Возможные варианты кодовых • комбинаций представлены в табл. 5.10. Как видно из таблицы, код характеризуется минимальным рассто­ янием dmin = 2. Однако благодаря специальной логике построения и проверки кода, он позволяет обнаруживать не только однократные ошибки, но и все ошибки нечетной-кратности (в нашем случае однократ­ ные и трехкратные). 2) Избыточность кода Кизб= ~ =+= 0,25. 3) Помехоустойчивость кода будем оценивать по формулам (5.17) и (5.18). Для оценки помехоустойчивости кода будем полагать, что веро• ятности искажения отдельных символов кодовой комбинации одинако­ вы и· равны Р э и искажения независимы. Код позволяет обнаруживать одноj{ратные ошибки нечетной крат­ ности, так как только в этих случаях количество единиц в комбинации станет нечетным. Не обнаруживаются ошибки четнqй кратности. Пусть в комбинации искажаются два определенных символа, а ос­ тальные не искажаются, тогда вероятность такого события равна Р;·(1 - Рэ)п- 2 . Так как таких вариантов будет С~, то вероятность двукратных ошибок р(2)- с2р2(1- р )п-2 ош- пэ э • Т(!,блица 5. 1О Информа- Проверочный Информа- Проверочный No n.n ционные символ No n.n ционные символ символы симвслы 1 ООО о 5 100 1 2 001 1 6 101 о 3 010 1 7 110 о 4 О11 о 8 " 111 1 108
По аналогии вероятность четырехкратных ошибок Pi:J = С~Р; (1 - р в)п-4. Следовательно, суммарная вероятность появления необнаруживае­ мых ошибок р - р(2)+р(4)- с2р2(1 р)п-2+с4р4(1- р)п-4 и.о - ош ош- n3 - Э п-Э З • Так как с повышением кратности вероятность ошибок резко падает, то Рн.о~ C~P;(l -Ps)n- 2 • Следовательно, помехоустойчивость кода S=lg-- 1 - е:: 1а 1 =lg 1 = 678 рн.о - ~ С~Р; (1 - Р3)п-2 п(п- l)Р;(1- Рэ)п-2 ' • Для нахождения коэффициента обнаружения Кобн необходимо определять вероятность появления обнаруживаемых ошибок, которая для кода с проверкой на четность Ро.о = С~Рэ(l -Рэ)п-l + C~P;(l -Рэ)п-З~ С~Рэ (1-Рэ)п-l. Вероятность появлеция всех ошибок, как обнаруживаемых, так и необнаруживаемых, может быть определена исходя из следующих соображений. Если вероятность искажения одного символа кодовой комбинации· равна Р 9 , то при независимости ошибок вероятность того, что все п символов комбинации не будут искажены, равна (1 - Рэ)n. Тогда вероятность 'искажения кодовой комбинации рк = 1 - (1-Р9)п. (5.42) Следовательно, коэффициент обнаружения к р00 С~Рэ (1 - Рэ)п-l _ 1",../ nP3 (1 - P3)n-I 1 _ ""' _____ _ ____ = (1_, Р...)п- = обн- -Рк= ~ J,- (1- Р3)п пРэ = (}- 10- 3 )8 = 0t991. Пример 5.9 . Необходимо обеспечить передачу 100 команд инверс­ ным кодом. Определить необходимую значность кода, рассчитать избы­ точность и помехоустойчивость кода при условии, что вероятность искажения одного символа комбинации Р э = I0-3 . Решение. 1) В основу построения инверсного кода, как отмечалось в 5.13, положен метод повторения исходной комбинации. Причем в тех случаяхt когда исходная комбинация содержит четное число еди­ ниц, вторая комбинация в точности воспроизводит исходную, если же исходная комбинация содержит нечетное число единиц, то повторение происходит в инвертированном виде. Количество информационных символов кода должно быть k = lgN Ig 100 = lg2 = lg2 = 6,6. Выбираем k == 7. Общее количество символов должно в два раза превышать количест­ во информац~онных символов n=2·k=14. 109
Отдельные варианты кодовых комбинаций табл. 5.11 . представлены в 2) Избыточность кода к-Р - 7 -05 изб- 7 - .14 - ,• 3) Помехоустойчивость кода оценивается по формулам (5.17) и (5"18). Как видно из табл. 5.11, код характеризуется расстоянием dmin = = 4. Однако, благодаря специальной логике построения и проверки кода, он позволяет практически обнаруживать почти все возможные ошибки. Наиболее вероятным видом необнаруживаемых ошибок является одновременное искажение двух символов в исходной комбинации и соответствующих им двух символов в повторяемой комбинации. Вероятность одновременного искажения какой-либо пары симво- лов в исходной комбинации равна С~12Р; (1 - Р 3)п/2-2 . Вероятность одновременного искажения двух пар соответствующих символов Ры.о = [С~12Р; (1 - Рэ)п/ 2 -212 ~ (С~12)2 Р:. Помехоустойчивость кода 1 1 S=lg--""' lg---= Jg ----- 936 рно (С~12) 2 ~ (С~)2 Jо-12 - - ' ' Коэффициент обнаружения ~ 1- (п-2)(~;12)2Р~ = 1- (14-2):12. 10-9 =0,99999. Пример 5.10. Построить код Хэмминга, обеспечивающий устране­ ние однократных ошибок и предназначенный для передачи 100 команд. Оценить избыточность и помехоустойчивость кода, если вероятность искажения одного символа комбинации Р9 = I0-3 . Решение. Количество информационных символов кода k=lgN=lg100=бб. lg2 lg2 ' Выбираем k = 7. Необходимую значность кода определим из со- Таблица 5.11 Nt п.п Информа- Проверочные Информа- Проверочные ционные символы No n.n ционные символы символы символы 1 0000000 0000000 б 0000100 1111011 2 0000001 1111110 6 з 0000010 1111101 10 0001001 0001001 4 0000011 0000011 15 OOOIJ. 1О 111000] 110
отношения 2" N~1+п• При N = 100 эначность кода п = 11. Количество проверочных групп определяется количеством избы­ точных символов р=n-k=4. . Так как значность кода п = 11, то проверочные группы должны. включать в себя следующие символы: S1 = а1+а8+а5+а7+а9+а11; S2= а2+а3+а6+а7+а10+а11; S3= а4+а5+а8+а7; •S4= а8+а9+а10+а11• Контрольные символы: а1 , а2 , а4 , а8 . При составлении кодовых комбинаций вначале проставляются информационные символы, а затем контрольные так, чтобы сумма еди­ ниц в каждой контрольной группе была четной. Отдельные варианты кодовых комбинаций представлены в табл. 5.12 . Избыточность кода Кнзб= ~ =+= 0,36. Так как код может быть использован для исправления однократных или обнаружения двукратных ошибок, то вероятность появления не­ обнаружцваемых ошибок Рн.о~С~Р:(~ - Р,,)п-з. Следовательно, помехоустойчивость кода S=lg PI =lg зз I з~lgз~=lgсэ:о-з=6,78. и.о СпРэ (1 - Рэ)п- Сп9 n Коэффициент об~аружения к _I Ри.о _ l С~~(1.- Рэ)п-3 ~- l_ С~~(1- Р9)п-з обн--р - - ------- ------- ~ к 1-(1-Рэ)п nРэ (п- 1)(п- 2)Р;(1- Р9)n-З ~1- 6 = 0,99998. Таблица 5.1'2 1 Символы кода Noп.п 1 ' f 1 1 1 1 1 1 а; й1 аа а4 йа а• й7 а. -а• а10 a,t 1 1 1 о о о о о 1 о о 1 2 1 о о о о о о о о 1 1 3 1 о о о о о о 1 1 о о 4 о 1 о о о о о о 1 о 1 5 о о о о о о о 1 1 1 1 IH
Пример 5.11. Закодировать простую информационную группу (1 (х) = 1011 циклическим кодом, обеспечивающим обнаружение дву­ кратных или устранение однократных ошибок. . Решение. По заданному количеству информационных символов ,k = 4 определяем значность кода. Пользуясь соотношением (5.33) ~и табл. 5.6, получим п = 7. Для построения циклического кода необходимо выбрать обраэую­ ·щий полином Р (х) степени р = п - k = 3, который должен входить в качестве сомножителя для разложения двучлена xn + 1 = x 2z-1 - 1. В нашем случае этот двучлен имеет вид х7 + 1. Составляющие его .-,сомножители должны быть неприводимыми полиномами, степени кото-­ ·,рых яв_ляются делителями числа z = 3. Следовательно, сомножителя­ ми двучлена х7 + 1 должны быть неприводимые полиномы первой и третьей степеней. Пользуясь таблицами неприводимых полиномов в [32, 35), получим х1+ 1 =(х+ l)(x3 +x+ l)(x3+x2 + 1). Выбираем в качестве образующеtо полинома сомножитель Р(х)=х3+х2+1. Кодирование осуществляем первым способом. Для этого исходную кодовую комбинацию G (х) умножаем на .Хп~k = х3: xn-kQ(x)=х3(х3+х+1)=х6+х4+х3. Определяем остаток R (х) от деления xn-k G (х) на образующий :многочлен Р (х): х6+х4+х3 х 3 +х2 -+1 +хв+хо+хз хз+х2 хь+х4 +xs+х4+х2 х2. Остаток R(х) = х2. Следовательно, полином F (х) циклического кода в соответствии с (5.33) будет иметь вид F(х)= xn-kQ(х)+R.(х) =х 6 +х4 ·+ х3 + х2 . 1011100. ПриАtер 5.12. Получено сообщение циклическим кодом F* (х) = -= х6+х4+х3+х 2 • Проверить декодированием наличие ошибок в принятой комбинации, если образующий полином Р (х) = х3 + х2 + +1. Реш,ение. Декодирование осуществляется делением полинома по­ лученной комбинаuии на образующий полином х6+х4+х3+х2х 3 +х2+1 +х6 +х5+х3 х3 +х2 х5-f-х4+х2 +хь+х4+х2 о !12
Остаток от- деления R (х) = О. Следовательно, комбинация принята без искажений. Пример 5.13. Получена комбинация F* (х) = х6 + х4 + х2 + 1.. закодированная циклическим кодом. Образующий полином Р (х) = == х3 + х2 + 1. Проверить наличие ошибок в кодовой комбинации. Ре~иение. Делим полином полученной комбинации на образующий полином х3+1 +х3+х2+1 х2 Остаток R (х) = х 2 _ =1-= О. Следовательно, комбинаuия принята с ошибками. Пример 5.14 . Построить производящую матрицу циклического кода прип=7;k=4.ОбразующийполиномР(х) =х 2 +х+I. Решение. Поскольку k = 4, информационная подматрица имеет вид ООО1 ОО1О Uk=0100• 1ООО Для получения первой строки дополнительной подматрицы умножа­ ем первую строку информационной подматрицы на х3 и делим на обра- u ООО1•1000 О . зующии полином, т. е. выполняем операции 1011 . статок от этих операций 011 составляет первую строку дополнительной подмат­ рицы. Аналогично определяем остальные стро~и дополнительной под­ матрицы. Дополнительная подматрица имеет вид1 О11 1 Нр= 1 1 1О 11• О1 Окончательно получим следующую производящую матрицу~ ООО1О11 • ОО1О11О Pn,k=IUk,HpJ=О1ОО111. 1ООО1О1 Для построения производящей матрицы вторым способом первую строку матрицы получаем путем умножения образующего полинома наxk-t 1Р (х) • xk-1 = 1011 • 1000 = 1011000. Последующие строки 8 6-1834 J1З
матрицы получаем путем циклического сдвига полученной комбинации. Таким образом, производящая матрица 1о11ооо Pn,k = о1о11оо оо1о11о. ооо1о11 Пример 5.15. Определить параметры двумерного итеративного кода, в котором в качестве кода по строкам используется код с провер­ кой на четность с параметрами п1 === 5; k1 = 4; d1 = 2, а в качестве кода по столбцам - код Хэмминrа с параметрами п2 = 7; k2 = 4; d2 = 3. Решение. Согласно (5.39) - (5.41), параметры итеративного кода следующие: п=n1•n2=35; k=k1•k2=16; d=d1•d2=6. Контрольные вопросы 1. Что понимается под кодированием в широком и узком смысле? ; 2. l(акова цель кодирования? 3. Какова особенность равномерных и неравномерных кодов? 4. Что обусловило широкое распространение двоичных кодов? 5. В чем сущность поэиционноrо'принциnа построения кодов? 6. В чем особенность составных кодов и для каких целей они используются? 7. Для каких целей используются рефлексные коды? 8. Что понимается под помехоустойчивыми кодами? 9. В чем заключается отличие между блочными и непрерывными кодами? 10. В чем особенность систематических кодов? 11. В чем сущность помехоустойчивого кодирования? 12. Что понимается под значностью и весом кодовой комбинации? 13. Как определяется расстояние между кодовыми комбинациями? 14. Что такое вектор ошибки? • 15. l(акова связь корректирующей способности кода с кодовым расстоянием? 16. Какими показателями можно оценивать качество корректирующих кодов? 17. Каким требованиям должны удовлетворять исходные комбинации системати- ческого кода? 18. Как строится производящая матрица систематического кода? 19. Каковы условия построения проверочной подматрицы? 20. I(аков алгоритм определения проверочных символов по информационным с помощью проверочной матрицы? • 21. Как оr1ределяется состав контрольных равенств с помощью проверочной мат­ рицы? 22. Каковы корректирующие свойства кода с четным числом единиц? 23. I(ак строится код с удвоением элементов, каковы его корректирующие свой­ ства? 24. Какова логика построения и проверки инверсного кода, каковы корректирую- щие свойства этого кода? 25. Каков принцип построения кодов Хэмминга? 26. Каким образом составля19тся проверочные группы кода Хэмминга? 27. Каковы свойства циклического кода? 28. l(акие известны способы построения циклических кодов? 29. l(аким образом выбирается образующий полином циклического кода? 30. Каковы основные разновидности циклических кодов и их свойства? 31. В чем отличительная особенность итеративных кодов? 32. Какова процедура обнаружения и исправления ошибок в итеративных кодах? 33. I(аково основное назначение рекуррентных кодов и как они строятся? 34. Каков принцип построения и дешифрации цепного кода? 114
Глава 6. ИНФОРМАЦИОННЫЕ МОДЕЛИ СИГНАЛОВ Всякое информационное устройство работает по единой схеме (рис. 6.1 ). На вход устройства подается -совокупность сообщений х1, х2, ..• хп. Задача устройства состоит в том, чтобы передать совокуп­ ность этих сообщений с достаточно высокой-достоверностью, или, ины­ ми словами, чтобы перевести вектор сообщений на входе Х (х1 , х2 , •.. . . . , х~) в соответствующий ему· вектор сообщений на выходе У (у1 , у2, .•• , Уп) без ошибок или с допустимыми ошибками. В процессе передачи сообщение может подвергаться многочислен­ ным преобразованиям, существенно меняющим его физические харак- теристики. Однако передаваемая информация должна оставаться ин­ вариантной при всех преобразованиях. Естественно, что количество передаваемой получателю информации связано с неопределенностью, которая имела место относительно 'передаваемого сообщения. В связи с этим необходимо ввести количественную меру оI.tенки информации и неопределенности передаваемых сообщений. 6.1. КОЛИЧЕСТВО ИНФОРМАЦИИ И НЕОПРЕДЕЛЕННОСТЬ. ЭНТРОПИЯ КАК МЕРА НЕОПРЕДЕЛЕННОСТИ Фундаментальным вопросом для теории информации является во­ прос о количественной мере информации. Необходимо отметить, что вся­ кая информация получается потребителем после принятия сообщения, т. е. в результате опыта. Сообщение, получаемое на приемной стороне, несет полезную информацию лишь в том случае, если имеется неопре" деленность относительно состояния источника сообщений. Если опыт имеет лишь один исход и не содержит никакой неопре­ деленности, то наблюдатель заранее будет знать исход этого опыта. В результате осуществления такого опыта наблюдатель не получит никакой информации. Пусть опыт имеет два равновероятных исхода. Результат контроля, например, должен указать, что контролируемый параметр находится в пределах нормы или за ее пределами. Передаваемое сообщение в этом случае может принимать два значения и содержит определенную ин" формацию. Рассмотрим в качестве третьего примера источяик напряжения, выходное напряжение которого может с одинаковой вероятностью принимать десять различных значений" В этом случае будет большая предварительная неопределенность относительно источника, а посту• пившее сообщение (конкретный ис- ход опыта) даст более уточненную характеристику состояния входа ис- nонещ точника. /- · Рассмотрим общий случай, коr- ~.t.' }----- // _~pa_atQJo_/11,,,w_{, 1 ,1 v;mpo.ictpVo-- . да источник может передавать не- : ._ 1•/ .•/ _ /,1 зависимые й несовместные сообщения Хп х1, х2, ••• , Хп с вероятностями р (х1), Рис. 6.1. {;!ln 115
р (х2), ••• , р (хп) соответственно. Естественно, что чем меньшая априорная вероятность события, тем большее количество информации оно несет. Так, например, сообщение о том, что летом температура воз· . духа в Крьiму выш_е нуля, не несет существенной информации, ибо ве­ роятность такого события очень велика. Сообщение же о том, что тем• пература воздуха на Южном берегу Кры~а в июне ниже нуля, содер• . жит значительно большее количество информации, ибо такое событие является весьма редким. Поэтому естественно предположить, что количественной мерой не­ определенности отдельного сообщения, а также передаваемой им ин­ формации может быть величина, обратная его априорной вероятности 1 Р (xi) . Однако такая мера неудобна тем, что в случае, когда опыт будет иметь только один исход, т. е. вероятность такого события равна еди" нице, количество информации, согласно принятой мере, равно единице. В действительности же результат такого опыта не дает никакой инфор­ мации. Кроме того, такая мера не обладает свойством аддитивности. Действительно, если имеет место сложное событие, состоящее из двух независимых событий xi и xi, то вероятность такого события будет определяться произведением вероятностей р (хд • р (xi). Количество информации в сложном сообщении должно оцениваться величиной ( )1 ( ) . С этой точки зрения более удобной является логарифмиче­ РXtрXj ск~я мера количества информации 1 /(Хд=1oga () . (6. 1) рХ[ При этом количество информации, содержащееся в сложном сооб­ щении, представляющем совокупность событий Xt и х1 • будет равно 1 1 1 /(х1, xi)= \oga Р(хд(pxi) =\oga Р(х.) +loga Р(xi) = /(х1)+/(xi). Логарифмическая мера, как видно. обладает свойством аддитив­ ности. Кроме того, эта мера в -случае событий с одним исходом дает нулевое количество информации. Выражение (6.1) характеризует количество информации, содер­ жащееся в сообщении xl. Оно характеризует также априорную неопре­ деленность этого сообщения. В связи с этим выражение (6. l) может быть использовано для количественной оценки неопределенности сообщения 1 Н(xt) = 1oga Р(xj) (6.2) -Величину (6.2), характеризующую неопределенность отдельного (i~го) сообщения, -принято называть частной энтропией. Количество информации и неопределенность для всей совокуп­ ности случайных сообщений можно получить усреднением по всем со­ бытиям: - п l п_ 1(Х)= ~ 1 р(xt}loga Р(х[) = - ~ 1 р (xt) loga р (xt), (6,З) п Н(Х)= - ~ р (xi) loga р (xt). ~- 4) l=l 116
Зависимости (6.3) и (6.4) выражают среднее на одно событие (сооб­ ще~ие) количество информации и энтропии. Термин «энтропия» заимст­ вован из термодинамики, где аналогичное выражение характеризует среднюю неопределенность состояния системы молекул вещества. Несмотря на совпадение зависимостей (6.3) и (6.4), энтропия Н (Х) и количество информации / (Х) принципиально различны. Н (Х), выражающая среднюю неопределенность со.стояния источника сообще­ ний, является объективной характеристикой источника сообщений, и, если известна статистика сообщений, может быть вычислена априор­ но, т. е. до получения сообщения. / (Х) является апостериорной ха­ рактеристикой и определяет количество информации, получаемое с поступлением сообщений. Н (Х) есть мера недостатка информации о состоянии отдельной системы. С поступлением информации о состоя­ нии системы энтропия последней снижается. Совпадение выражения (6.3) с выражением (6.4) свидетельствует лишь, о том, что количеств.о получаемой информации равно численно энтропии, которая имела место относительно источника· сообщений. На рассмотренной взаимосвязи количество информации с энтропией проявляется известный диалектический закон единства и борьбы: противоположностей, так как информация рассматривается в связи со своей противоположностью - энтропией и, с другой стороны, рас­ сматривае.тся как мера уничтожения, снятия энтропии. Единицы измерения количества информации и энтропии зависят от выбора основания логарифма в формулах (6.3) и (6.4). При исполь­ зовании десятичных логарифмов количество информации и энтропия определяются в десятичных единицах - дитах. В случае использова­ ния двоичных логарифмов измеряются количество информации и энт­ ропия в двоичных единицах - битах. Наконец, при использовании натуральных логарифмов единицей измерения является натуральная единица - нит. При анализе информационных процессов в электронных вычисли­ тельных машинах и других устройствах, функционирующих на основе двоичной системы счисления, удобно пользоваться двоичными еди­ ницами. При анализе процессов в приборах, работающих в десятичной (или двоично-десятичной) системе счисления, целесообразно пользо­ ваться дитами. В математических выкладках удобно пользоваться на­ туральными единицами. При дальнейшем изложении будем пользовать­ ся двоичными единицами -- дв. ед. Мера количества информации в виде (6.3) впервые была предложе- • на К. Шенноном в 1948 году и затем более строго определена А. Я. Хин­ чиным [47]. В случае равной вероятности сообщений выражение (6.3) для коли­ чества информации приводится к виду /(Х)= - 1og2р(хд =log2п, (8.&) 1 где tJ, = Р (xi) - количество передаваемых сообщений. Такая мера количества информации была предложена в 1928 году Р. Хартли. 117
6.2. СВОЙСТВА ЭНТРОПИИ ДИСКРЕТНЫХ СООБЩЕНИИ Формула (6.4) выражает энтропию дискретных сообщений. Энтропия дискретных сообщений обладает следующими свойствами: 1. Энтропия есть величина вещественная, ограниченная и неотри· цательная. Это свойство следует из выражения (6.4), если учесть, что вероятности р (xi) есть величины неотрицат~льные, заключенные в про~v;ежутке О ~ р (xi) ~ 1. 2. Энтропия детерминированных сообщений равна нулю. 3. Энтропия максимальна, если сообщения равновероятны. · В случае п равновероятных сообщений их вероятности р(Х1)===р(Х2) = ··· === р (Х11) == _l . п При этом энтропия сообщений будет равна п Н(X)max = - }: +log2 += 1og2 п. i=l (6.6) Как видно из выражения (6.6), в случае равновероятных событий энтропия возрастает с увеличением количества событий. 4. Энтропия системы двухальтернативных событий может изменять­ ся в пределах от нуля до единицы. Эн!ропия системы двух событий Н(Х)= - р(х1)1og2р(xJ)- р(х2)log2р(х2)== ==- р (х1) 1оg2р (х1) - [1·- р (х1)j ]оg2[ 1 -- р (х1)1. Из последнего выражения видно, что энтро~ия равна нулю при р(х1)= О; р(х2)= 1, или р(х1)==1; р(х2)==О. Максимум энтропии будет иметь место, когда р (х1) == р (Х2), При этом максимальное значение энтропии 1 1 1 н (X)max == - 2 log2т-2 log2===1ДВ. ед. Таким образом, можно утверждать, что одна двоичная единица - это энтропия системы двух равновероятных независимых событий. На рис. 6.2 представлена графически зависим.ость энтропии бинар­ ных событий _ от вероятности одного из событий. 6.3. ЭНТРОПИЯ НЕПРЕРЫВНЫХ СООБЩЕНИЙ Непрерывное сообщение как случайная величина характеризуется . _дифференциальным законом распределения вероятностей w (х). Пусть функция распределения плотности вероятности непрерывного сообще- ния имеет вид (рис. 6.3). • 118
о o,s f Р(х1) о Рис. 6.2. Рис. 6.3. Для определения энтропии непрерывных сообщений воспользуем­ ся в качестве исходного выражения (6.4) для энтропии дискретных сообщений. В связи с этим разобьем шкалу уровней непрерывной слу" чайной величины х на небольшие участки Лхt и внутри каждого участка выберем точки Xt так, чтобы выполнялось условие Sw(х)~ = w (xi)Лх;. (6.7) лхi Выражение (6. 7) характеризует вероятность р (xt) попадания слу­ чайной величины х в интервал Лхi (рис. 6.3) при замене непрерывной случайной величины х совокупностью дискретных сообщений xi, ве­ роятности поступления которых определяются выражением (6.4). Такая замена будет тем точнее, чем меньше участки Лхt. Энтропия эквивалентного дискретного сообщения в соответствии с (6.4) п п Н(Х)= - Lр(xi)1og2р(xt) = - L w(xL) Лхl log2 [w(xi) Лхt1= i=l l=l п п ==- Lw(xi}Лхilog2w(хд-L w(х1)Лх1log2Лхt. i=1 i=1 Чтобы получить выражение для энтропии непрерывного сообщения, осуществим предельный переход при Д~о{- ~ 1 w(х;)Лхilog2w(х;)- ~ 1 w (хд Лх; 1og2 Л~;} = 00 = - Iw(х) log2 w (х)dx - 1iш log2Лхt, -ею ДХi➔О (6.8) так как w(x)dx= 1. Второй член выражения (6.8) при Лхt -+ О стремится к бесконечнос­ ти. Следовательно, энтропия непрерывного сообщения должна быть равна бесконечности. Однако в реальных условиях отсчет сообщений на приемной стороне производится в дискретных точках вследствие конеч- 119
ной точности и разрешающей способности аnпаратуры, т. е. интервалы Лхi имеют конечную величину. Поэтому выражение (6.8), определяю­ щее энтропию непрерывного сообщения, имеет две доставляющиеt одна из которых определяется законом распределения сообщения, а вторая является постоянной величиной и обычно исключается иа рассмотрения. Первое слагаемое 00 h(х)= - Iw(х)1og2 w (х)dx (6.9) -оо представляет собой так называемую дифференциальную энтропию. Дифференциальная энтропия зависит от стати~тики сообщений. Если положить величину х безразмерной, то h (х) можно измерять в двоич­ ных единицах. Следует, однако, иметь в виду, что в отличие от энтро­ пии дискретных сообщений. величина h (х) является относительной, так как зависит от масштабах, а значит, от выбора единицы измерения. В связ11 с этим h (х) отдельно не может служить абсолютной мерой не• определенности непрерывного сообщения [11, 17]. Она не обладает мно­ гими свойствами обычной энтропии, в частности может принимать и отрицательные значения. Информационный смысл имеет не сама диф• ференциальная энтропия, а разность двух дифференциальных эн­ тропий. Доказано [48], что при заданной средней мощности (дисперсии) максимальной энтропией обладает нормальный закон распределения вероятностей. Если же задана пиковая мощность, то максимальной энтропией обладает равновероятный закон распределения. 6.4. ЭНТРОПИЯ СЛОЖНЫХ СООБЩЕIШЙ При решении задач передачи информации часто имеют дело с не­ сколькими источниками, дающим:и зависимые сообщения. Совокуп­ ность сообщений, вырабатываемых несколькими источниками, назовем сложным сообщением. Пусть имеются два источника сообщений. Сообщения первого ис­ точника принимают значения х1 , х2 , ... , Хп с вероятностями р (х1), р (х2), ••• , р (хп) и сообщения второго источника принимают значения У1, у2, ... , Ут с вероятностями р (у1}, р (у2), ... , р (Ут). Совместную энтропию совокупности сообщений Х и У можно пред­ ставить в виде п т Н(Х, У)= - LLр(xi,Yi)log2р(xi, Yi), (6~ 10) i=1 i=l где р (х1,. у1) - вероятность совместного появления сообщений Xt и у1 . Учитывая, что совместная вероятность может быть представлена в видер(хt, Yi) = р (хд р (y/xi), где р (у/хд - условная вероятность сообщения у1 при условии, что поступило сообщение xl, выражение (6.10) можно привести к виду п т Н(Х, У)=- LLр(xi)р(у1/х1)log2[р(xi)р(yi/xi)] = l·=l j=1 120
п т -== - t р(xl)-log2Р(х1) ~ Р(Ytlх1) - i=l i=-1 п т - t р(х1) ~ p(y/xt)log2p(yi/xi). i=l i=l т С учетом того что t р (y/xi), так как при наличии сообщения х1 /=1 обязательно будет одно иэ сообщений ансамбля у1 , выражение для сов- местной энтропии может быть преобразовано следующим образом; п п т Н(Х,У)= - t р(хдlog2р(х1)-t р(xt)~ р(yi/xl) х i=J i=l i=l п х 1оg2 р~у/хд =_Н(Х) + t р(хдН(У/хд, (6.11) i=l т где H(Yfxt)=-~ p(y1 /x1)1og2 p(yi/xд-- так называемая частная i=1 условная энтропия, выражающая энтропию сообщения У при условии, что имело место сообщение Х. Второй член выражения (6.11) представ­ ляет собой усреднение Н (YlxJ по всем сообщениям х1 , х2 , •.. , хп и на­ зывается средней условной энтропией сообщения У при условии по­ ступления сообщения Х. Обозначив его через Н (У/Х), окончательно получим где Н(Х/У) = Н(Х) +Н(У!Х), п пт Н(У/Х)= -t р(хдН(У/хд=-t t p(xt)p(yi/x,)x i--=l i=l j=l . п т х log 2 p(yi/xt) = - t t p(xl, Yi) log 2 p(yi/xt}. i=1 j=1 (6. 12) Основной смысл условной энтропии Н (У/Х) состоит в том, что она показывает, какую энтропию дают сообщения У, когда уже известна энтропия сообщений Х. Из очевидного равенства Н (Х, У) = Н (У, Х) получимj j Н(Х, У)= Н(У)+Н(XJY), где пт Н (Х/У) = - t t р (xt, Yi) ]og2 р (xilY1). l=I j=I Таким обраэомt совместная энтропия двух сообщений равна сумме безусловн-ой энтропии од_ноrо из сообщений и условной энтропии втора· го сообщения. При некотором множестве сообщений Х, У, Z, ... совместная энтро­ пия H(X,Y,Z, ... )=H(X)+H(Y,Z, .../Х)= r=H(Y)+H(X,Z, .../Y)=H(Z)+H(X, У, .../Z)= ... 121
Л1ожно отметить следующие основные свойства энтропии сложных сообщений. 1. При статистически независимых сообщениях Х и У совместная энтропия равна сумме энтропий сообщений Н(Х,У)=Н(Х)+Н(У). (6.13) Действительно, при статистически независимых сообщениях условная вероятность равна безусловной р (у/хд = р (yj), а совмест­ ная вероятность равна произведению вероятностей р (х,, Yi) = р (хд Х >~ р (yi). Тогда условная энтропия т п H(YJX)=-r ~ p(x1)p(yi)1og2p(yi). ;=1 l=l п Произведя суммирование по i, с учетом равенства ~ р (хд = 1, i=l nолучим п т т Н(YJX) = - ~ ~ р(xi)р(yj)log2р(yj)= - ~ p(yi)logaP(Yi)= Н(У). i=lj=I ;_1 Следовательно, при статистически независимых сообщениях условная энтропия событий равна безусловной. 2. При полной статистической зависимости сообщений Х и У сов­ :v~естная энтропия равна безусловной энтропии одного из сообщений. Действительно, полная статистическая зависимость соответствует случаю, когда условные вероятности р (y/xi) и р (xJyi) равны нулю или единице. В этом случае выражения р (Yi/xJ log 2 (yi/xl) = О ·и р (xi/y1) log 2 (x1/Yi) = О и, следовательно, условные энтропии Н (У/Х) = О и Н (Х/У) = О. Тогда получим Н(Х, У)= Н (Х) == Н(У). 3. Уславная энтропия может изменяться в пределах О~Н(У/Х)~Н(У). (6.14) Так как условная энтропия положительна, равна нулю при полной статистической зави·симости событий, максимальна при полной статис- 1ической независимости событий и равна безусловной энтропии, то от­ сюда непосредственно вытекает это свойство. 4. Для совместной энтропии всегда справедливо соотношение Н(Х,У)~Н(Х)+Н(У). (6.15) Данное свойство совместной энтропии непосредственно вытекает из предыдущего ·соотношения. Если Х и У являются непрерывными случайными величинами, то по аналогии с выражением для безусловной энтропии (6.9) выраже­ ние для энтропии объединения сообщений Х и У можно представить 122
в виде 00 00 \.п h(X, У)=== - t .\ w(X~ Y)log2 w(X, Y)dY= -оо -00 00 00 00 00 - 5 j w(X, Y)log2 w(X)dXdY- j 5 w(?<, Y)log2 w(Y!X)dXdY. -оо -оо -оо -оо Произведя интегрирование в первом слагаемом по У и учитывая, что ,_ 00 j w(X, Y)dY = w(X), -00 получим 00 h(X, У)== - _ \' w(X) 1og2 w(X)dX- -оо 00 00 5 5w(Х, У) log2 w (УJX)-dXdY = h(Х) +h(У!Х), (6.16) -оо -оо 00 гдеh(Х)== - j w (Х) log 2 w (Х) dX - дифференциальная энтропия -00 00 00 сообщенияХ;h(У/Х)=- S Sw(X, Y)log2 w(YIX)dXdY-ycлoв- -oo -оо ная дифференциальная энтропия сообщения У; ш (Х, У) - плотность совместного распределения Х и У; w (Х) -· плотность распределения Х; w (У/Х) - условная плотность распределения У относительно Х. 6.б. КОЛИЧЕСТВО ИНФОРМАЦИИ ПРИ НЕПОЛНОЙ ДОСТОВЕРНОСТИ СООБЩЕШIЙ В реальных условиях передача сообщений происходит при воздей­ ствии помех. Помехи искажают сообщения, вследствие чего сообщения на ~риемной стороне будут в той или иной-степени отличаться от пе­ реданных, т. е. будет иметь место неполная достоверность передачи. Оценим количество передаваемой при этом информации для случаев дискретных и непрерывных сообщений. Дискретные сообщения Вследствие отличия принимаемых сообщений от передаваемых, при оценке количества передаваемой информации целесообразнее рас­ сматривать две системы: систему передаваемых·х и систему принимае­ мых сообщений У. Пусть передаваемое сообщение может принимать значени.я х1 , х2 , ... , Хп с априорными вероятностями соответственно р (х1 ), р (х2), ... ... , Р (хп)· 123
Принимаемые сообщения характеризуются совокупностью значе­ ний у1, у2, ••• , Уп· Наличие помех нарушает однозначное соответствие между передаваемыми и принимаемыми сообщениями. Так как помехи имеют случайный характер, то при приеме какого--либо сообщения у1 невозможно точно установить, какое сообщение было передано. Можно говорить лишь об условной вероятности р (xtfyj), определяющей веро­ ятность передачи сообщения xi при условии, что будет принято сообще- НИЕ. Yi• Оценим к9личество информации, которое содержится в одном из принятых сообщений Yi об одном из переданнь1х сообщений xi. Условная вероятность р (x/yi) свидетельствует о том, что имеется неопределенность в сообщении Yi относительно сообщения xi. Эта не­ определенность может быть оценена условной энтропией Н (xtlY1) = - log2 р (xi/Y i). (6.17) Таким образом, вследствие воздействия помех начальная априор­ ная энтропия сообщения xi, определяемая количественно выражением Н (хд = - log 2 р (хд, снимается при получении сообщения Yi не пол­ ностью, а лишь уменьшается до значения Н (xJyi). Количество получае­ мой информации в этом случае будет равно снятой части неопределен­ ности: /( н)н( 1 Р (xi/YJ) Уj,xi)= (xi - xi/Yj)= og2 Р(хд • (6.18) Формула (6.18) выражает количес-rв_о информацииt которое со­ держится в принятом сообщении уi относительно переданного xi. Это количество информации принято называть частным количеством ин-­ фQр_мации, содержащимся в сообщении Yi относительно сообщения xi. Среднее количество ин.формации о всех Xt, содержащееся в одном принятом сообщении Yi, можно получить путем усреднения по всем xi: п п р (х /у·) /(yj,Х) =Lр(х)уi)I(У1, хд =L р(xi/Yi)log2 (х) . (6.19) i=1 i=I рl Формула (6.19) выражает частное количество информации, со­ держащееся в принятом сообщении Yi относительно всей совокупности переданных сообщений Х. Наконец, для того чтобы определить количество информации, содержащееся во всей совокупности принятых сообщений У относитель­ но всей совокупности переданных сообщений Х, необходимо осущест­ вить усреднение по всем у i: п п n 1(У, Х) =LР(У1)I(yi; Х) =LР(у1)LР(X1/Yi) log2 Р(xi/YJ) - f-1 j=l l=l р (xt) ~~()(/ ] Р(x1/YJ) = {:;;,,i":iРYiрх,Yi) og2 Р(х;) • (6.20) Используя равенство Р (уi) Р (х1/У1) = Р (xi, У1), получим (6.21) 124
Формулы (6.20) и (6.21) определяют среднее количество информации, содержащееся в У относительно Х. Формулу (6.21) можно привести к виду п п п п /(У, Х) =:Е :Е р(xt, У1)log2р(xt!Y1)-:Е :Е р(xl, Yi)log2р(xt)= l=l i=l i=l i=l :i п =- Н(Х/У)- L :Е р(хдр(Уi/хдlog2р(хд. (6.22) l=I /=1 , Произведя преобразование во втором слагаемом правой части выра- п жения (6.22) с учетом равенства :Е р (у/хд . 1, получим ;=t п J(У,Х)= - Н(Х/У)- :Е р(xi)log2р(хд =Н(Х)-Н(Х/У). (6.23) i=I Таким образом, среднее количество информации, получаемое при неполной достоверности сообщений, равно разности безусловной энт­ ропии Н (Х), характеризующей начальную (априорную) неопределен­ ность сообщений, и условной энтропии Н (Х/У), характеризующей остаточную (апостериорную) неопределенность сообщений. Используя свойство условной энтропии Н(Х!У)= Н(Х, У)-Н(У), выражение (6.23) можно привести к виду /(У,Х)= Н(Х)+Н(У)- Н(Х,У). (6.24) t-- -··------· -- Следо вател ьно / количество передаваемой информации может быть выражено через сумму энтропий передаваемого Х и принимаемого У сообщений, за вычетом совместной энтропии Н (Х, У). • Так как Н(Х, У)=Н(-У,Х), то Н(Х)+Н(У/Х)=Н(У)+Н(Х/У), или Н(Х)-Н(XJY)= Н(У)-Н(У/Х). Из последнего равенства СJiедует, что l(Y,X)=l(X, У), (6.25) т. е. количество информации, которое содержится в сообщении У относительно сообщений Х, равно количеству информации, содер­ жащемуся в Х относительно У. Поэтому / (У, Х) и / (Х, У) называют также полной взаимной информацией. / / Непрерывные сообщения Для определения количества информации при непрерывных сооб­ щениях воспользуемся в качестве исходного выражением (6.23), определяющим количество информации при дискретных сообщениях. 125
8 этом выражении начальная и остаточная энтропии сообщений соответ­ \.~твенно п Н(Х)= - L р(хд1og2р (х1), i=I п п Н(Х!У)= - }: }: р (х,, Yi) log2 р (xi/Yi). i=l j=1 (6.26) Для перехода к непрерывным случайным величинам выразим ве­ роятности через функции распределения плотности_ вероятности р(tд = w(xt)Лxi; р(yi)= w(У1) Луi; р (xi, уi) = w (xi, Yi) ЛхiЛуi; Р (xi!Y i) = W (xi/Yi) Лхi,. где Лхi и Луi - э.тrементариые участки, на котор~1е разбиты шкалы уровней случайных величин х и у, w (xi), w (yj), w (х,, yj), w (xi/Yi) - значения ·функций распределения при аргументах Х = xi, У === Yi• Тогда, произведя в (6.26) соответствующие замены, получим п /(У, Х) = - ~w(Xt)Лхi•log2[w(хдЛхl]+ i=l n п + ~ ~ w(x1,y1)ЛxiЛyilog2 [w(xt!Y1)Лx1]. l=I i=l Осуществим предельный переход при Лхi-+ О и Лу1 ~ О. . Предел выражения для начальной энтропии Н (Х) при Лх,-+ 01 00 limН(Х)= - Sw(Х)log2 w (Х)dX- Вт log2Лхt~ _Лхi ~о _ 00 Лхl~о . Оп реде лим предел для остаточной энтроnии: 126 lim {f f w(х;, Yi) ЛхiЛу1 log2 [w (x1/yi) Лх;]} = Лхг"О i=l i=l ЛУj-+О = lim{~ 1 ~ 1 w (х1, у1) Лх;Лу1 log2 w (х1/у1)} + + lim ff f w (х;, Yi) Лх;ЛУ; log2 Лx;jl = лхг"О 'i=l i=l Луj➔О (Х) 00 = J Jw(Х,У)\og2w(XJY)dXdY+ -00 -оо + л~~о {\оg2Л x 1i 1 t1w (х1, у;) Лх,Лу;} = Луг+О 00 00 = J 1w(Х, У) log2 w (Х/У) dXdY + lim log2 Лх1, -оо -оо Лxi-t-0
так как п п L~ w(х,,У;)ЛхiЛУi = 1. i=l ;=1 Таким образом, после осуществления предельных переходов полу­ чаем выражение для количества информации при непрерывных сообще• ниях са I(Y,X)=h(X)-h(X/Y)=-) w(X)log2 w(X)dX+ -оо 00 00 + ) ) w(X, Y)log2 w(X/Y)dXdY. (6.27) -оо -оо Следовательно, и при непрерывных сообщениях количество переда­ ваемой информации определяется разностью начальной и остаточной энтропии сообщения. • Если учесть, что 00 W(х/у)= w(Х' У) (Х) r (Х У)dY w (У) иw =Jw' ' -оо то выражение (6.27) можно Гiредставить в ином виде: 00 00 /_(У, Х) =- J Jw(X, Y)log2 w(X)dXdY + -оо -оо 00 00 w(Х,У) + f f w(X, У) 1og2 w(X)w(Y) dXdY = -00 -00 00 00 rr w(Х,v) . = J- J ш(Х,У)1og2 w(Х). w(У) dXdY. (6.28) -оо -оо В отличие от дифференциальной энтропии количество информации не зависит от масштаба непрерывных сообщений, если масштабы Х и У одинаковы. В заключение рассмотрим два предельных случая передачи сооб­ щений. Полная статистическая зависимость передаваемых Х и принимае· мых У сообщений. Практически это имеет место при незначительном уровне помех или при полном отсутствии помех. В этом случае условная энтропия Н(Х/У)= О. Следовательно, количество информации, содержащееся в У отно­ сительно Х, равно энтропии передаваемых сообщений. Полная статистическая независимость сообщений Х и У. Это имеет место при высоком уровне помех, когда помехи полностью подавляют полезный сигнал. 127
В этом случае условная энтропия равна начальной и количество информации, содержащееся в У относительно Х /(У,Х)=О, r. е. сообщение .У не содержит никакой информации о сообщении Х. Из рассмотрения частных случаев следует, что информация, содер­ жащаяся в У относительно Х, не превосходит энтропии_ Х. Максимал ь- - ное количество информации в случае абсолютно достоверной передачи соо6щений /(У X)max=Н(Х). (6.29) Выражение (6.29) справе,q.ливо лишь для дискретных сообщений. При абсолютно достоверной передаче непрерывных сообщений ко­ личество информации не равно дифференциальной энтропии сообще­ ния. Так как непрерывные сообщеь.ия воспроизводятся с ограниченной точностью, то количество информации зависит не только от статистики сообщения h (Х), но и от способа его воспроизведения. При этом коли- qество информации, содержащееся в отсчетах Х* относительно сообще­ ния Х, определится разностью дифференциальных энтропий · J(Х*,Х)=h(Х)- h(Х/Х*), (6.30) rде h (Х/Х*) - условная дифференциальная энтропия, характеризу­ ющая потерю информации за счет ограниченной точности воспроиз­ ведения сообщения. Выражение (6.30) можно привести к виду ()О 00 /(х*Х) rr (ХХ*)1 w(Х,Х*) dXdY. ' =JJw' og2 w(Х)w(Х*) -оо -оо Возможны случаи, когда задаются требования к верности воспро­ изведения Х. В качестве критерия верности может быть использовано допустимое значение среднего квадратичного отклонения Х* от Х, т. е. а*= V I S(Х-Х*)2 w(X, X*)dXdX* _. -. -оо -оо Варьируя условной плотностью вероятности w (Х/Х*) = w ~~_х~•) можно изменить количество информации / (Х*, Х). Очевидно, что наиболее выгодным будет то значение функции w (Х/Х*), при котором / (Х*, Х) имеет наименьшее значение, ибо при этом обеспечивается заданное требование к верности воспроизведения при получении мини­ мального количества информации. Наименьшее значение / (Х*, Х), при котором удовлетворяется это требование, называют эпсилон­ энтропией [49]. Согласно определению, эпсилон-энтропия равна Нв(Х)= min/(Х*, Х)=h(Х)- maxh(XJX*) при
где е0 - допустимое значение ошибки воспроизведения. Эпсилон­ энтропия определяет информационную емкость источника непрерыв­ ных сообщений при заданном критерии верности воспроизведения [11]. 6"6. ЭНТРОПИЯ И КОЛИЧЕСТВО ИНФОРМАЦИИ ПРИ СТАТИСТИЧЕСКОЙ ЗАВИСИМОСТИ ЭЛЕМЕНТОВ СООБЩЕНИЙ При определении энтропии и количества· передаваемой информации предполагалосьt что элементы сообщений статистически независимы. Однако в реальных условиях независимость элементов сообщений - явление довольно редкое. Например, при передаче русского текста ве­ роятности появления отдельных букв зависят от того, какие буквы им предшествовали. Например, если передана буква «П>>, вероятность то" го, что следующей буквой может быть «а», гораздо больше, чем вероят­ ность появления буквы «р». После буквы «ъ» никогда не ожидается появление буквы «н» и т. п. Такая зависимость между элементами образовалась исторически в процессе длительного формирования современного русского языка. , Очевидно при определении энтропии и информации в сообщениях, элементы которых коррелированы, нельзя ограничиваться, как это мы делали до сих пор, только безусловными вероятностями элементов со­ общений необходимо учитывать и условные вероятности появления элементов. Будем полагать, что передается конечное число сообщений х1 , х2 , х3 , ... , Xq, xh, Xt, х1 , ... , Xn-t, Хп. Коррелятивные связи между элемен­ тами сообщений могут распространяться на различные группы элемен­ тов. Если элементы сообщений независимы, то условная вероятность передачи элемента х1 будет равна безусловной: р(х/Xi, xh, Xq, ... , Х2, Х1) = р(х1)· Если имеется коррелятивная связь только между двумя сосед­ ними э~ементами, то вероятность передачи любого элемента сообщения будет зависеть лишь от того, каков был предшествующий символ, т. е. условная вероятность передачи элемента х1 будет равна р (x/xJ В этом случае элементы сообщений составляют простую односвязную цепь Маркова. Если коррелятивные связи охватывают три элемента сообщений, то последние представляют двухсвязную цепь Маркова и условная ве­ роятность передачи элемента х1 будет равна р (x/x1xh). Большинство сообщений в реальных условиях представляют собой эргодическую поСJiедовательность, у которой коррелятивные связи распространяются на конечное число элементов. При достаточной длине такой последовательности с достаточной точностью могут быть опреде• лены вероятности и условные вероятности появления отдельных сооб­ щений. Язык является типичным примером такой последовательности. В любой книге на данном языке (кроме узкоспециальных) частота пов­ торения отдельных букв и их различных сочетаний будет постоянной, независимо от содержания книги. Пусть сообщения составляют простую, т. е. односвязную цепь Маркова. В этом случае энтропия элемента х1 будет определяться условной вероятностью р (x/xt). 9 5-1834 129
Для данного фиксированного х1 энтропия сообщений будет опреде• --1·· .·,, ляться частной условной энтр~пией . п Н (X/xt} = - L р (x1fxt) log2 р (xj/xt). i=O Произведя усреднение по всем xi, получим выражение для средней энтропии сообщения п п п Н(Х)= L р(xi)Н(X/xt) = - L р(хд-~ р (х1/хд log2 р (хJ!хд = i=1 i=l i=l п п =- L ~ р (xi, х1) log2 р (х1/хд. i=l i=l • (6.31) В случае наличия коррелятивных связей между тремя элементами энтропия сообщений будет равна п п п Н(Х)= - L Lр(xl, хь)~ р(x/xt, xh)log2р(x/xt, xh)= n=I i=l i=I п п п = L L Lр(х1,Xt, xh)log2р(х1,xl,xь)­ h=t i=l j=1 (6.32) Если коррелятивными связями охвачено большое число элементов, то энтропия определится аналогично. При наличии коррелятивных связей между элементами энтропия сообщений, а следовательно, и количество передаваемой информации уменьшаются, причем это уменьшение будет тем интенсивнее, чем силь­ нее коррелятивные связи и чем большее число элементов будет охваче­ но этими связями" 6.7. ИЗБЫТОЧНОСТЬ СООБЩЕIШИ Как уже отмечалось, средняя энтропия сообщений при одинаковом количестве элементов может быть различной в зависимости от стати­ стических характеристик сообщений. Энтропия максимальна и опреде... ляется выражением (6.5), если элементы сообщений равновероятны и взаимно независимы. Если поступление элементов сообщений не рав­ новероятно, то энтропия уменьшается и определяется выражением (6.4). Еще меньшей будет энтропия при наличии коррелятивных связей между элементами сообщений. Для случаев, когда коррелятивные свя­ зи охватывают два и три элемента, энтропия определяется выражения­ ми (6.31)- и (6.32). Сообщения, энтропия которых максимальна, явля­ ются оптимальными с точки зрения наибольшего количества передавае­ мой информации. Мерой количественной оценки того, насколько данное реальное со­ общение по своей энтропии отличается от соответствующего ему опти• мальноrо сообщения, является коэффициент сжатия 130 Н(Х) μ=----, Н (X)max
где Н (Х) - энтропия реального сообщения; Н (X)max - энтропI1я соответствующего ему оптимального сообщения. Если неоптимальное и оптимальное сообщения характери3уются одинаковой •общей энтропиейt то справедливо равенство nH (Х) = n'Н (X)max, где п - число элементов неоптимального сообщения; п' - число эле• ментов соответствующего оптимального сообщения. Так как средняя на элемент энтропия оптимального сообщения мак­ симальна, то число элементов неоптимальноrо сообщения всегда будет больше числа элементов соответствующего ему оптимального сооб­ щения. Коэффициент сжатия можно выразить через количество элементов. сообщений Н(Х) _ _п' μ= Н (X)max п Таким образом, реальные сообщения при одинаковой информатив-· ности·обладают определенной избыточностью в элементах по сравнению с оптимальными сообщениями. Мерой количественной оценки избыточности является коэффициент избыточности п_ п' Н(X)max- Н (Х) Ки= п = ll (Х) =l-μ. max (6.33) Избыточность приводит к увеличению времени передачи сообщенийt излишней загрузке канала связи. Однако не всегда нужно стремиться к тому, ·чтобы избыточность Ки = О. Некоторая избыточность бывает полезной для обеспечения требуемой надежности систем, повышения помехоустойчивости передачи сообщений. Например, иногда практи­ куется повторная передача одного и того же сообщения с целью повыше­ ния достоверности передачи в условиях воздействия помех. Имеется определенная избыточность и в русском языке. Оценка статистики русского языка показывает следующее. Средняя вероятность повторения отдельных букв в русском языке иллюстрируется табл. 6.1 . Таблица 6.1 Буквы о е 8 и l' н с р Вероятность повторения О, 11 0,087 0,075 0,075 0t065 0,065 0,065 0.048 Буквы R л к u щ э ф Вероятность повторения ОД43 0,042 0,034 0,005 0,004 оtооз 0,002 9* 131
• Русский алфавит содержит 31 букву (при условии, если не разли- чать буквы «е» и «ё», а также мягкий и твердый знаки). С учетом пробе" ла между 'буквами русский язык, таким образом, обладает 32 симво• лами. При условии равновероятности и независимости симвоJ.!ОВ средняя энтропия на символ будет максимальна и равна дв. ед Н(X)max = log232=5--. симв Если учесть различную вероятность символов, то Н(Х)= 439 дв.ед. l ' симв С учетом корреляции между двумя символами энтропия уменьшает­ ся до значения Н(Х) • 352 дв•ед 2 ' симв между тремя символами - до значения Н(Х)=305дв.ед З ' симв между восемью символами - до значения Н(Х)=2дв.ед 8 симв и дальше остается неизменной. Следовательно, избыточность русского языка составляет Н(Х)тах- Н(Х) 5-2 Ки= Н(Х) = 5 =0,6. · max Следует заме·тить, что у всех европейских языков избыточность при­ мерно одинакова. Избыточность разговорных языков сформирова­ лась в результате очень длительно·й общественной практики и поз­ воляет восстанавливать целые слова и фразы при их искажениях под воздействием различных мешающих факторов. - 6.8 . ПРИМЕРЫ Пример 6.1. Определить энтропию системы, которая описывается дискретной случайной величиной х со следующим рядом распределения: Р(х1)=р(х2)=р(х3)=р(х4)= 0,01,р(хъ) = 0t96. Решение. Используя выражение (6.4) для определения энтропии дискретного распределения, получим 132 5 Н(Х)= - ~ р(х1)lpg2р(xt)= - 4•0,011og20,01- i=l -- 0,96 log2 0,96 = 0,322 дв.ед . симв
Пример 6.2 . Определить энтропию сообщения из пяти букв, если общее число букв в алфавите равно 32 и все сообщения равновероятны. Реиrение. Общее число ~ятибуквенных сообщений п=325 • Используя выражение (6.5) для определения энтропии равноверо­ ятных сообщений, получим Н(Х)=log2п =5log232=-25 дн.ед . - симв Пример 6.3 . Определить дифференциальную энтропию непрерыв­ ного сообщения, распределенного по нормальному закону w (Х) = -~-•-- ехр{- (х-2а:х)2}. У ~na2 Решение. Используя выражение (6.9) для определения искомой дифференциальной энтропии, получим 00 00 h(Х)= - s w(Х)log2w(Х)dX= - s ---ехр [- (х - ах)2 ]х у·2ла2 2а~ . -оо -оо 00 х log2 у-•- ехр {-· (х;~х>2} dX = log2 1 rехрх 2na2 а -V2no2 - J -оо Х{-(х - ах)2}dX+log,еr(х-а)2 _1- ехр{-(х - ах)2 } dX. 202 202 J х V2ла2 202 -оо Интеграл первого слагаемого полученного выражения равен еди- оо нице, так как под интегралом имеется функция w (Х), а Jw (Х) dX =- -оо - = 1. Второе слагае~ое полученного выр-ажения оо- Таким образом, h (Х) = log2 -V2na2 + +log2 е = log2 -V2л:еа2 дв. ед. Пример 6.4 . Измеряемая величина изменяется в пределах от х0 до х0 + а и распределена по закону равной вероятности. Найти диф­ ференциальную энтропию данной величины. Решение. Закон равной вероятности можно аналитически предста­ вить в виде [ - 1 при х0~Х~х0+а, w(Х)= а ОприХ<х0иХ>х0+а. 133
. . Тогда, используя (6.9), получим искомую энтропию оо 1 Хо+а 1 li(Х)= - ) w(Х)log2w(Х)dX= - а )log2аdX= log2адв.ед. -OQ Пример 6.5. Ансамбли событий Х (х1 , х2, х3) и У (у1, у2) объедине­ ны. Вероятности совместных событий р (Х, У) приведены в табл. 6.2. Таблица 6.2 У1 xi Х1 1 Х2 1 Хз У1 о.1 0,2 0,3 У2 О.25 о 0,15 Определить:_ а) энтропию ансамблей Х и У; , б) энтропию объединенного ансамбля Х, У; в) условные энтропии ансамблей. Решение. Из очевидных равенств п п LР(xi,Yi)= Р(х1); LР(xt,Yi)= Р(yi) j=l i=l получаем 134 Р(х1)==р(х1,У1)+р(х1,у2)= О,1+0t25= 0,35; Р(Х2)= Р(Х2,У1)+р(Х2,У2)= 0,2; Р(х3)= р(х3,у1)+р(х3,у2)= 0,3+О,15= 0,45; Р(У1)=Р(х1,У1)+Р(х2,У1)+р(Хз,У1)= О,1+0,2+0,3 =0,6; Р(У2)= Р(Х1,У2)+Р(х1,У2)+Р(Хз,у2)= 0,25+О,15= 0,4. Тогда энтропии событий 3 Н(Х)= - Lр(хдlog2р(xt)= - 0,35 log2 0,35 - 0,2 log2 0,2 - i=l дв.ед - 0,45 log2 0,45 = 1.512 б ; соо щ 2 Н(У)= -L p(yi)Iog2P(Y1) = j=l дв.ед = - 0,6 log2 0,6 -- 0,4 log2 0,4 = 0,971 000 . с щ Энтропию объединенного ансамбля находим, используя (6.10): 32 Н(Х, У)=-~ ~ p(xi, Yi) log 2 p(xt, Yi) =-0,l log2 0,l- i=t i=l
- 0,25 log2 0,25 - 0,2 log2 0,2- 0,3 log2 0,3 - О, I5 log2 0,15 = = 2 228 дв.ед ' сообщ • Условные энтропии удобно определить, используя свойство (6.12)! H(YJX) = Н(Х, У)-Н(Х) = 2,228- 1,512 = 0,716 ::;~ Н(XJY) =Н(Х, У)-Н(У)=2,228- 0,971 - 1,257 дв.ед сообш • Пример 6.6. Сиги ал формируется в виде двоичного кода с вероят­ ностями появления символов 1 и О, равными соответственно р (х1) == = 0,6 и р (х0) = 0,4. Появления любого из символов взаимосвязаны условными вероятностями: р (х0 /х0) = О, 1 - вероятность того, что после О будет О; р (х1/х0) = 0,9 - вероятность того, что после О будет 1; р (х1/х1) = О, 1 - вероятность того, что после .1 будет 1; р (х0/х1) = 0,9 - вероятность того что, после I будет О. Найти энтропию сигналов. Решение. Используя (6.31), находим искомую энтропию· 1 1 Н(Х)== - ~ р(х1)~ р(x1Jx1log2р(х1/х1) = l=O i=O • = - (О,1log2О,1+0,91og20,9)(0,6+0,4) = 0,467 дв.ед . эл Пример 6.7 . Веро'ятности появления сообщений х1 , х2 , х8 , и х4 равны- 1 1 1 р(Х1)=2;р(Х2)=4;р=(Хз)=р(Х4)=в• J\,1ежду сообщениями имеются корреляционные связи, описанные в табл. 6.3 . Найти энтропию сообщений. Решение. Используя (6.31), получим искомую энтропию 44 Н(Х)= - }: ~ р(xl, х1)log2р(xl/x1)= 13 / 32 log2 13 /16- i=l i=l Таблица 6.3 (Xf, х;) р (xi, х;) р (Х[, Х;) Х[, Xj р (xl, х;) р (X[t Xj) Х1 Х1 13/32 13/16 Ха xi о о х1 Х2 3/32 3/16 Х3 Х1 о о Х1 Хз о о Х3 Х3 о о Х1 Х4 о о Ха Х4 1/8 l Х2 Xi 1/32 1/8 Х4 Xi 1/16 1/2 Х2 Xg 1/8 1/2 х, Xg 1/32 1/4 Х2 Х3 3/32 3/8 X,t Хз 1/32 1/4 Х2 Х4 о о Х4 Х4 о о 135
- 3/з2 1og2 3 /16 - 1 /з2 log2 1/s - 1/s 1og2 1/2 - 3 /з2 log2 3 /s- - il1в log2 1/2 - 2/з2 log2 1/4 = 0,886 дв.;д . соо щ Пример 6.8 . Найти совместную энтропию взаимосвязанных сооб­ щений Х и У и условную энтроIJИЮ •Н (Х/У), если двумерная функ­ ция плотности распределения подчинена нормальному закону w (Х. У) = --~~==--- ехр - 2----+- , I [ l (х2 2rxy у2 )l _ 2naxoy Vl - , 2 (2~r) а; ахау о~ • где r - коэффициент корреляции значений Х и У. Решение. Совместная дифференциальная энтропия Х и У определя­ ется соотношением 00 00 h(Х,У)=SSw(Х,У)log2w(Х, У)dXdY, -оо -оо гдеlog2w(Х, У)= - [og2(2лахауVI- . , 2 )- 2(1~,2)(:: ~::~ + + ~)1og2e. у Подставляя значение log2 w (ХУ) в выражение для h (Х, У), получим 00 00 h (Х, У)= log2 '(2.naxau V1 - r 2 S Sw(Х,У)dXdY+ -оо -оо 00 00 + log2е Г Г X2w(Х, У)dXdY+ 2о~(1 - ,2) Joo Joo 00 00 + 2log2e 2 s s y2w(X, Y)dXdY- гlog2e Х 2оу(1- r)_ 00 _ 00 ахау (1 - , 2 ) 00 00 хI IXYw(Х,У)dXdY. -оо -оо Так как 00 00 00 00 jSw(X,Y)dXdY= 1; S SXYw(Х,У)dXdY=rахии; '--Q Q -оо -оо -оо 00 00 СО 00 j IX2 w(Х, У)dXdY=а;; j sY2w(Х,У)dXdY= az, -00 -00 -оо -оо то окончательно получим 136
Применяя формулу (б. 12) и учитывая, что h (У) = ]og 2 (V2леау), получим значение условной энтропии h(Х/У)= h(Х, У)-h(У)= 1og2[V2ле(1 - r2) axl •дв. ед . отсчет Пример 6.9 [48]. Контролируемый параметр Х может принимать два значения х0 и х1 с равными вероятностями р (х0) = р (х1). Вследствие ограниченной точности системы контроля' будут иметь место ошибки контроля, т. е. вместо х0 может быть зафиксировано х1 и, наоборот" вместо х1 зафиксировано х0 • Условные вероятности таких событий рав­ ны 0,01. Определить количество 'информации, получаемое при контроле" Решение. Введем следующие обозначения результатов контроля: у0 - система контроля указывает, что параметр Х имеет значение х0 ~ у1 - система контроля указывает, что параметр Х имеет значение х1 . Тогда условные вероятности ошибочного контроля будут соответ­ ственно равны р (yifx0 ) = 0,01 и р (yofx1 ) = 0,01. На основании (6.23) количество получаемой информации при не-­ полной достоверности контроля будет равно разности начальной и ос­ таточной энтропии 1 / (У, Х) =.Н (Х)-Н (Х/У) = - ~р(хдlog2р(xt)+ i=l 1 1 + ~ р (yi) ~ Р (xtlY1) log2 Р (xtfY1)· /=0 l=O Начальная энтропия Н(Х)= = - р (Хо)Iog~р(х0)- р(х1)\og2р(х1)=2 •0,5log20,5 = 1 :;~: Для определения _условной энтропии Н (Х/У) необходимо знать вероятности вида р (у1) и р (xJy1). Вероятности событий р (yj) вычисляем по формуле полной вероят• ности Тогда Р(Уо)=Р(Хо)Р(Уо/Хо) +Р(Х1)Р(YolХ1) =Р(Хо)[1- Р(Y1lХо)}+ +р(Х1)р(Уо/Х1)=0,5(1- 0,01)+0,5 •0,01 =0,5; Р(У1)=Р(хо)Р(У1/Хо)+Р(х1)Р(У1/Х1)=Р(хо)Р(у1/Хо)+ +р(х1)[1- р(у0/х1)]::0,5. Условные вероятности р (xJyi) вычисляем по теореме Байеса р (xtfYi) = Р (xt~ ~~i/xi) 137
Тогда р(Х/у)= р(х0)р(у1/х0) = О,5•О,О1 = ОО1. о1 р (У1) о,5 ' ' 0,5 • 0,01 Р (Х1/Уо) = Р (Х1) Р (Уо/Х1)/р (Уо) = О,б = 0,01. Таким образом, условная энтропия I-f (Х/У) = - Р (Уо) [р (хо/Уо) 1og2 Р (xolYo) + Р (Х1/Уо) ]og2 Р (X1lYoH - - Р (У1) [р (хо/У1) log2 Р (хо/У1) + Р (Х1/У1) log2 Р (X1lY1)] = ==- Р(Уо){[1 - Р(Х1/Уо)]]og2[1- Р(Х1/Уо)] +Р(Х1/Уо)log2Р(Х1/Уо)} - - Р (У1) {р (Хо/У1) log2 Р (Хо/У1) + + [1 - Р (XolY1)J log2[1 - Р (Хо7У1)} = 0,081 :~б: . Окончательно получаем /(У,Х)=1- 0,081=0,92 дв. ед сообщ • Пример 6.10. Определить количество информации, содержащееся в одном замере случайной величины х, равномерно распределенной в пределах от О до 256, если погрешность измерения распределена по нормальному закону и среднее квадратическое значение погрешности (J=5. Решение. Дифференциальная энтропия случайной величины Х 256 h(х)= - J2~6 log2 2 ~ 6dx=8дв.ед. о Остаточная дифференциальная энтропия определяется погреш­ ностью измерения и на основании примера 6.3 h (6) = log2 -V2:rrea = log2 -V2ле5 = 4,39 дв. ед. Количество информации, получаемое в результате одного замера, определяется разностью начальной и конечной энтропий: I(х)=h(х)- h(б)~8- 4,39 =3,61дв.ед. Пример 6.11 [23]. По.п:ная шкала измерительного прибора содержит 1ООО делений. Погрешность прибора составляет + 1 % полной шкалы и распределена по закону равной вероятности. Определить избыточность шкалы прибора. Решение. В оптимальном случае при приведенной погрешности, равной ± 1 % , достаточно иметь 50 делений шкалы" Тогда на основании • (6.33) избыточность 1000-50 Кн= 1000 = 0,95. 138
Контрольные вопросы 1. Поясните сущность понятия энтрщтии. 2. В каких единицах измеряется энтропия? 3. Сформулируйте основные свойства энтропии. 4. Как определяется энтропия дискретной системы с равновероятными и неравно­ вероятными состояниями? 5. Чему равна энтропия при неравновероятном и взаимозависимом распределении элементов системы? • 6. В чем заключается особенность определения энтропии для непрерывных рас- пределений? 7. Что такое условия и совместная энтропия? 8. Сформулируйте основные свойства энтропии сложных сообщений. 9. Поясните связь между энтропией и информацией. IO. I(акие основные требования предъявляются к мере количества информации? 11. К.ак количественно оценивается информация при полной и неполной достовер- ности сообщений? 12. Что понимается под в-энтропией? 13. Поясните сущность понятий частной и полной информации. 14. Что понимается под избыточностью сообщений? 15. Что является мерой количественной оценки избыточности? Глава 7. ПЕРЕДАЧА ИНФО~МАЦИИ _________ 7.1. ОБОБЩЕННЫЕ ХАРАКТЕРИСТИКИ СИГНАЛОВ И ИНФОРМАЦИОННЫХ КАНАЛОВ Любую информационную систему можно подразделить на источник, канал передачи и получатель информации, а информационные процессы, происходящие в этих устройствах, представить в общем случае в виде процесса передачи информации по некоторому каналу. Обобщенная схема канала передачи информации представлена на рис. 7.1. Сообщения Х источника информации ИИ после кодирования и модуляции в преобразователе П 1 превращаются в сигнал У, посту­ пающий в линию связи ЛС. В результате действия помех ~ сигнал Z на приемной стороне отличается от У. Приемная часть содержит пре­ образователь П2 • демодулирующий и декодирующий сигналы и пере­ рабатывающий их в сообщения W, поступающие в приемник информа­ ции пи. Непосредственным носителем информации является сигнал, в общем случае представляющий собой случайно изменяющуюся физи­ ческую величину. На практике при рассмотрении информационных процессов удобно оперировать обобщенными показателями, характер­ ными для множества сигналов данного вида и наиболее существенными с точки зрения передачи содержащейся в них информации. Каждый сигнал имеет определенную длительность. Длительность сигнала ха­ рактеризует время передачи сообщений, продолжительность занятости информационного канала. Таким образом, вполне естественно в качест­ ве первой обобщенной характеристики взять время передачи сиг­ нала те. Каждый сигнал характеризуется вполне определенным частотным спектром. Теоретически ширина спектра сигнала конечной длительнос­ ти неограничена. Однако изучение спектров реальных сигналов пока- 139
х w ни пи Рис. 7.1. зывает, что их спектральная плотность убывает с· ростом частоты. Это позволяет при определенных условиях рассматривать сигналы как про­ цессы с ограниченным спектром. Существуют различные критерии ог­ раничения спектра сигнала. Одним из таких критериев являются до­ пустимые искажения сигнала. Например, практика показала, что при передаче речевого сигнала разборчивость и качество речи практически полностью сохраняются при ширине спектра от 300 до 3400 Гц [17]. Таким образом, второй обобщенной характеристикой сигнала должна быть ширина его частотного спектра Fc. Третьей важной характеристи­ кой сигнала является· его энергетическая характеристика - средняя мощность Рс· Однако поскольку' при передаче на сигналы всегда воздей­ ствуют помехи, то в качестве энергетической характеристики сигнала целесообразно брать отношение средней мощности сигнала Рс к сред­ ней мощности помехи Р~. Обычно это отношение выражают в логариф­ мической мере D = log 2 Pc/Ps и называют динамическим диапазоном. причем при оценке информационной содержательности удобно выра­ жать динамический диапазон через логарифм с основанием 2. Произведен?е (7.1) принято называть объемом сигнала. В геометрическом представлении объем сигнала имеет вид параллелепипеда с ребрами Те, F0 и D0 (рис. 7.2). Информационный канал можно характеризовать также тремя соот­ ветствующими параметрами: временем использования канала, шириной полосы частот, пропускаемых каналом Тк, и динамическим диапазо­ ном канала Dк, характеризующим его способность передавать различ­ ные уровни сигнала. Величина (7.2) называется емкостью канала. Неискаженная передача сигналов возможна только при условии, что сигнал по своему объему «вмещается» в емкость канала (рис. 7.3). Следовательно, общее условие согласования сигнала с каналом пе­ редачи информации определяется соотношением Vc~Vк· (7.3) Однако соотношение (7.3) выражает необходимое, но недостаточное условие согласования сигнала с каналом. Достаточным условием явля­ ется согласование по всем параметрам: 140 Те~ Тк; Fc~Fк; Dc~Dк. (7.4)
Fc 'f 1) Гсt Рис. 7.2. ]) t Рис. 7.3. Для информационного канала пользуются понятиями: скорость ввода информации, скорость передачи информации и пропускная способность канала. Под скоростью ввода информации (потоком инфор~s1ции) l (Х) понимают среднее количество информации, вводимое от источника со­ общений в информационный канал в единицу времени. Это характерис­ тика источника сообщений и определяется только статистическими свойствами сообщений. Скорость передачи информации / (Z, У) - среднее количество ин­ формации, передаваемое по каналу в единицу времени. Она зависит от статистических свойств передаваемого сигнала и от свойств канала. Пропускная способность С - наибольшая теоретически достижи­ мая для данного канала скорость передачи информации. Это характе­ ристика канала и не зависит от статистики сигнала. С целью наиболее эффективного использования информационного канала необходимо принимать меры к тому, чтобы скорость передачи информации была как можно ближе к пропускной способности канала. Вместе с тем скорость ввода информации не должна превышать пропуск­ ную способность канала, иначе не вся информация будет передана по каналу. _ Это основное условие динамического согласования источника сооб­ щений и информационного канала. Одним из основных вопросов в теории передачи информации явля­ ется определение зависимости скорости передачи информации и про­ пускной способност11 от параметров канала и характеристик сигналов и помех. Эти вопросы были впервые глубоко исследованы К. Шенно­ ном [50]. Рассмотрим три вида каналов: дискретный канал без помех, диск· ретный канал с помехами и непрерывный канал с помехами. 7 .2. СКОРОСТЬ ПЕРЕДАЧИ ИНФОРМАЦИИ И ПРОПУСКНАЯ СПОСОБНОСТЬ ДИСКРЕТНОГО КАНАЛА БЕЗ ПОМЕХ Под дискретным каналом пе-редачи информации принято понимать совокупность средств, предназначенных для передачи дискретных сигналов [8]. 141
На вход такого канала подаются дискретные сообщения Х, образу­ ющие первичный алфавит х1 , х2 , •.. , хп. Последние кодируются с по­ мощью преобразователя П~ (рис. 7.1) и преобразуются в кодированные сигналы У. Для кодирования используется некоторый алфавит симво­ лов Yit у2 , ... , Ут, а существо кодирования сводится к представлению отдельных сообщений или последовательностей сообщений определен­ ными комбинациями символов используемого алфавита. Для дискретных источников, выдающих стационарные последова­ тельности сообщений достаточно бол_ьшой длительности Т, введено понятие «типичных» и «нетипичных» последовательностей сообщений. При Т-+ оо все типичные последовательности имеют примерно одина­ ковую вероятность появления, в то время как суммарная вероятность появления всех нетипичных последовательностей стремится к нулю. Отмеченные свойства последовательностей дискретного источника обобщены теоремой асимптотической равновероятности, которая еле• дует из закона больших чисел. При Т -+ оо для типичных последовательностей с весьма малой погрешностью справедливо соотношение N. _ 2пн(х) min - , (7.5) где Nmin - количество типичных последовательностей, п - длина последовательностей (количество символов в последовательности); Н (Х) - энтропия на один символ. Для дискретного канала скорость передачи информации определя­ ется отношением количества информации, переносимого отдельными сигналами, к длительности сигналов Те. При некоторых условиях (например, эргодический характер помех [13]) при Те-+ оо будет типичной последовательность сообщений и на выходе канала. Поэтому при Те-+ оо скорость передачи информации будет постоянной величиной независимо от длительности сигнала и является осредненной характеристикой работы информационного канала. В связи с этим теоретически скорость передачи информации выражают следующим образом: l(z,У) = 1im 1 <;;У). Т ➔оо с с Аналогично скорость вв~да информации 7(Х)= Jim Н(Х) т➔оо Тх х (7.6) (7.7) где 11 (Х) - энтропия последовательности сообщений на выходе ис­ точника сообщений; Тх - длительность последовательности. Для реального дискретного канала средняя скорость передачи информации определяется соотношением • 7(Z, У) = 1(l_, У) , (7.8) 'tc где/ (Z, У) - ср~днее количество информации, переносимое одним сим­ волом сигнала; 't'0 - средняя длительность символа. 142
~ !/1 z,~~и, z,~ о •z..о~ 4g o!lt ~ 411:::) - 20~ ~ ~ ~ olls .. Zl, ~~ о t::i с::, •:::, ~ • •:::, •;::, • • ~ ';:::. • ' • ~ ~• • ~• '' • • ~ ,,~ . ~ ~ • ,~~ z,,, !/л, Zm~ l'tg !Jm ~ ~ ~ ~~ ~.. о • о ~cq о ~ (1 'tf Рис.· 7.4. При отсутствии статистических зависимостей между сигналами N Те= L Р (Уд Т:у., l=l t (7.9) где Р (у,} и 'tyl - априорная вероятность и длительность i"ro сигнала. Скорость ввода информации l(Х)= н~Х) =VхН(Х). (7.10) 'tx где Н (Х) - средняя энтропия одного сообщения; fx - средняя дли- 1 тельность сообщения; Vх = - - средняя скорость поступления сооб­ 'tх щений от источника. В канале без помех каждому определенному входному сигналу всегда будет соответствовать один и тот же сигнал на выходе канала" иными словами, входные и выходные сигналы связаны однозначной функциональной зависимостью (рис. 7.4). В этом случае среднее количество информации, переносимое од­ ним символом, равно энтропии символа на входе канала /(У)= Н(У) •дв.~~ . символ Скорость передачи информации l (У)= U"H (У) дв. ед с (7.11) - 1 где Uy = --- - скорость передачи элементарных символов сигнала~ 'ty 't'y - средняя длительность элеме~тарных сигналрв. Пропускная способность дискретного канала без помех С= max {ИцН (У)}. Полагая Иу заданной, получимt -что максимальная скорость пе• редачи информации будет обеспечена при максимальном значении энт­ ропии кодированного сигнала (7.12) т. е. при равномерном распределении вероятностей и статистической независимости символов алфавита сигналов. 143
Таким образом, скорость передачи информации может быть мак-· симальной при условии, если статистические характеристики источни­ ка сообщений определенным образом согласованы со свойствами .ин­ формационного канала. Для каждого источника сообщений это cor" ласование может быть достигнуто специальным выбором способа коди­ рования сигналов. На вопрос о том, в какой степени скорость · передачи информации Мо/<ет быть приближена к пропускной способности информационного канала, отвечает теорема Шеннона для дискретного канала без помех. Теорема формулируется следующим образом: если поток информации, вырабатываемый источником,· дост~точно близок к пропускной способ­ ности канала, т. е. если справедливо равенство (7.13) где б - сколь угодно малая величина, то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений, вы­ рабатываемых источником, причем скорость передачи информации бу­ дет весьма близка к пропускной способности канала: /(Z,У)=С -б. Обратное утверждение теоремы заключается в том, что невоз­ можно обеспечить длительную передачу всех сообщений, если поток информации, вырабатываемый источником, превышает пропускную спо- собность канала •• /(Х)>С. Таким образом, теорема Шеннона утверждает, что при выполнении условия (7.13) скорость передачи информации может быть в принципе сколь угодно приближена к пропускной способности канала. Это может быть обеспечено соответствующим кодированием сигналов. 7 .З. СКОРОСТЬ ПЕРЕДАЧИ ИНФОРМАЦИИ И ПРОПУСКНАЯ СПОСОБНОСТЬ ДИСКРЕТНОГО КАНАЛА С ПОМЕХАМИ При наличии помех в канале передачи информаuии нарушается однозначное соответствие между входным и выходным алфавитами канала. Одному входному сигналу могут соответствовать различные выходные сигналы (рис. 7.4). Скорость передачи информации по дискретному каналу с помехами l(Z, У) =Ии[Н(У) - Н(Y/Z)l, • (7.14) где Н (У/Z) - остаточная энтропия сигнала. обусловленная действи·ем помех. Выражение для скоррсти передачи информа·ции может быть таким l(Z, У)=Uи[Н(Z)- Н(Z/Y)], (7.15) где Н (Z) - энтропия выходного сигнала; Н (ZIY) - условная энтро­ пия выходного сигнала при известной энтропии входного сигнала. Пропускная способность канала 144
С= max 1(Z, У)= Uu max [Н (Z) -Н (Z/Y)]. (7. 16) Каналы, у которых на каждый передаваемый символ сигнала поме­ хи воздействуют независимо от того, какие сигналы передавались ранее, называются каналами без памяти. В таких каналах помехи не вызывают дополнительных коррелятивных связей между символами. В настоящее время основные вьшоды теории информации получены при- -менительно к каналам без памяти. , Для дискретного канала с помехами К. Шенн9ном доказана следую­ щая теорема: если поток информации, вырабатываемый источ~иком, достаточно близок к пропускной способности канала, т. е. если справед­ ливо равенство 1(Х) = С-б, где 6 - сколь угодно малая величина, то всегда можно найти такой спо­ соб кодирования, который обеспечит передачу всех сообщений, выраба­ тываемых источником, а вероятность ошибочного опознания любого переданного сообщения будет сколь угодно малой, т. е. Рн.о < 11, где Рн.о - вероятность неправильного опознания переданного сообще­ ния; f1 - сколь угодно малая величина. Обратное утверждение теоремы состоит в том, что если поток ин­ формации источника превышает пропускную способность канала, то не существует способа кодирования, обеспечивающего передачу любого сообщения с малой вероятностью ошибки. Таким образом, рассмотренная теорема определяет соотношение между скоростью создания сообщений источником, пропускной спо­ собностью канала при наличии помех и достоверностью передачи. Справедливость теорем Шеннона для дискретного канала может быть показана исходя из теоремы об асимптотической равновероят­ ности' длинных п·оследовательностей сообщений [13], [23], [51]. Теоремы Шеннона не указывают практических путей нахождения оптимального кода, чтобы приблизить скорость передачи информации к пропускной способности канала.- Установлено \лишь, что для при­ ближения скорости передачи к пределу общим методом для каналов с помехами и без помех является кодирование длинных сообщений. Тем не менее значение этих теорем трудно переоценить. До К. Шеи­ нона считалось, что в канале с заданными помехами обеспечить сколь угодно малую вероятность ошибки можно только при стремлении ско­ рости передачи информации к нулю. К. Шеннон показал, что путем со­ ответствующего выбора способа кодирования можно обеспечить сколь угодно малую вероятность ошибки при конечной скорости передачи информации. 7 .4. СКОРОСТЬ ПЕРЕДАЧИ ИНФОРМАЦИИ И ПРОПУСКНАЯ СПОСОБНОСТЬ НЕПРЕРЫВНОГО KAHAJIA С ПОМЕХАМИ Под непрерывным каналом передачи информации принято понимать 'совокупность средств, предназначенных для передачи непрерывных сиг.. , налов [8]. В отличие от дискретных каналов в непрерывных каналах 10 5-1834 145
а Рис. 7.5. вместо кодирующих и декодирующих устройств может использоваться более широкий класс различных преобразователей. Для передачи информации по каналу может применяться модуляция одного или не­ скольких параметров сигнала. Независимо от конкретного характера преобразования сигналов входные и выходные сигналы непрерывного канала задаются в виде ансамблей непрерывных функций с соответст­ вующими плотностями распределения вероятностей. Пусть на вход канала поступает непрерывный сигнал У (t) длитель­ ностью Т. Вследствие воздействия помех ~ (t) выходной сигнал Z (t) будет отличаться,от входного. - Количество информации, содержащееся в случайном сигнале Z (t) о случайном сигнале У (t), определяется известной зависимостью /т(Z,У) =hт(Z)- hт(Z/Y). в- соответствии с теоремой Котельникова, непрерывные сигналы У (t) и Z (t) могут быть представлены совокупностями отсчетов у1 и z1 в дискретные моменты времени (рис. 7.5), представляющие собой слу­ чайные величины. Распределение совокупности случайных величин описывается мно­ гомерными плотностями распределения вероятности W(У1,У2,•••, Ут) ИW(Z1,Z2, ·• · , Zт). Тогда дифференциальная энтропия сигнала на выходе канала 00 т... Iw(z1,z 2 , •• : • Zт)log2 w(z1, z 2 , ••• -со -оо .. • , Zт)dz1, dz2 , .. dzm. Так как в,соответствии с критерием Н. А. Железнова [18] при кван­ товании случа_йных сигналов по времени интервал квантования необхо­ димо устанавливать равным интервалу корреляции функции i-0 , то слу­ чайные величины z1 , z2 , .... , zi, ... , Zm можно полагать независимыми и w(z1, Z2, .•• , zт)= w(z1)w(z2) ..• w (zт)- Исходя из того, что энтропия совокупности случайных независимых величин равна сумме энтропий случайных величин, получим следующее выражение для дифференциальной энтропии сигнала: т hт(Z)== ~ h(z1), i=l 00 где h(zt) = - S w (z 1) log2 w (z1) dz1 - дифференциальная энтропия i-го r-,00 146
т отсчета сигнала Z; т = ЛТ - общее количество отсчетов сигнала Z длительностью Т; ЛТ - интервал временного квантования~ Ограничиваясь рассмотрением стационарных процессов, получим W(Z1)=W(Z2)=••• = W(Zт); h(z1) =h(z2) == ••• = ~(zщ) =h(Z). Тогда hт(Z)= mh(Z), где h (Z) - дифференциальная энтропия одного отсчета. Аналогично можно показать, что условная дифференциальная энтропия hт (Z/У) = mh (Z!У), где h (ZIY) - условная дифференциальная энтропия одного отсчета. Таким образом, выражение для количества информация прини- мает вид _lт(Z, У) =т[h(Z)-h(Z/Y)]. Скорость передачи информации lт(Z, У)= ';. (h(Z)-n(ZJY)] = F0 [h(Z)-h(Z/Y)J, (7.17) m 1 ) где F0 = у= лт - частота временного квантования (отсчета. Пропускная способность канала С=max (/т(Z, У)] = F0 max [h(Z)- h(Z/Y)]. (7. 18) Максимальное значение первой част_и выражения (7.18) можно до­ стичь, варьируя w (У), так как остальные параметры относятся к ка­ налу связи, которые мы менять не можем. · Рассмотрим некоторые частные случаи. 1. Сигнал ограниченной мощности передается по каналу, в котором действует адаптивная помеха ограниченной мощности типа белого rаус­ сового шума. ~При аддитивной помехе сигнал Z (t) на выходе канала будет равен z(t)=у(t)+~(t), где s(t) - помеха, действующая в канале передачи информации. Средние мощности ·сигнала и помехи соответственно равны Р11 н Р~ = а~. Полоса пропускания канала ограничена пределами о и F•. Ширина спектра сигнала и помехи ограничиваются полосой про­ пускания канала. Частота временного квантования ограниченного по спектру сиг­ нала в соответствии с теоремой Котельникова F0 = 2Fк. Тогда выражение (7.18) для пропускной способности канала при• мет вид С= 2Fкmax[h(Z)- h(ZLY)]. 10• (7.19) 14'J
При взаимно независимых сигнале У и помехе ~ вероятность того, что при передаче сигнала У выходной сигнал будет равен Z = У -+- + ~, должна определяться вероятностью того, что помеха примет дан­ ноезначение ~=Z- У,т.е. w(ZJY)dY= w(~)d~, а w (l/Y) = w (У/У+ ~/У)= w (У/У) w (~/У)= w (6). (7.20) Учитывая (7.20). выражение для условий дифференциальной эн­ тропии h (ZIY) можно преобразовать следующим образом: 00 00 h(Z/Y) == - S Sw(У) w(Z/Y)\og2w (Z/Y)dYdZ= -оо -оо - - s.., w(У)[Ioow(6)log2w(6)ds]dY=h(6) Ioow(У)dY=h(6), (7.21) где h (~) - дифференциальная энтропия помехи. Таким образом, в случае адаптивной помехи условная дифферен­ циальная энтропия h (Z/Y) полностью определяется свойствами помехи. Ранее было установлено (см. пример 6.3), что дифференциальная энтропия сигнала, распределенного по нормальному закону, h (s) = Iog2 (V2леа§). (7.22) Подставив (7.22) в (7.19), получим следующее выражение для про­ пускной способности канала: С= 2Fкmax {h(Z)-log1 V2nea,}. (7.23) Так как а~ задано, то максимальное значение выражения (7.23) будет обеспечено при условии максимизации дифференциальной энтропии выходного сигнала h (Z). Так как средние мощности входного сигнала У (t) и помехи ~ (t) ограничены, то средняя мощность выходного сиг-­ нала Z (t) также ограничена. При таком условии величина дифферен­ циальной энтропии h (Z) будет максимальной в случае, если Z (t) ха­ рактеризуется нормальным законом распределения. Если же суммар­ ный сигнал Z (t) и одна из его составляющих ~ (t) распределены по нормальному закону, то и вторая составляющая, т. е. входной сигнал У (t), также должна иметь нормальный закон распределения. Таким образом, дифференциальная энтропия выходного сигнала V- V22 h (Z) = log2 2nea2 = log2 (ау+ а~) 2ne. (7.24) Подставляя (7.24) в (7.23), окончательно получим [ j 02+02 С- 2Fк log2V_(a~ +а~)2ne- 1og2Vаl2ле=Fкlog2 и ~ - oi - Fкlog2(1+ ~; ), (7 .25) 148
2 С• где Ри = аи - средняя ~ощность по- !kiO-ie ·--------~-,.... лезноrо сигнала; Р~ = а~ - средняя ~ мощность помехи. Итак, скорость передачи информа­ ции сигналами с ограниченной средней мощностью через канал, в котором дей• :- о~---------4~ ствует белый гауссов шум, оказывается /к. максимальной при полном подобии меж- 76 Рис... ду сигналом и помехой. Следовательно, максимальная скорость передачи информации будет обеспечена, если в качестве физичес~ого переносчика информации применять стацио­ нарный случайный процесс в виде белого гауссова шума. Как видно из (7.25), пропускную способность канала можно регули­ ровать путем изменения Fк или Ри· . Причем практически зависимость nропускной способности канала от Fк при постоянной мощности сигнала нелинейная. Это обусловлено тем, что мощность помехи Р§ также зависит от ширины частотного спектра. Действительно, энерге­ тический спектр белого шума равномерен, поэтому мощность. такой помехи можно представить в виде Р, = Р0Fк, (7.26) где Р0 - мощность помехи, приходящаяся на полосу в 1 Гц (спектраль­ ная плотность мощности помехи). Подставив (7 .26) в (7 .25), получим выражение, определяющее действительный характер зависимости пропускной способности канала от ширины его полосы пропускания: С=F~]og2(1+ Ру )• (7.27) Р0Fк . Характер зависимости С = f (Fк) представлен графически на рис. 7.6 . Определим предел, к которому стремится пропускная способность канала при неограниченном увеличении его полосы пропускания. ( Ру ) lim С= Hm log2 1 + РоFк 1 • FK-+-00 Fк-+-оо 7;- Введя обозначение а = 1 --г, получим к lim С= lim log2( 1+ ~: а) • FK-t .()O а.➔О а Раскрывая неопределенность, получим предельное значение про• пускной способности канала (7.28) 149
Из формулы (7.28) видно, что максимальное значение, к которому стрем·ится пропускная способность с ростом его ширины полосы про­ пускания, пропорционально отношению средней мощности сигнала к спектральной плотности мощности помехи. Из произведенного анализа можно также заключить, что нет смыс­ ла сильно увеличивать полосу пропускания канала, так как по мере расширения полосы пропускания рост пропускной способности канала _ замед,.ляется и в пределе при Fк ~ оо пропускная способность прибли­ жается к постоянной величине. Имеет смысл увеличивать полосу про- . р пускания примерно до значения, равного отношению Ру • Предельно о. возможное значение пропускной способности может быть увеличено за . р счет увеличения отношения Р: . 2. Сигнал ограниченной мощности передается по каналу, в котором действует аддитивная помеха в виде произвольного шума. Как уже ус­ таиовленоt при определенном ·среднем квадратическом значении (при оп­ ределенной мощности) помехи наибольшей энтропией обладает помеха с нормальным законом распределения вероятностей. При любом другом законе распределения вероятностей помехи ее энтропия при том же среднем квадратическом значении оказывается меньшей. Зависимость энтропии от вида закона распределения побудила К. Шеннона характе· ривовать действие помехи не ее действительной мощностьюt а так назы­ в~емой энтропийной мощностью помехи. Под энтропийной мощностью К. Шеннон понимал мощность эквивалентного белого шума, который, имея те же длительность и ширину спектра, обладает такой же, как данная помеха, энтропией. Таким образом, если произвольная помеха ~ (t) характеризуется энтропией на один отсчет h (s), то тогда мощность эквивалентного бело- го шума9 т. е. энтропийная мощность аlэ, может быть определена из условия откуда 2 2h~ Q't: ... ----- ~- 2пе ne • (7 .29) Величина отношения средней мощности помехи ~ и ее энтропий­ ной мощности а:э определяется законом распределения помехи. Обо­ значив это отношение через k3, получим 2 k2 а; = эО'~э• (7.30) В частности, для закона равной вероятности k9 = 1,3. Используя понятие энтропийной мощности, можно выражение дпя пропускной способности канала, в котором действует произволь­ ная помехаt представить в следующем виде: [V22 v·2 J (~+~) _ _ ~ =2Fк log2 (аv+а,)2ne- log2 а,э2пе =Ркlog2 а2;е = . ( а:+а~ ) -== P. log2 k. а; . (7.31) 150
Для всех законов распределения кроме нормального коэффициент • k 9 > 1, поэтому пропускная способность канала, в котором действует произвольная помеха, будет всегда больше пропускной способности канала, в котором действует белый шум с такой же средней мощностью, что и произвольная помеха. Для непрерывного канала с помехами К. Шенноном сформулиро• вана следующая .теорема: Если эпсилон-производительность Йв (Х) источника непрерывных сообщений, определяющая количество информации, вырабатываемое в единицу времени при заданной оценке g верности воспроизведения, сколь угодно близка к .пропускной способности канала, т. е. справедли­ во соотношение Не(Х) = С-а, где а, - как угодно мало, то существует метод передачи, при котором все сообщения, вырабатываемые источником, могут быть переданы, а верность воспроизведения при этом как угодно близка к g. 7.5. ПРИМЕРЫ Пример 7.1. В информационном канале без помех для передачи сообщений используется алфавит с четырьмя различными символами. Длительности всех символов одинаковы и равны 't = 1 мс. Определить пропускную способность канала передачи информации. Решение. Для расчета пропускной способности дискретного канала без помех воспользуемся формулой - log N С= Uymax {Н(У)} = / , у где N - общее количество сообщений; Т0 - средняя длительность сигнала. Так как код каждого сообщения содержит четыре символа, то дли­ тельность всех сигналов будет постоянна и равна Ту=4т=4мс. Так как для передачи сообщений используется алфавит с четырьмя символами, то Следовательно, С=250]og244 =2501og228 = 2•108 дв. ед с Пример 7.2. Источник вырабатывает символы с вероятностями р1 =0.2; р2 =0,7 и р8 =0,1; корреляционные связи между сообщениями отсутствуют. Передача информации осуществляется двоичным кодом, длительность символов которого равна т = 1 мс. Определить скорость передачи информации по каналу без помех при использовании равномерного кода. 151
Решение. Скорость передачи информации определяем по формуле (7 .11 ). • . Средняя энтропия сообщений на один символ 3 Н(У)= - ~ Р1]og2Pt = l~t =-0,2log2 0,2-017log2 0,7-0,l log2 0,I = 1,16 дв. ед . симв Для передачи трех сообщений двоичным кодом необходимо два раз­ ряда. Следовательно, длина кодовых комбинаций равна 2,; и скорость · l сообщ передачи сигналов Uи = 2 •==500с. Таким образом, скорость передачи информации 7(У)=UyH(У)=500•1,16=580 дв~ед • Пример 7.3. Источник, вырабатывающий четыре символа с апри­ орными вероятностями р1 = 0,4; р2 = 0,3; р3 = 0,2 и р4 = О, 1, под­ ключен к каналу передачи информации, обладающему пропускной спо- собностью С = 1000 дв. ед. Передача информации осуществляется рав- с номерным двоичным кодом. С какой скоростью будет осуществляться передача информации при отсутствии помех? Petueнue. Скорость передачи информации определяем по формуле (7.11 ). • Средняя энтропия сообщений на один символ источника Н (У)= - 0,4 log2 0,4- - 0,3 log20,3 - 0,2 log20,2 - О,1log2 О,1= 1,848 ~~м:д Скорость передачи символов Uy может быть определена из выраже­ ния для пропускной способности канала. Действительно, максимальная энтропия будет иметь место при равной вероятности и статистической независимости сообщений max{Н(У)}log24=2 :~~;:; . Тогда из (7.12) получим - с и= . - У max {Н (У)} 1ООО == бОО симв 2 с Следовательно, скорость передачи информации 7(У)= U/f (У)= ·500 • 1,848 = 924 дв~ ед . Пример 7.4. Сколько в среднем можно передать букв русского тек­ -- ста в секунду по каналу без помех с пропускной способностью С 2- = 1000 дв. ед ,. 152
Ре~иение. В 6.7 установлено, что сред­ няя энтропия русского языка на одну бук­ ву с учетом всех коррелятивных связей //, о "о z, 1/iO с._ 9. р _;$о Zr - -_-:.--r-...:-::...- Н(У)=2дв.ед. 114 o-- --- - s· ---.о z.r букву Рис. 7.7. Следовательно, средняя скорость передачи русского текста П() каналу Uy= 10200 =500б~кв. Пример 7.5. При передаче непрерывных сигналов по каналу связи осуществ11яется кодоимпульсная модуляция. Квантование по времени осуществляется с частотой Fк = 100 Гц. При квантовании по уровню, шкала уровней сигнала делится на 64 дискретных уровня. Определить пропускную способность канала без помех. Решение. Количество дискретных уровней определяет количество­ передаваемых сообщений. • Следовательно, максимально возможная энтропия сообщений max{Н(У)}=log264=б :~б: , а пропускная способность канала С== U11 max {Н (У)}= Fкmax {Н(У)} = 100 • 6 = 600 _д_в~_ед_ Примвр 7.6 (из 48). По каналу связи с помехами передаются три сообщения, которым соответствуют сигналы.у1 , у2 и у8 • При этом канал таков. что сигнал у1 всегда передается безошибочно, а сигналы у2 и и~ передаются или правильно с вероятностями р, или с искажениями, ' когда один сигнал переходит в другой с вероятностью q. Априорные­ вероятности посылки сигналов р (у1) = р; р (у2) =- р VJ3) = Q. Схема передачи сигналов показана на рис. 7.7. Определить пропускную способность каналаt если скорость пе­ редачи ~игналов равна Ии· Реш,ение. Пропускная способность дискретного канала с помехами может быть определена по формуле С=ИУmax {Н{У) - Н(У/Х)}. Начальная энтропия сигналов з Н(У)=- Lр(у1)log2р(у,)=- [рJog2р+2Qlog2Q]. i=l Остаточная энтропия определя-ется выражением 33 Н(У/Z) = - ~ Lр(z,)р(y,/zt)log2р(y11z1)=z l=l /:z:al -== - Р (z1) Р (Y1/Z1) log2 Р (Y1/Z1) - Р (z2) [р (Y2/Z2) log2 Р (Y2/Z2) + + Р (y3/Z2) log2 Р (Уз/Z2)] - Р (zз) [р (Y2/Zs) log2 Р (Y2/Zs) + + Р (Уз/Zз) log2 Р (Уз/Zз)]. 153
Так как по условию задачи р (y1/z 1) = 1, то первое слагаемое в на­ шем выражении будет равно нулю. -Кроме того, пр условию задачи р (yiz2) = р (yslz3) = р; р (у,/23) ::а = Р (yзlZ2) =-= Q. Вероятности р (z2) и р (z8) находим из формулы полной вероятности Р(z2) = Р(У2)Р(z2/Y2) +Р(Уз)Р(z,./уз) = Q[р(z2/Y2) +Р(ZJY2)] = Q; Р(zs) =Р(У2)Р(2з/У2)+Р(Уз)Р(Zs/Ys) = Q[р(2s/Y2)+Р(Zз/Уз)I = Q. · Следовательноt остаточная энтропия Н(YJZ):: - 2Q(р1og2р+qlog2q). Таким образом, пропускная способность канала опредмяется выра• жением _,, С=Uymax{-рlog2р- 2Qlog2Q+2Q(рlog2р+q1о~q)). Искомая величина С является функцией априорных вероятностей .р и Q. Следовательно, нахождение максимума правой части полученного 13Ыражения сводится к соответствующему выбору р и Q при условии, ·что р + 2Q = 1. Как известно, такие задачи на максимум решаются -с помощью неопределенных коэффициентов Лагранжа~ В соответствии -с этим методом составим новую_фун.кцию вида F= р1og2р- 2Qlog2Q+2Q(р1og1р+qlog2q)+л,(р+2Qj, :rде л - коэффициент Лагранжа. Для удобства математических выкладок перейдем к натуральным .логарифмам F= - рlnр- 2QlnQ+2Q(рlnр+qInq)+л(р+2Q~. Ищем максимум данной функции, для чего найдем предварительно ~е частные производные пор и Q и приравняем их к нулю '%; = - 1- lnр+л==О; g~=- 2- 2lnQ+2(рlnр+qlnq)+2Л=О. Из полученных уравнений найдем р = e~-t; Q = ei-te(plnp+qlnq)• Из условия р + 2Q =-- 1 найдем e"--J (1 + 2e<Plnp+qlnq) =z l, ()ТКуда 1 6 еа-1 = ----~ -- _ 1 + 2e<Plnp + qlnQ) {,+2 • где J54
Таким образом, оптимальные значения априорных вероятностей равны l3 Р=в+2; 1 Q=в+2 • Следовательно, искомое значение пропускной способности канала -[ б б 2 1 2 ] С=Uи-б+2lnб+2- б+2lnб+2- б+2lncS= = Uи[-lnб(612+ 6: 2)+ln(б+2)(6~2+ 1'1: 2)]= = Uи[ln(б+2)- ln6]=Uuln 1'1t 2 Пример 7.7 . Определить пропускную способность непрерывного канала с помехами типа белого гауссова шума. Полоса пропускания канала Fк = 1000 Гц. Дисперсия полезного сигнала а;= Р = == 4000 В 2, спектральная плотность мощности помехи Р0 = 0,002 r!2/c. Решение. Для определения пропускной способности непрерывного канала с помехами воспользуемся формулой (7.27) С=Fкlog2(1+ р:jк ) = 1000log2(1+ ·o,io~ ~о;оа )= = 1О970дв.ед. с Пример 7.8 (из 52). Определить необходимую пропускную способ­ ность и полосу пропускания канала, предназначенного для передачи телевизионного изображения. Можно полагать телевизионное изобра­ жение, состоящим из 300 ООО мелких элементов изображения. Каждый из этих элементов может принимать 10 различных градаций яркости. Все градации можно считать равновероятными. За одну секунду пере­ дается 30 кадров изображения. Кроме того, известно, что для удовлет­ ворительного воспроизведения изображения необходимое отношение сигнал/шум равно 1000. Решение. Поскольку каждый элемент изображения может прини­ мать 1О уровней с равной вероятностью, то один элемент изображения содержит количество информации дв. ед l=log210=3,32--- . ? элемент Один кадр содержит количество информации, равное 300 000i. Поскольку за одну секунду должно быть передано 30 кадров, то про­ пускная способность канала С=30•300000i=29,9 .10 дв~ед . С другой стороныt при известном отношении сигнал/шум про­ пускная способность канала может быть определена по формуле (7.25), 155
откуда полоса пропускания канала ·с 29,9 . 10в Fк~1Р11 - 9,95 ~з МГц. og2p i Пример 7.9. Определить пропускную способность телефонного ка- бе ' слов нала, о спечцвающего передачу разговора со скоростью 100 -- . мин Среднюю длину слова считать состоящей из 5 букв. Решение. Считая, что на каждую букву в среднем приходится две двоичные единицы информации (см. 6.7), получим следующее зна­ чение пропускной способности канала: ·С=IOO~• 2 = 16,6 д\ед . Контрольные вопросы 1. Какими обобщенными характеристиками определяются сигнал и канал переда• чи информации? ~ 2. Что понимается под объемом сигнала и емкостью канала передачи информации? 3. Сформулируйте необходимые .и достаточные условия согласования сигнала с каналом передачи информации? 4. Чем вызвана необходимость согласования сигнала с каналом передачи инфор• мации? _ 5. Объяснитеt как можно передать широкополосный сигнал через узкополосный канал без искажений. • 6. Что понимается под скоростью передачи информации и пропускной способ­ ностью канала? 7. Какими факторами определяются скорость передачи информации и пропуск­ ная способность канала? 8. Что понимается под дискретным кана.лом и непрерывным ка·налом? . 9. В чем состоит сущность теоремы Шеннона для дискретного канала без помех? 10. Что понимается под каналом без памяти? 11. Каким образом вычисляется скорость передачи информации по дискретному каналу с помехами и без помех? 12. Каким образом определяется пропускная способность дискретного канала с помехами и без помех? 13. В чем сущность теоремы Шеннона для дискретного канала с помехами? 14. Каким образом определяется скорость передачи информации по непрерывному каналу с помехами? 15. Каким образом определяется пропускная способность непрерывного канала с помехами при передаче сигналов с ограниченной мощностью? 16. Объясните характер зависимости пропускной способности непрерывного канала с помехами от полосы пропускания канала? 17. В чем сущность теоремы Шеннона для непрерывного канала с помехами, Глава 8. ОПТИМАЛЬНЫЙ ПРИЕМ ___ И ОБРАБОТКА ·ИНФОРМАЦИИ _______ Задача оптимального приема состоит в использовании избыточно­ сти, а также имеющихся сведений о свойствах полезного сигнала, помехи и канала для увеличения вероятности правильного прие­ ма [29]. 156
Вследствие тОrо что на вход приемни- ·Y(tJ "г~ х•• [ pg I к. ка поступает сумма полезного сигнала и ... - -~-. .. ----i-... • помехи, вероятность правильного приема будет определяться отношением полезно­ Рис. 8.1.· го сигнала к помехе. Для повышения вероятности правильного при• ема должна быть произведена предварительная обработка приня - того сигнала, обеспечивающая увеличение отношения сигнал/по­ меха. Таким образом, приемник должен содержать два основных элемента (рис. 8.1): фильтр Ф, обеспечивающий улучшение отношения сигнал/помеха, и решающее устройство РУ, выполняющее главные функции приема (обнаружения, различения или восстановления сиг­ налов). Известны с.педую~цие методы фильтрации, обеспечивающие улучше-- ние соотношения сигнал/помеха: частотная фильтрация; метод накопления; корреляционный метод; corласованная фильтрация. Все эти методы основаны на использовании различий свойств по- лезного сигнала и помехи. 8.1. ЧАСТОТНАЯ ФИЛЬТРАЦИЯ Идея частотной фильтрации основана на отличии спектров полез­ ного сигнала и помехи. При этом используются линейные частот­ ные фильтры, позволяющие подавлять помеху и улучшать тем самым соотношение сигнал/помеха. Параметры фил_ьтра определяются спект­ ральными характеристиками сигнала и помехи. На практике наибо­ лее часто встречаются следующие случаи: а) на вход приемного устройства поступают узкополосный сигнал и широкополосная помеха. Этот случай представлен на рис. 8.2, где Sx (оо) - спектральная плотность сигнала и S6 {ffi) - спектральная плотность помехи. В этом случае в тракт приемного устройстца включается узкополос­ ный фильтр с полосой пропускания дrох; б) на вход приемника поступают широкополосный сигнал и узко­ полосная помеха (рис. 8.3). В таких случаях в тракт приемника включается фильтр, обеспечивающий подавление помехи в поло­ се Лrо~; в) на вход приемника поступают периодический сигнал и широкопо- лосная помеха. . Как известно, периодический сигнал имеет дискретный частотный спектр. В этом случае в приемное устройство нужно включать набор фильтров (гребенчатые фильтры), пропускающие лишь дискретные частоты периодического сигнала. Рассмотрим наиболее детально случай, когда полезный сигнал яв­ ляется гармоническим, а -помеха типа белого шума. Для выделения по­ лезного сигнала в этом случае должен быть использован узкополосный фильтр, настроенный на частоту сигнала. Отношение мощности сигнала 157
/ Рис. 8.2. Рис. 8.3. к~мощности помехи на выходе фильтра при этом ( р:) рхвх рхвх ~Jв~ = роЛrоФ = 2nЛfФро • (8.1) где Р0 - средняя мощность помехи, приходящаяся на единицу полосы; ЛrоФ - полоса пропускания фильтра. р•- Как видно из выражения (8.1), отношение Рх можно сделать 6 как угодно большим за счет уменьшения полосы пропускания фильтра ЛfФ• В реальных условиях полезный сигнал поступает лишь в течение определенного времени Тх· Поэтому полезный сигнал в действительности представляет собой отрезок синусоиды, спектр которого неограничен. Известно, что практическая ширина спектра такого сигнала связана с его длительностью соотношением Лf"Тх = μ, (8.2) где μ - постоянная. зависящая от формы сигнала. Обычно принима­ ется μ~l. Длительность сигнала Тх должна быть выбрана такой, чтобы его спектр был не шире полосы пропускания фильтра Лfх ~ ЛfФ· Подставляя в (8.1) вместо ЛfФ величину Лfх, .получаем (8.3) Формула (8.3) показывает, что увеличение отношения сигнал/поме­ ха достигается за счет увеличения длительности сигнала Тх, т. е. вре­ мени наблюдения. Таким образом, при частотной фильтрации улучшение отношения сигнал/помеха окупается ценой увеличения времени передачи. 8.2. МЕТОД НАКОПЛЕНИЯ Метод накопления применим в том случае, если полезный сигнал в течение времени приема постоянен или является периодической функ­ цией. Метод состоит в многократном повторении сигнала и суммирова­ нии отдельных его реализаций в приемном устройстве. Как будет пока- 158
~--· аано ниже, такой способ обработки сигнала обеспечивает при определен­ ных условиях улучшение отношения сигнал/помеха. Пусть в течение времени передачи T.t сигнал постоянен и равен а. На сигнал воздействует адаптивная помеха ~- Последовательность отсчетов можно представить в виде У1 =а+ ~1; У2 =а+ s2; ••••••• Уп =а+ sп, где St - значение помехи в момент i-го отсчета. На выходе накопителя будет сигнал п п У=~(а+~д=па+~~i, l=t l=l rде п - количество отсчетов за время передачи . . Отношение мощностей сигнала и помехи на выходе накопителя ( Рх) (па)2 pi вых = D[tl~l]' где D[f sl]- дисперсия помехи на выходе накопителя. l=l В предположении, что значения ~t некоррелированы, дисперсия сум• мы отсчетов ~t равна сумме дисперсий отсчетов D[tls,]. t1D(Ь). Считая помеху стационарным случайным процессом, получим D[~ 1 ~l= nD (S). Следовательно, отношение мощностей сигнала и помехи ·на выходе накопителя можно представить в виде ( Р) (па) 2 а2• (р) р~вых= nD(6)=пD@=n 1\ вх• (8.4) 1 Таким образом, при перечисленных выше условиях, в результате n-кратного отсчета, отношение мощностей сигнала и помехи увеличива­ ется в п раз. Временной интервал между отдельными отсчетами должен быть больше интервала корреляции помехи -т~. В противном случае выигрыш за счет накопления будет меньше значения, даваемого выраже­ нием (8А). За счет увеличения числа отсчетов п, т. е. времени передачи Тх• можно сколь угодно увеличивать отношение сигнал/помеха. Если сигнал представляет периодическую функцию времени, то отсчеты нужно производить через интервалы, р~вные или кратные 159
nериоду этой функции. В таких случаях метод носит название метода . .синхр онног о накопления. Эффект накопления такой же, как и в слу- -чае постоянного сигнала. • Эффект накопления можно осуществить также за счет интегрирова• -ния входного сигнала в течение определенного времени Тх. Такой метод получил наименование интегрального приема. Интегральный прием целесообразно применять в случае, когда полезный сигнал постоянен (или квазипостоянен). В случае поступления на вход интегратора суммы постоянного сиг- нала а и помехи ~ выходной сигнал • тх тх Yu(t) = S [а+ G(t)J dt = аТ.с + j G(t)dt. о о Отношение мощностей сигнала и помехи на выходе интегратора ( Р) (аТх)2 Р; яых - --[r""""""x-. ... .;.;.; .._ _ l _ • D !;(/)dtj В соответствии с теоремой Котельниgова, непрерывный случайный сигнал ~ (t) можно заменить совокупностью отсчетов в моменты време­ ни, отстоящие друг от друга на интервалы, равные интервалу кар• реляции помехи т0 • Следовательно, можно записать, что 1х п 5G(t) dt ~ ~ S(tд -ro, о i=l где т п- х ---. 'to Тогда дисперсия помехи на выходе накопителя D [ix S(t) dt] ~ D[t, S(t1) 'toJ= 't~D [itl G(t 1)] = 't~D Ш = Т.c'toD (S). Следовательно, отношение мощностей сигнала и помехи на выходе интегратора определится соотношением ( Рх) (аТх)2 Тха2 Тх(Рх) Т вых ~ Tx'toD (;) = 'toD (~) = -=r;-Твх • (B.S) Таким образом, интегральный прием обеспечивает увеличение от­ ношения мощностей сигнала и помехи в ( ~: ) раз. . ПомехоуСтойчи­ вость интегрального приема будет тем выше, чем больше время интег­ рирования Т" и чем более высокочастотна помеха (т. е. чем меньше интервал корреляции помехи 't0). 160
8.8. КОРРЕJIЯЦИОНПЫИ МЕТОД Сущность метода заключается в использовании различия между корреляционными функциями сигнала и помехи. Данный метод эф­ фективен л·ишь в случае приема периодических или квазипериодических сигналов. Рассмотрим сущность метода ..на примере, когда полезный сиг­ нал является периодическим, а помеха - типа белого гауссова шума. В приемном устройстве определяется корреляционная функция поступающей на вх9д суммы полезного сигнала и помехи i/2T1 Kg(1:) =*S [Х(t)+S(t)][X(t)+-r}+S(t+-r)]dt= -1/2Ti 1 /1Т1 1⁄4Ti =+SХ(t)Х(t+-r)dt++SХ(tH(t+1:)dt+ i ..,,,,.,11"т" i ~111r1 l/1Ti +* S s(t)X(t +-r)dt+ .- t/1T1 Т11" +- 1 - r ~(t)~(t+'t')dt = Кхх(,;)+Кх~(,;) +К~х{'t) +К;,~(,;). (8.6) Т1 J-Т1/1 В полученном выражении Кх~ (-r) и К~х (т) есть взаимные корреляци­ онные функции сигнала и помехи, а Кхх (-r) и K~s (,:) - автокорреля­ ционные функции сигнала и помехи соответственно. Поскольку передаваемый сигнал и помеха статистически независи­ мы, то Кх~('t) =Ktx(т) =О. Следовательно, выражение (8.6). примет. вид Ки (т:) = Кхх ('t) + Ks~ (т). (8.7) Из выражения (8.7) видно, что корреляционная функция смеси сигнала и помехи равна сумме автокорреляционных функций сигнала и помехи. Как известно, корреляционная функция периодического сигнала является периодической функцией аргумента (см. п. 3.11, пример 3.14). Функция к~~(,;) с увеличением - r стремится к нулю и при 't ~ т0 практически равна нулю (рис. 8..4). Следовательно, выбирая такое время ,;, при котором значением К6~ (,;) можно пренебречь, мы обеспечим тем самым получение функции Ку (т), отображающей по­ лезный сигнал, т. е. выделение полезного сигнала из смеси полезного сигнала с помехой. Для уточнения того, от каких факторов зависит время, затрачивае­ мое для выделения полезного сигнала при корреляционном приеме, выразим корреляционные функции Кхх (,;) и К~~ ('t') через дисперсии и нормированные корреляционные функции rxx ('t) и '" ('t) Кхх(т)= D(х) •r~х(,;); (8.8) К" ('t) = ·D (~) r;, (,;). 11 8-1834 161
-r -r т .r Рис. 8.4. Y/t) Рис. 8.5. Подставляя (8.8) и (8. 7), найдем КУ(т:)=D(х)Гхх('t)+D(~)r,~ (i-) =z - D(Х) [rxx (-r)+ ~~;~ 'GS(-r)]= = D (х) [,хх ('r) --f:- ;: rss (-r)]. (8.9) Из (8.9) видно, что выбор вре­ мени приема зависит от интервала корреляции помехи i-0 и отношения сигнал/помеха. Действительно, при р Р1 « 1 вторым членом можно пренебречь и для выделения полезного % . р. сигнала теоретически времени не потребуется. При Р: ;:э~ 1 необходи- мо увеличивать 't, чтобы получить r~; ('t) ~ О. Следовательно, в послед­ нем случае для выделения полезного сигнала необходимо дополнитель- Р ное время, которое должно расти с увеличением отношения + и ин­ х тервала корреляции помехи 't0 . Общее время, затрачиваемое на корреляционный прием, определя­ ется не только~, но и временем интегрирования Т1 , выбираемым доста­ точно большим. Практически ограничиваются значением Т1~101'0. Схема корреляционного приемника приведена на рис. 8.5. Схема содержит блок эадержки БЗ, устройство умножения УУ и интегра­ тор И. Блок задержки осуществляет задержку входного сигнала на время 't. Устройство умножения осуществляет перемножение посту­ пающей на вход приемника функции У (t) и функции У (t + т), сни­ маемой с блока задержки. Интегратор усредняет полученное произве- дение за время Т1 . • • 8.4. СОГЛАСОВАННАЯ ФИЛЬТРАЦИЯ Согласованные фильтры предназначены для выделения сигналов из­ вестной формы на фоне шумов. Критерием оптимальности таких фильт­ ров является получение на выходе максимально возможного отношения -·-- амплитудного значения сигнала к действующему значению помехи. Показано [48, 53], что функция передачи таких фильтров должна 162
определяться выражением ,· .l(f) IJ(t)=ol(Т-t) s; (j(J)) . К (jro) = С G; (ro) ехр {- 100Т}, (8.10) где s; (jro)- комплексно-сопряжен· ф Рве. 8.6. ная ункция спектра сигнала; . . Gs (ro) - энергетический спектр помехи на входе фильтра; Т - мо­ мент времени наблюдения за сигналом на выходе фильтра, в который достигается максимум отношения сигнал/помеха; С - коэффициент пропорциональности. Для случая, когда помеха является белым шумом, формула (8.10) пр инимает вид К (jro) = вs; (jm) ехр {-jroT}, (8.11) rдеВ=ас ;06•- энергетический спектр белого шума. ~о Если полезный сигнал описывается функцией х (t), то переходная функция оптимального фильтра имеет вид h(t)=Вх(Т - t), (8.12) т. е. представляет собой зеркальное отображение сигнала относи­ тельно временной точки ; (рис. 8.6). Реакция на выходе фильтра определяется интегралом свертки 00 УФ(t) = S[Х(-r)+Hr)Jh(t·- ~)d,: = -оо 00 00 = В Sх(т:)х(Т- t+-r)dт:+В ) ~(-r)х(Т- t+т:)d-r. (8.tз) -оо -оо Формула (8.13) показывает, что выходная реакция фильтра с точ­ ностью до постоянного множителя выражает сумму автокорреляцион­ ной функции сигнала и взаимно корреляционной функции сигнала и помехи. Следовательно, реакция согласованного фильтра эквивалент­ на действию корреляционного приемника, которые возможно реали­ зовать. 8.5. СУЩНОСТЬ ОСНОВНОИ ЗАДАЧИ ПРИЕМА СИГИАJIОВ ПРИ НАJIИЧИИ ПОМЕХ Результатом воздействия помех является частичная или полная по­ теря информации, переносимой полезным сигналом. Приемное устрой­ ~тво, осуществляя обработку входного сигнала, являющегося суммой полезного сигнала и помехи, должно обеспечить извлечение из принято­ го сигнала возможно большего количества необходимой информацни. Основная. задача приемника состоит в том, чтобы на основании при­ нятой реализации решить наилучшим в каком-то определенном смысле способом, имеется ли данный сигнал в данной реализации (задача обна- 11• 113
ружения или различения), или каковы па­ раметры полезного сигнала (задача вос­ становления.) В связи с этим должны быть выработаны критерии, позволяющие по принятому сигналу оптимальным спосо" бом решить поставленную задачу. • !Jf Задача выбора оптимального способа обработки сигналов и выработки при этом _ соответствующих критериев составляет со .. Рис. s.7. держание теории статистических решений. - Некоторые положения этой теории приво• дятся ниже, а более детально изложены в [19, 6, 64]. • С целью наглядного представления положений теории статистиче­ ских решений введены геометрические понятия пространства прини­ маемого сигнала (пространства наблюдений). Пусть отсчеты принимаемого сигнала, являющегося суммой по­ лезного сигнала и помехи, осуществляются в дискретные моwенты вре­ мени t1, t2, ••. , tn. Отсчетные значения принятого сигнала у1 , у2 , ••. , Уп называют выборочными значениями, а их совокупность - выборкой. Число п выборочных значений называют размером или объемом выборки. Совокупность выборочных значений представляют геометрически в виде радиус-вектора У в п-мерном пространстве, где у1 , У2, ... , Уп - координаты конца вектора. Так как величины у1 , у2 , ••• , Yri случайны, i'O вектор У также является случайным вектором. Множество возмож­ ных значений вектора У составляет пространство наблюдений V. На рис. 8.7 показан случай трехмерного пространства (п = 3). Общая вероятность попадания конца вектора У в произвольную точку про­ странства )w(у)dy= 1. (8. 14) V По аналогии вводят понятия вектора полезного сигнала и· вектора помех и соответственно им понятие пространства полезного сигнала и пространства помех. После нахождения вектора принятого сигнала У · мы не можем однозначно судить о векторе полезного сигнала Х. Речь может идти только об апостериорной плотности вероятности w (Х/У) = -= w(х1,х2,••., xnly1,у2,••., Уп), т. е. условной плотности вероятности Х, если задан вектор У. Вычисление апостериорной плотности вероятности можно выпол- нить с помощью формулы Байеса (Х/У) _ w (Х) w (У/Х) w - w (У) ' (8. 15) где w (Х) - априорная плотность вероятности вектора Х; w (У) - безусловная плотность вероятности вектора У; w (У/Х) - условная плотность вероятности У, если задан Х. Безусловная плотность вероятности ro (У) определяется соотно- 164
шением w(Y)=) w(X)w(Y!X)dX, (8.16) vx где Vx обозначает, что интегрирование осуществляется в пространстве сигнала Х. Подставляя значение w (У) из (8.16) в (8.15), получим w(X, У)= w(X)w(Y/X) . 5w (Х) w (У/Х) dx (8.17) v~ Если вектор Х может иметь конечное число возможных значений Х1, х2, ••• , х, с априорными вероятностями р (х1 ), р (х2) . .. . , р (х,), то формула (8.17) принимает вид р(Х/У)= Р(Х) w(У/Х) _ р(Х)w(У/Х) w (У) t r ~ р (Xj) W (У/Xj) i=1 (8.18) где р (Х/У) - апостериорная вероятность вектора Х, если задан вектор У; р (Х) - априорная вероятность вектора Х. Следовательно, для нахождения искомой апостериорной вероятнос­ ти (или плотности вероятности) необходимо знать Р (Х) или w (Х), т. е. априорные характеристики полезного сигнала, и w (У/Х), опре;це­ ляемые априорными характеристиками полезного сигнала и помехи, а также характером их композиции. Для определения апостериорных вероятностей р (Х/У) или nлот­ ностей вероятностей w (Х/У) необходимо знать w (У/Х), которая при заданном значении У будет зависеть только от Х: w(Y/X) = L (Х). (8.19) Функция L (Х) называете~ функцией правдоподобия. В зависимос­ ти от того, является ли Х дискретной или непрерывной величиной, функция правдоподобия L (Х) может принимать конечное или беско­ нечное множество значений. Рассмотрим основные критерииJ используемые при решении задачи оптимального приема. Начнем с простейшей задачи - задачи обнару­ жения сигналов. 8.6 . ОБНАРУЖЕНИЕ СИГНАЛА Задача обнаружения, как отмечалось, состоит в том, чтобы в резуль­ тате обработки принятого сигнала У установить, содержится ли в нем полезный сигнал Х или нет. Пусть принимаемый сигнал является суммой полезного сигнала и помехи у(t)= х(t)+~(t). Полезный сигнал может принимать два значения: х1 и х0 с априор­ ными соответственно вероятностями р (х1) и р (х0). Так как сигнал Х 165
·наверняка имеет одно из этих двух значений, то справедливо соот­ ношение (8.20) Таким образом, возможны две взаимно исключающие альтер­ нативные гипотезы: в принятом сигнале содержится полезный сигнал (гипотеза Н1) и отсутствует полезный сигнал (гипотеза Н0)'. Решающее устройство приемника по данным выборки должно установить, какая из этих гипотез является истинной. В геометрической интерпретации составленная задача может быть сформулирована следующим образом. Пространство принятых сигна­ лов V условно разбивается на две части (рис. 8. 7): область v1 , соответ" ствующую принятию гипотезы Н1 о том, что Х = х1 , и область v0 , соответствующую принятию гипотезы Н0 о том, ~то Х = х0 . Это значит, что если вектор принятого сигнала окажется в пределах области v1 , то принимается гипотеза Н1 . Если же вектор сигнала У окажется в об­ ласти v0 , то принимается гипотеза Н0~ В этих условиях могут иметь место два значения апостериорной вероятности р (Х/У): р (Xi/Y) - условная вероятность наличия по­ лезного сигнала Х при данном значении выборки У, р (Хо/У) - ус­ ловная вероятность отсутствия Х при данном значении выборки У. Аналогично можно рассматривать два значения функции правдо­ подобия L (Х): L (х1) = w (У/ Х) - условная плотность вероятности, выборки У при наличии полезного сигнала Х; L (х0) = w (У/х0) - условная плотность вероятности выборки У при отсутствии Х. Отношение функций правдоподобия \ (8.21) принято называть отношением правдоподобия. Для выбора гипотезы Н1 или Н0 должно быть ·взято эа основу опре­ деленное правило принятия решений. Выбор правила принятия решения в матем_атическом отношении сводится к оптимальному разбиению пространства принимаемых сиг- налов V на области v1 и v0• • Для того чтобы выбрать то или иное правило принятия решения, необходимо руководствоваться определенными критериями. Критерий максимума правдоподобия. Этот критерий формулирует­ ся следующим образом: наиболее правдоподобно то значение параметра Х, для которого функция правдоподобия L (Х) максимальна. В соответствии с этим критерием в случае двухальтернативной ситуации обнаружения сигнала сравнивается два значения функции правдоподобия - L (х1) и L (х0) и принимается та гипотеза, ко­ торой соответствует большее значение функции правдоподобия. Если, например, L (х1) > L (х0), то принимается гипотеза Н1 . Если же L (Х1 ) ~ L (х0), то принимается гипотеза Н0 • Этот критерий можно записать в следующем виде через отношение 166
правдоподобия: еслйЛ=~~;:~>1, то х=х1; приАz= L(xi) ~1 то х=Х0• L(х0) ~ ' (8.22) Таким образом, в соответствии с данным критерием методика при­ нятия решения сводится к следующему: вычисляются функции правдо­ подобия L (х1) и L (х0), определяется отношение правдоподобия л­ и в зависимости от того, больше, равно или меньше л еди~ицы, прини• мается соответствующая гипотеза. Практическое достоинство данного критерия заключается в· том, что при его применении не требуется знания априорных вероятностей р (х1) и р (х0) сигнала Х. Критер~й максимума апостериорной вероятности. По этому крите­ рию при полученном значении выборки У принимается та гипотеза, при которой апостериорная вероятность р (XIY) максимальна. Для случая двухальтернативной ситуации сравниваются два зна­ чения апостериорной вероятности: р (х1 /У) и р (xofY). Обычно рассмат­ ривается отношение этих величин и правило принятия решения записы­ вается в виде: если:~::;~>1, то Х=х1; Р (х1/У) Х если Р(xofY) ~ 1, t'O =- х0• (8.23) Испольэуя формулу Байеса (8.18). выразим отношение апостериор" ных вероятностей через отношение функций правдоподобия р (х1 /У) р (х1) L (Xi) р (х1) Р(х0/У) = р(хо) L(Хо) = р(х0) Л. (8.24) Тогда критерий максимума апостериорной вероятности _(8.23) может быть следующим образом выражен через отношение правдо­ подобия: если Р (xi) л>1. ro Х-== Х1;. р (хо) (8.25) р (х1) если л~1, то Х=х0• Р (хо) Соотношения (8.25) можно представить в виде: если л> р (Хо) =ло,. то Х=х1; р (Х1) р (хо) (8.26) если 'А~ =ло, то Х=Х0; р (х1) где л0 - пороговое значение отношения правдоподобия. Таким образом, процедура принятия решения согласно критерию максимума апостериорной вероятности такая же, как и согласно кри­ терию максимума правдоподобия. Отличие заключается лишь в том, 167
что в первом случае отношение правдоподобия сравнивается с еди­ ницей, а во втором случае - с отношением априорных вероятностей р. (х0)/р (х1). При наличии априорных данных р (х1) и р (х0) целесообраз­ но применять критерий максимума апостериорной вероятности, так как при этом имеется возможность пользоваться дополнительной ин­ формацией, позволяющей точнее решить задачу обнаружения сигнала. Спедует отметить, что критер_ий максимума правдоподобия яв- -ляется оптимальным с информационной точки зрения. Действительно. с точки зрения теории информации наиболее вероятным следует счи­ тать то значение параметра Х, относительно которого в принятом сиг­ нале У содержится наибольшее количество информации. Взяв разность количеств информации, содержащихся в сигнале У относительно х1 И Хо, ПОЛУЧИМ 1(У, х1) -1(У, х0) = [-log2р (х1) +1og2р (х1/У)] - [log2р(х0/У)- Р (х1/У) р (х0) w(У/х1) 1 1 - ]og2 р (Хо)] = log2 Р (хо/У) Р (х1) = log2 w (У/Хо) = og2 /\,. Таким образом, информационный критерий принятия решения сводится к определению двоичного логарифма отношения правдопо­ добия. Если этот логарифм положителен, то принимается гипотеза Н1 о том, что Х = х1 ; если он отрицателен или равен нулю, то принима• ется гипотеза НOотом, что Х = х0• Критерий идеального наблюдателя (критерий Котельникова). Сог­ ласно данному критерию принимается та гипотеза, при которой обеспе­ чивается минимум общей ошибки принятия решения. При решении задачи обнаружения сигнала могут иметь место ошибки двух родов: 1) при отсутствии полезного сигнала вектор принятого сигнала У оказывается в области v1 и принимается в соответствии с этим гипотеза Н1 ; 2) при наличии полезного сигнала вектор У оказывается в области v0 и принимается гипотеза Н0 • Первая ошибка называется ошибкой первого рода, или «ложной тревогой». Вторая ошибка называется ошибкой второго рода, или «пропуском сигнала». Количественно ошиб­ ки первого и второго родов оцениваются условными вероятностями а и ~ ошибочных решений о наличии полезного сигналаt когда в дейст­ вительности он отсутствует, и об отсутствии сигнала, когда в действи­ тельности он имеется: а=р(УЕ V1/Хо) =Sw(У/х0)dY; V1 (8.27) Общая безусловная вероятность ошибочного решения определяется выражением (8.28) Критерий идеального наблюдателя минимизирует общую ошибку. определяемую выражением (8.28). 168
Следовательно, условие оптимального решения по критерию иде­ ального набл·юдателя имеет вид Рош=Р(хо)а+Р(Х1)~=МИН. (8.29) Подетавим в (8.28) из (8.27) значения ошибок первого и второг() родов Рош=р(х0)Jw(У/х0)dY+р(х1)SW(Y/xi)dY. (8.30) Vo Ошибку второго рода можно представить в виде ~=р(УЕV0 /X1 ) = 1- р(УЕv1/x1 ) = 1 - Sw (У/х1) dY. (8.31) Подставив из (8.31) в (8.30) значение ~, получим Рош=р(х1)- ~[р(х1)w(У/х1)- р(х0)w(У/х0)]dY. (8.32) Усл·овие (8.29) будет обеспечено, если интеграл в (8.32) будет мак­ симален. А для этого нужно так выбрать область v1 , чтобы подынте­ гральная функция была положительной, т. е. • р (х1) w (У/х1) - р (х0) w (У/хо)> О. (8.33) Условие (8.33) определяет принадлежность вектора У области v1, т. е. выбор гипотезы Н1 . Перепишем (8.33) в виде: если w(Y/xi) = л> Р(хо) =л0, то Х=х1; w (У /х0) р (х1) w (У /х1) Р(х0} 1 ТО если w(У/хо) ==л~ Р(х1) -== /\,о, Х=Хо• Таким образом, правила решения, соответствующие критериям идеального наблюдателя и максимума апостериорной вероятностиt совпадают. Отличие заключается лишь в исходных условиях. Критерий Неймаиа - Пирсона. Данный критерий основан на том~ что ошибки первого и второго родов не одинаково опасны, причем ошибка первого рода приводит к таким последствиям, что ее вероят­ ность необходимо ограничить некоторой очень малой величиной. Вторую ошибку желательно при этом обеспечить минимальной. Исходя из этого, критерий Неймана - Пирсона можно сформули• ровать следующим образом: наилучшим решением является такое, при котором обеспечивается наименьшая вероятность ошибки второго рода при заданной допустимой вероятности ошибки первого рода. Итак; •Согласно критерию Неймана - Пирсона должно быть обеспе-­ чено ~= Sw(У(х1)dY= мин (8.34) Vo при а= 5w(У/х0)dY = е, (8.35) rде е - наперед заданная величина. 169
Задача может быть решена методом Лагранжа отыскания условного экстремума. Для упрощения эадачи целесообразно перейти от многомерной пе­ ременной У к одномерной переменной л, что можно осуществить с по... мощью равенств: w (У/х1) dY = w (л/х1) dл; w (У/х0) dY = w (л/х0) dл. (8.36) При таком переходе областям v1и v0в пространстве V соответствуют ()бласти [О - л0] и [л0 - оо] значений 'А. Условные вероятности ошибок первого и второго родов будут при -этом представлены в виде C)Q а = Sw (У/х0) dY = Sw (Л/х0) dл,; (8.37) 01 Л.о Л.о ~ = sw(Y/x1 )dY = sw(Л/х1)dл,. (8.38) v. о Тогда для отыскания условного экстремума должна быть составле­ на вспомогательная функция • со л.0 F = Л. Jw (Л./х0) d'Л + Jw ('Л/х1) d/1,. to О дF Взяв ~роизводную д'ло и приравняв ее нулю, получим или Но иэ (8.36) и, следовательно, W (Ло/Х1) - лw (ло/Хо) = о, w (Ло/Х1) = Ло• w Сло/Хо) Таким образом, данный критерий будет справедлив при л = ':wo, где пороговое значение л0 определяется из равенства 00 а= Sw('А/х0)d'A. = в. 1о (8.39) Итак, правило принятия решения согласно критерию Неймана - Пирсона может быть записано в виде: 170 если w(У/xi) = л>л0, то Х=z Х1; W (У/х0) если ТО Х=Хо. (8.40)
Критерий минимального риска (критерий Байеса). Эгот критерий учитывает не только нерав·новерность ошибок первого и второго родов но и те последствия, к которым приводят эти ошибки. Для учета этих последствий введены весовые коэффициенты (коэффициенты цены оши­ бок) , 10 и , 01 , приписываемые .соответственно ошибкам первого и вто­ рого родов. Усредненная величина r='~оР(Хо)а+Го1Р(Х1)~ (8.41) получила название риска. В соответствии с критерием минимального риска правило выбора решения формулируется следующим образом: принимается та гипотеза, при которой обеспечивается минимальный риск: r=мин. (8.42) Представим, (8.41) в виде r = r10р(х0)1w(У/х0)dY +r01р(х1)Sw(У/х1)dY ""' v, ~ == r 01 p (х1) - S(r01 p (х1)·w (У/х1) - r 10р (х0) w (У/хо)] dY. (8.43) V1 Минимум выражения (8.43) будет при условии, если подынтегра­ льная функция положительная r01Р (Х1) W(У/Х1) - r 10Р (Хо) W (У/Хо)> О. Отсюда получаем следующее правило принятия решения: если W(У/Х1) __ 1\ > Г10Р(Хо) 1 ТО Х w (У /хо) I\J '01Р (х1) = л,о, :::;: Х1; если'w<~jx~ = Л,~ '10Р(хо~ =Ло, то.Х=Хо, W(Х '01Р (Х1 (8.44) Рассматриваемый критерий наиболее целесообразен экономически, так как обеспечивает минимизацию потерь, обуслоВJiенных ошибками в принятии решений. Но он требует максимальной априорной информации, ибо помимо функций распределения w (У/Х) и априорных вероятностей р (Х) •необходимо также знание весовых коэффициентов , 10 и '01• Минимаксный критерий. Минимаксный критерий представляет собой специальный случай критерия минимального риска, когда ап­ риорные вероятности р (х1 ) и р (х0) не заданы. Дело в том, что риск r, получающий наименьшее значение при ус­ ловии (8.44). зависит от априорных вероятностей р (х1) и р (х0). При определенном соотношении этих вероятностей, который мы называем наихудшим, риск r будет максимален. Идея минимаксного критерия заключается в том, что обеспечива­ ется минимум риска при наихудшем соотношении априорных вероят­ ностей. Для определения наихудшего соотношения между р (х1) и р (х0) не­ обходимо приравнять нулю производную от правой части (8.43) по , 171
м п.п 1. 2. 3. 4. 5. 6. Наименование критерия Максимум правдоподобия Максимум апостериорной роятности Идеальный наблюдатель Неймана - Пирсона Минимальный риск Минимако ве- Таблица 8.1 Пороговое значение отношения праадоподобия л0=1 Л - р(Хо) о- Р(х1) л,- р(Хо) О- р(Х1) л0 находится из условия 00 Sw ('},/х0) d'), = г ло Л _ Гtор(Хо) о- '01 Р (xi) 1• _ Г10Р*(Хо) АО- '01 р*(Х1) ' где р* (х0) и р* (х1) находятся из условия р (х1) (или пор (х0)). В результате получается трансцендентное уравне­ ниеt обеспечивающее максимум риска. Затем определяется пороговое значение отношения правдоподобия л.• _ '10Р* (хо) О - '01Р* (Х1) ' (8.45) где р* (х0) и р* (х1 ) - наиболее неблагоnриятные значения априорных дr вероят1-юстей р (х0) и_ р (х1), полученные из условия др (xi) = О. Таким образомt правило принятия решения для всех рассмотренных -критериев одинаково и сводится к сравнению отношения правдо­ подобия л. с пороговым значением л.0 • Отличие заключается лишь в величине л0 • Для наглядности значения л0 для отдельных критериев сведены в табл. 8.1. Так как величина л0 определяет границу между областями v1 и v0 пространства V, то каждый критерий определяет способ разбивки про­ странства принятого сигнала на области v1 и v0. Равенство : ~~j;:~ = Л0 определяет уравнение поверхности раздела областей v1 и v0 8.7. РАЗЛИЧЕНИЕ СИГНАЛОВ При различении сигналов имеет место многоальтернативная ситу­ ация, когда полезный сигнал Х может Рiметь много значений и прием­ ное устройство должно определить, какое именно значение из этого множества имеет место в действительности. Различение многих сигна- 172
лов в принципиальном отношении мало отличается от случая обнару­ жения сигнала, т. е. случая различения двух сигналов. В соответствии с этим методы многоальтернативных решений являются обобщением со- ответствующих методов двухальтернативных решений. • Пусть сигнал Х может иметь т возможных значений х1 , х2 , .• . , хт с аnриорными вероятностями р (х1), р (х2), •.. , р (хт) соответственно Х1-+ р (Х1); Х= Х2-+р(Х2); ... .... хт~ Р (хт)· При этом пространство сигнала V разбивается на т областей v1 , v2 , .... , vm, соответствующих принятию гипотез Н1 , Н2 , •.. , Нто том, что· Х=х1,Х==х2,.••, Х = Хт соответственно. Правила принятия реше­ ний и разбивка пространства V на области v1, v2 , •.. , vm могут произво­ диться в соответствии с любым из критериев, рассмотренных для слу­ чая двухальтернативной ситуации и обобщенных на случай многоаль­ тернативной ситуации. Процедура работы решающего устройства· приемника при различе­ нии сигналов следующая. По данным выборки У определяются функ­ ции правдоподобия L (х1) = w (У/х1), L (х2) = w (У/х2), .•• , L (хт) = w (У/х·) ~ w (У/хт) и вычисляются отношения правдоподобия 'Ан = w (У /х:) для всех возможных сочетаний пар х1 и х,. Сравниваются полученные значения отношений правдоподобия с пороговым значением и выбира­ ется такое значение сигнала х1 , для которого все Лtt > л.0 (i = I, 2, ... ... , т) .. Рассмо'трим в качестве примера случай, когда используется крите­ рий минимального риска. В случае многоальтернативной ситуации ошибка принятия решения заключается в том, что наблюдаемая выборка оказывается в области vk, в то время как в действительности сигнал Х имеет значение х1 . Цена ошибочных решений учитывается путем введения весовых коэффициентов r;k• Для заданного значения сигнала х1 средняя величина потерь за счет неправильных решений может быть оценена коэффициентом т т r1=t 'tkP (У Е vkfx1) = .t Гfk Iw (У/х1) dY, (8.46) k=1 k=l Vk где р (У Е v/xi) - условная вероятность попадания выборки У в 6бласть vk, если в действительности сигнал Х равен х1 " Величины r1 носят название условного риска. Усредняя условный риск по всем возможным значениям Х» получим средний риск т т·т r-= LР(х1),, = L Lр(х;)r;kP(УЕvk/xi) == /-=1 f=I k=l т т -= t ~р(х1)rJk ~ w(Ytx1)dY.. (8.47) /=1 k=I r.,k 173
Критерий минимального риска для случая мноrоальтернативной ситуации сводится к минимизации функции (8.47): r=мин. (8.48) Условие (8.48) определяет правила принятия решения, а также способ разбиения пространства принятого сигнала на области v1 , V2, ... , Vm. Рассуждая аналогично, как при выборе соотношения (8.44), можно показать, что реализация условия (8.48) дает следующую систему т неравенств, обеспечивающих принятие гипотезы Hk, что Х = xk [54]: т ~( ) р(xi)w(У/xl) >О (. l 2 ._J_k) r=. flJ- , lk р(xk)w(У/xk) 1=t • • •• t т.1-r- • (8.49) 8.8. ВОССТАИОВЛЕIШЕ СИГНАЛОВ Восстановление сигналов сводится к оценке некоторого числа неизвестных параметров полезного сигнала. Ограничимся рассмотре­ нием случая оценки одного из параметров сигнала, например амплиту­ ды В, при заданной форме сигнала. При этом помехи будем полагать аддитивными типа белого гауссова шума. Представим полезный сиг­ нал в виде х(t)=Bf(t), где f (t) - известная функция времени; В - параметр сигнала. Задача состоит в том, чтобы по принятой 'выборке У определить, каково значение параметра В в полезном сигнале Х. В отличие от случаев обнаружения и различения сигналов имеет место бесконечное множество возможных значений параметра В и соответственно бесконечное множествn гипотез. Методы, рассматривае­ мые в случае двуальтернативных и многоальтернативных ситуаций ► применимы и для задачи восстановления сигнала. Произведем оценку параметра В методом максимума правдоподобия. Если отсчет принято­ го сигнала производится в дискретные моменты времени, то функция правдоподобия для параметра В будет равна {t[У(t1) - Bf(tt)J2) L (В)== w (У/В)= ( v- 1 _ )пехр - /=t ~ . (8.50) 2ncrf 2е Задача состоит в том, чтобы найти такое значение параметра в. для которого функция правдоподобия максимальна. Максимуму функции правдоподобия соответствует минимальное значение показа­ теля степени в выражении (8.50) lп Ф(В) = -2 ~ [y(tt)-Bf (tt}]2 = . 2(J~ i==I l{n п п } = 2 q fIУ [/1)]2 - 2Вf IУI0f(t1)+В2f 1 [/(tt}]2 = мин. 174
Из условия минимума дФ(В) =О дВ имеем п п - 2~ у(t1)f(t1)+2В~ [f(ti)]2 =О, l=t l==I откуда получаем оценочное значение параметра п ~У(t1)f(t1) В*= _l_l__ _ п • ~ [/ (tt)]i l==l Рве. 8.8. Осуществив переход к непрерывному примеру, получим т sу(t)f(t)dt в* -о .==-т----- [и(t)J2dt т т ·fу(t)f(t)dt о и (8.51) (8.52) где Е0 = S[f (t)] 2 dt-удельная энергия сигнала (энергия_ сигнала при о амплитуде В= 1). . На рис. 8.8 приведена схема решающего устройства, осуществляю­ щего операцию оценки параметра сигнала. Устройство содержит генератор сигнала f (t), множительное звено МЗt осуществляющее ум­ ножение у (t) на f (t), и интегратор, производящий интегрирование произведения у (t) f (t). Для оценки точности восстановления сигнала используем критерий среднего квадратического отклонения. С этой целью в (8.52) принимае-· м:ый сигнал выразим в виде суммы у (t) = Bf (t) + ; (t). Тогда т т т В*=+f [/(/))2dt ++S6(t)f(t)dt = В++j6(t)f(t)dt. оо оо оо Погрешность восстановления т В*- В ""' ~о )6(t)f(/)dt. о Дисперсия погрешности а'- m11;~U~(t)f(t)dtП - 178
= m1 f----4- I·~ (t1) f (t1) dt1 I;(/2) f (t2) dt2\ = lЕоо о тт = ~ IIт1 {G (t1); (t2)} f <t1) f (t2) dt1dt2, Еооо Среднее от произведения ~ (t1) ~ (t 2) представляет корреляционную функцию помехи т1 {~ (t1) s(t2)} = Ke·(t) = Go~ (~), еде 00 - спектральная плотность помехи; д ('t) - дельта-функция; Тогда 't = i2-t1. тт а2= G~ fItЩ- t1) f(t1)f(t2) dt1dt2 == Еооо -=- G~ ff(11) [fб(t2 - t1; f(t2) dt2] dt1 = G~ f[f(t1)]2dt = ~о· . Еоо о . Еоо O• Следовательно, среднее квадратичное значение погрешности восста­ новления Va;; а= Е· о (8.53) Задача восстановления сигнала может быть также решена мето­ дом оптимальной фильтрации. В параграфе 8.5 . рассматривались -оптимальные фильтры, обеспечивающие при известной форме сигнала максимально возможное отношение амплитудного значения сигнала к действующему значению помех_и. Такие фильтры получили наименова­ ние согласованных (относительно формы сигнала), или фильтров Нор­ -са. Фильтры этого типа целесообразно использовать при решении задач различения или обнаружения сигналов. Максимизируя отношение сигнал/помеха даже ценой существен­ ного искажения формы сигнала, эти фильтры обеспечивают умень­ шение ошибок при различении или обцаружении сигналов. Однако при решении . задачи восстановления важное значение имеет обеспечение минимальной ошибки оценки параметров полезного сигнала. . Эта задача решается с помощью фильтров Колмогорова - Винера. Критерием оптимальности данных фильтров является получение ми­ нимальной средней квадратической ошибки воспроизведения сигналов. Эти фи.цьтры не только очищают сигнал от помехи, но и предсказывают -его значение на некоторое время вперед. В связи с этим их часто назы­ вают фильтрами сглаживания и предсказания. При реализации таких фильтров считается, что полезный сигнал является случайным процес­ сом с известными вероятностными характеристиками. Показано [29, 55J, что если на вход фильтра поступает сумма сиг­ налов и помехи, являющиеся стационарными случайными функциями.' 176
времени, то минимальная средняя квадратическая ошибка воспроиз­ ведения сигнала будет при условии, если функция передачи фильтра выражается соотношением к(.) Sx (jro) {• Т} Jffi = SxUш)+SG(jro) ехр Jffi ' (8.54) где Sx (jro) и S~ (jm) - спектральные плотности полезного сигнала и помехи; Т - время предсказания. При этом средняя квадратическая ошибка воспроизведения сигнала -. f soo Sx (jro) S'E. (jro) а=r о Sx(joo)+8~ Uoo) dro. (8.55) Отсюда видно, что идеальная фильтрация (а = О} возможна толь­ ко в том случае, когда SJt (jro) • S; (joo) = О, т. е. когда спектры сигнала и помехи не перекрываются. 8.9. ПРИМЕРЫ Пример 8.1. По каналу связи, в котором действует аддитивная ста-­ ционарная помехаJ передается периодическая последовательность пря­ моугольных импульсов. Параметры полезного сигнала:· величина Ах = = 2 В, период следования Тп = 100 мс. Помеха имеет нормальный закон распределения. Среднее квадратическое значение помехи а~ = = 5 В, математическое ожидание т~ = О. Обработка сигналов на при­ емной стороне осуществляется методом синхронного накопления. Определить время обработки сигналов, необходимое для обеспече­ ния повышения сигнала над помехой, в 4 раза. Ре~иение. Упрощенная схема приемника с синхронным накоплением представлена на рис. 8.9 . Усилитель приемника в исходном состоянии заперт. Строб-сигнал поступает синхронно с полезным сигналов и обес­ печивает отпирание приемника на время подачи полезного сигнала. Отношение сигнал/помеха на выходе накопителя в случае стацио­ нар ной помехи (___& _) = Vn~~Рх) Аs вых V\р; )вх' r де ( ;х ) - отношение мощностей сигнала и помехи на входе nри­ ~вх емника; п - количество отсчетов за время приема. В нашем случае (Рх) (Ах)2(2) 2 ~вх=~ =т.· Продолжительность обработки сигналов в приемнике Тпр=пТп = (1⁄4[х ( А.ж )2 Тп• 0, вх 12 5-1834 177
i{t) !lcu.111m1A1, 1-----.~ Нiжопитм1 .,_ -. Сmро!-сиенал Рис. 8.9. По условию задачи (~) -4 А, В61Х - • Тогда необходимое время на­ блюдения V 42 О~а !J Тор=(s2)2 ·0,1 =10с. Рис. 8.10. Пример 8.2 . Необходимо осуществить обнаружение · постоянного сиг~ала величиной а = 2 В на фоне аддитивной помехи с нормальным распределением и средним значением, равным нулю. Метод приема - однократный отсчет. Произвести синтез приемного устройстваt работа­ ющего на основе критерия максимума правдоподобия, и определить пороговый уровень. Решение. Так как по условию задачи помеха аддитива и выбор­ ка У представляет одномерную величину, то функции правдоподобия L (а) и L (О) определяются законом распределения помехи: L(а)= w(У/а)=у- 1 _ ехр {- (У -/> 2 }; (8.56) 2nai 2as L (О)= w(У/0) = -V2.__ ехр{- v: }. (8.57) 2nai 2cre Отношение правдоподобия при этом L (а) { (У-а) 2 - У2} {[У 1]} ')., = L(О)=ехр - 2а~ =ехруа-2 • а2 где у = ---г. а, Графики функций (8.56) - (8.58) приведены на рис. 8.10. (8.58) При использовании критерия максимума правдоподобия пороговое значение отношения правдоподобия л0 == 1. Тогда, приравняв (8.58) единице, получим условие для порогового значения входного сигнала Упор• откуда получаем Упор 1 а -т=О, 178
или а Упор= 2 = 1В. Таким образом, приемное устройство представляет собой устройство сравнения, сравнивающее входной сигнал с пороговым уровнем Упор, равным половине величины полезного сигнала. Если входной сигнал превышает пороговый уровень в IB, то выно­ сится решение, что во входном сигнале имеется полезный сигнал. Если же входной сигнал равен или меньше Упор, то выносится решение об отсутствии полезного сигнала. Пример 8.3. Решить предыдущую задачу для случая, когда исполь­ зуется критерий идеального наблюдателя и дополнительно известно, что отношение априорных вероятностей отсутствия и присутствия по- лезного сигнала в принятом ; [~ = 10 и среднее квадратическое зна­ чение помех s равно а~ = 0,5 В. Решение. При использовании критерия идеального наблюдателя пороговое значение отношения пр.Звдоподобия Л0 == Р ~о~ , , ра Тогда, приравняв правую часть (8.58) пороговому значению л0 , получим. следующее выражение для порогового уровня: Упар=а(+1пл0 +{)= 2[( 0 ; 5 ) 2 1nlo+-1⁄2-]=t,88 В. Пример 8.4. Решить задачу, приведенную в примере 8.2, для слу­ чая, когда используется критерий Неймана - Пир·сона и дополни­ тельно известно, что среднее квадратическое значение помех ai = 1,25 В и вероятность ошибки первого рода принятия решений не должна пре­ вышать величины в = 0,05. Решение. Искомое пороговое значение Упор можно определить из соотношения (8.39), если перейти от переменных л к переменным У: 00 а= j w(У/0)dY=е. Упор Подставляя из (8.57) выражение для плотности w (У/0), получим 00 а=S -•- ехр{- v: }dY =е. У V 2л:а~ 2а~ пор 1о / . у После замены v- = Z получаем уравнение для нахождения Упор: af 00 у~ iехр{-;}dz=+[1-2Ф(У;ар)J=в, Упор 1 О'~ rде Ф( У;;Р )-функция Лапласа. 12• 179
xft) Jj(t) !(f) Рис. 8.11. По условию задачи ( Упор ) 1 Ф ai =т-е=О,45. . По таблицам функций Ла• пласа находим Упор - ........... = 1t65, (J; откуда искомый пороговый уровень Упор= 1,65а~ = 1165 • 1,25 = 2,0Q В. Пример 8.5. [lЗJ. На вход приемного устройства поступает смесь, полезного гармонического сигнала х (t) = Asjn ro 0t с амплитудой А = = 0,4 В и аддитивной помехи, распределенной по нормальному закону с нулевым средним и средним квадратическим значением о~ = 0,2 В. Произведено два замера входного сигнала у (t) = х (t) + ~ (t) в мо- т ЗТ 2n, ментывремени/1 = -f-иta = Т (рис.8.11),гдеТ0= Шо _.- период сигнала х (t). Априорные вероятности значений х1 = О и х2 = А = = 0,4 В соответственно р (х1) = р (х2) = 0,5. Найти апостериорные вероятности значений х1 = О и х2 = А после указанных выше замеров. Решение. Искомые апостериорные вероятности значений могут быть определены по формуле Байеса (см. выражение (8.18)): у p(x1 )w(Y/x1 ) • Р(Xi/ )= р(х1)w(У/х1)+р(xJ w(У/х2) ' р (Х2) W (У/Х2) Р(x"JY) = р(х1)w(У/х1)+р(х1)w(У/х2) • Условная плотность вероятности выборки у1 = у (t1), у2 = у (t2) прих=х1=Оиприх =х2=Авпредположении,чтоотсчетыпомех ~ (t1) и ~ (t2) статистически независимы соответственно w(У~~2)= w(~: )w(~: ) (V~)2 ехр/-Й~У~1; W(uz 2 )=W(~:)W(~:)= 1 { (У1- А)2+(у2- А)2} - v- ехр - 2 • ( 2лоi) 2 2а~ . Следовательно, искомые апостериорные вероятности { Yi+Y~} ехр ------ О 2о~ р (У) = -e -xp__l _- - - Yi""""""/ -oi__y., . .-~ -i -+-ex_p _l ___( _Y _1- -A -)2_: _ai-(Y-2-=._-A-) -a -1 - :::2 180
ехр (- 1~63) - ехр (- 1,63) + ехр (- 0,626) = О, 2ВВ; { (У1- А)2+(у2- А)2 }• ехр - 2а2 P(i )=--1 -Y~i_+_Y~~j-+ _ _ _ 1·_____,;;~- 1 =-A-)2 _+_W_2 --A)_ 2_1 - ехр - ---- ехр - -------------- 2а~ . 2ai ехр (- 0,626) - ехр(-ltбЗ)+ехр(-0,626) =О,732• Пример 8.6 . [13]. Производится оценка амплитуды А -сигнала х (t) = А sin ro0t. Время набл'юдения ·Тпр= 2с // Т0 = ~. Найти, ка­ rоо ково должно быть среднее значение параметра Аср, чтобы относи­ тельная погрешность оценки А а Уа=~= 0,01. ер Помехи типа белого шума со спектральной плотностью С0 = ic:0,2 м82с. Решение. При Тпр// T0t Tnp = nT0, где п/1 1. Тогда энергия сигнала ~ т. ~ Ez = пS[Аsinroof]2dt= А2пjsin2roofdi = А2пS({-; cos2ro0t)dt = о о о . 1 А2Т =л2птТо= 2пр Абсолютная погрешность оценки параметра определяется по фор- v(Г · муле(8.53)а= + , о где Ех Тпр Ео=А2=-2- • Тогда а=V~; =V 2-20,2 = 0,447 мВ. Следовательно, А о 0.447 ер= - = 001 ~0,45мВ. '?а • Пример 8.7 . [48}. На вход оптимального фильтра Норса поступает сигнал прямоугольной формы длительности t'0 с амплитудой А (рис. 8.12). Необходимо определить передаточную функцию фильтра при условии, что в канале действует белый гауссов.шум. 181
,f(f) ,. l(f) !'OJHO&mНl,IU X(fJ Интеератьр ...... _ __.. . .. . ,. кflскьt! ~ 1 .... т, t лш1ш13оtJержки Рис. 8.12. Рис. 8.13. PeULeнue. Спектральная плотность сигнала 00 S"(jro)= f x(t)exp{-jrot}dt== -оо • 1'о =А~ ехр {-jrot} dt = - i1 (1 - ехр {-jют0 }). о Комплексно-сопряженная спектральная плотность s;(jro) :о::: j1 (ехр {jro'to\ - 1). Передаточная функция фильтра в соответствии с (8.11) К (jw) = ьs; (jro) ехр {-jroT} = ~А (1- ехр {-joot0}) .. J(J) ==: __;!... (1- ехр {- jroт0)}, /Ф гдеВ=ЬАТczт0. Такая передаточная функция реализуется схемой, состоящей и1 интегрирующей ячейки с коэффициентом передачи, равным -!! - , линии /Ю . задерж~и, задерживающей сигнал на время т0 , и разностного каскада (рис. 8. lЗ). Контрольные вопросы 1. В чем заключается сущность частотной фильтрации сигналов? 2. Как связано улучшение отношения сигнал/помеха при частотной фильтрации со временем обработки сигналов? 3. В чем заключается сущность метода накопления и в каких случаях целесооб• разно его применять? 4. Из каких соображений нужно выб,ирать интервалы между отсчетами при на­ копительном приеме? 5. Чем отличается метод интегрального приема от метода накопления и в каки~ случаях он целесообразен? • 6. За счет чего достигается увеличение отношения сигнал/помеха при примене- нии методов накопления и интегрального приема? . 7. В чем заключается сущность корреляционного метода приема и в каких слу­ чаях целесообразно его применять? 8. Из каких соображений выбирается время сдвига при корреляционном методе приема? 9. Какие фильтры называются согласованными? 10. Для выделения каких сигналов применяются фильтры Норса? 11. l(ак связана переходная функция фильтра Норса с входным сигналом? 12. В чем сущность аадачи проверки гипотез? 1S2
13. Что понимается под пространством наблюдения. пространством полеэн-ого сиг- нала и пространством помехи? 14. Что понимается под выборкой и объемом выборки? 15. Что такое функция правдоподобия и отношение правдоподобия? 16. Что такое ошибки первого и второго родов и как они количественно оценива- ются? 17. Как количественно оценивается полная ошибка принятия решения? 18. Как зависят ошибки первого и второго родов от порогового уровня? 19. В чем· состоит сущность задачи обнаружения сигнала? 20. В чем заключается сущность критерия максимума правдоподобия и каковы его достоинства? , 21. В чем заключается сущность критерия максимума апостериорной вероятности и каковы его преимущества перед критерием максимума правдоподобия? 22. В чем заключается сущность критерия идеального наблюдателя? 23. В чем заключается отличие критерия идеального наблюдателя от критерия максимума апостериорной вероятности; что общего у этих критериев? 24. В чем заключается сущность критерия Неймана-Пирсона и в каких случая~ целесообразно этот критерий применять? 25. Что понима~тся под риском? 26. В чем заключается сущность критерия минимального риска? 27. В чем заключается сущность минимаксного критерия? 28. В чем состоит сущность задачи различения сигналов? 29. Что понимается под идеальным приемником? 30. В чем заключается сущность задачи восстановления сигналов? 31. Что понимается под фильтрами Комогорова-Винера? / 32. В каких случаях возможна идеальная фильтрация с помощью фильтров ~ Кол• моrорова-Винера? Глава 9. ЭФФЕКТИВНОСТЬ ___ ИНФОРМАЦИОННЫХ СИСТЕМ _______ 9.1. КРИТЕРИИ ОЦЕНКИ ЭФФЕКТИВНОСТИ ИВФОРМАЦИОННЪIХ СИСТЕМ f Эффективность информационной системы характеризует ее спо­ собность обеспечить данное количество информации с наименьшими затратами времени, полосы частот и мощности сигнала, затратами на обслуживание и т. д. Одним из показателей эффективности системы может служить ее быстродействие, т. е. скорость передачи информации. Для сравнительной оценки эффективности различных систем ис­ пользуется критерий «удельной скорости» передачи информации. т. е. отношение скорости передачи информации к полосе частот занимае­ мой в канале связи Iт lт R ==Та= FcTc ' (9•t) где Т0 - вр·емя передачи сигнала; lт - количество информации, пере­ даваемой за время те. В тех случаях, когда мощность передатчика жестко -ограничена (например, в системах космической связи), в качестве критерия эффек­ тивности применяется коэффициент использования мощности сигнала lт ~=р , (9.2) -js1L FcTo i 183
Таблица 9.1 Вид связи 1 1дв.ед 1 'V с Телеграф Морзе в-102 0,45 Телеграф Бодо 80 0,45 Фототелеграф 2,2. 104 0,68 Телефон импульсный 5,6-104 .0,79 Телевидение 5,9-107 0,72 где Р/ Pg - отношение мощности сигнала к мощности помехи в .канале передачи информации. Коэффициент ~ играет большую роль при сравнительной оценке и энергетическом расчете радиоканалов с очень большими потоками ин­ формации. Он показывает, во сколько раз средняя мощность сигнала должна превышать среднюю мощность помех для обеспечения заданной скорости передачи информации на 1 Гц полосы частот, занимаемой в ка­ нале связи. Часто эффективность информационных систем характеризуют коэф­ фициентом lт V=------ p• FcTc log1 Ру а (9.3) получившим название удельной содержательности сигнала, определя­ ющим количество информации в единице объема сигнала. _В табл. 9.1 приведены типовые значения скорости передачи инфор­ мации и удельной содержательности сигнала для наиболее распростра­ ненных видов связи [56]. Как видно из таблицы, наибольшим быстродействием из приведен• ных в ней систем передачи информации обладает телевидение, но наи• более экономичной системой является телефон. 9.2. СПОСОБЫ ПОВЫШЕIШЯ ЭФФЕКТИВНОСТИ ИНФОРМАЦИОННЬIХ СИСТЕМ Как видно из выражений (9.1) - (9.3), при наложении ограничений на физичес}(ие параметры сигнала (мощность, частоту, длительность) эффективность систем может быть повыше_на за счет увеличения скоро­ сти передачи информации, т. е. для повышения эффективности системы передачи информации необходимо повышать энтропию сообщений. Энтропия сообщений зависит от закона распределения вероятностей. Следовательно, для повышения эффективности необходимо осущест­ вить перераспределение плотностей элементов сообщения. Известно также, что при наличии корреляционных связей между элементами сообщений энтропия последних уменьшается. Поэтому по­ вышение эффективности информационных систем можно также полу­ чить за счет устранения или ослабления взаимосвязей между элемент·а­ ми сообщений, т. е. за счет декорреляции сообщений. 184
Наконец, повышение эффективности систем можно получить за счет соответствующего выбора способа кодирования, обеспечивающе­ го экономию во времени при передаче сообщений. Очевидно, наиболь­ шую эффективность системы даст код, при котором среднее количество кодовых символов, приходящееся на один элемент сообщения, будет минимальным. Такой код называют эффективным. Взаимные связи, существующие между .отдельными сообщениями, позволяют по данным наблюдений за предыдущими сообщениями пред­ сказывать последующие сообщения. Тогда, вычитая из предсказанного сообщения истинное, можно в линию посылать полученную разность (сигнал ошибки). Разностный сигнал несет по существу те новые све­ дения, которые не могли быть получены ранее по известным корреля­ ционным связям между сообщениями. Поскольку среднее значение сигнала ошибки меньше среднего значения сигнала, то такой способ позволяет уменьшить объем сигнала, -а следовательно, увеличить эффективность системы. Выбор того или иного способа повышения эффективности систем из известных должен производиться с учетом сложности его технической реализации, а также с учетом обеспечения необходимой помехоустой-­ чивости систем. Рассмотрим более детально некоторые наиболее широко известные способы повышения эффективности систем передачи информаций. 9.3. ПЕРЕРАСПРЕДЕЛЕНИЕ ПЛОТНОСТЕЙ ВЕРОЯТНОСТЕЙ ЭЛЕМЕНТОВ СООБЩЕIШЯ Ранее отмечалось, что наибольшей энтропией обл.адают сообщения при равновероятном и независимом _появлении _их элементов. ·одна­ ко вывод был сделан без учета энергетических характеристик сигнала. Более полное рассмотрение этого вопроса показалоJ что при нало-­ жении ограничений на мощность сигнала максимум энтропии дает сим­ метричное нормальное распределение. Поэтому в реальных системах передачи информации целесообразно применять распределение, при­ ближающееся к нормальному. Спедовательно, если источник вырабаты­ вает сообщения с распределением элементов, отличным от нормального, . x(t} х Рис. 9.1. 185
!!=l(x) ~ . !J '= :, ~- ..... -.... 1,--- 11: 1 .1 1l..r х W(x)I Рис. 9.2. то в целях лучшего использования канала передачи информации необ­ ходимо это распределение изменить так, чтобы оно приблизилось к нор­ мальному закону. В общем случае изменение закона распределения возможно лишь за счет нелинейных W/UJ преобразований передаваемого со- общения. Сущность такого пре­ образования рассмотрим на кон­ кретном примере, описанном в [57) и иллюстрируемом на рис. 9.1. Сигнал х, характеризуемый плот­ ностью распределения вероятностей w (х) и подлежащий преобразо­ ванию, подается на отклоняющие пластины электронно-лучевой труб­ ки. Функции нелинейного преобразователя выполняет помещаемая пе­ ред экраном трубки маска М с переменной прозрачностью, закон изме­ нения которой описывается нелинейной функцией f (х) (рис. 9.2). Световой поток Ф, проходящий через маску, находится в нелиней­ ной зависимости от х (9.4) где k1 - коэффициент пропорциональности. С помощью специальной фокусирующей системы Фе потокФ попа­ дает на фотоэлемент (ФЭ), ток которого пропорционален этому потоку 1=k2Ф=k1k2f(х)=kf(х). (9.5) • Следовательно, если раньше вероятность уровня х определялась плотностью w (х), то теперь та же плотность отвечает уровню у а.: == f (Х). Таким образом. ток на выходе фотоэлемента представляет собой новый сигнал с преобразованным распределением вероятностей w (у). Установим зависимость между плотностями распределения веро­ ятностей входного и выходного сигналов преобразователя. Из рис. 9.2 видно. что вероятность попадания входного сигнала х в интервал dx равна вероятности попадания выходного сигнала у в ин­ тервал dy, т. е. w(у)dy. = w(х)dx, (9.6) где w (у) - плотность распределения вероятностей выходного сигна­ ла у. Функции (9.5) соответствует обратная функция Х=Г 1 (у), (9. 7) тогда d (/-1 (у)] dx == dy dy. (9.8) Подставляя (9. 7) и (9.8) в (9.6), найдем w(у)dy = w[f-1(у)] d [!~~(у)) dy, t86
откуда w(у)=wu-1(y)Jdu-1<и>J . dy (9.9) Очевидно, сигнал на выходе передающего устройства будет искажен вследствие прохождения его через нелинейный четырехполюсни_к, • поэтому в приемном устройстве полученный. сигнал необходимо под­ вергнуть обратной операции. 9.4. ДЕКОРРЕЛЯЦИЯ СООБЩЕIШЙ Известно несколько способов декорреляции сообщений: метод укрупнения, метод предсказания и др. Эти способы подробно изло- жены в литературе [33, 56, 57, 58, 59]. • Рассмотрим в качестве примера сущно~ть метода укрупнения. Идея декорреляции методом укрупнения заключается в следую­ щем. Сигнал разбивается не на отдельные элементы, а на отрезки (полиграммы), каждый из которых содержит группу элементов. Эrи отрезки рассматриваются как элементы нового сигнала. При этом оказывается, что взаимосвязь между укрупненными элементами будет слабее, чем между элементами у исходного сигнала. Декорреляция сигналов тем значительнее, чем большее количество злементов включено в полиграммы. При укрупнении сигнала кодированию подвергаются не отдель­ ные элементы. а их группы, т. е. осуществляется переход к коду с бо­ лее высоким основанием (9.10) где m1 - первоначальное основание кода; г - число элементов в по-. лиграмме; т 2 - новое основание кода. Энтропия, как известно, обладает важным свойством аддитивности. Переход к укрупненным элементам кода обеспечивает увеличение сред­ него значения энтропии на элемент сообщения в r раз, так как среднее значение энтропии на полиграмму равно сумме средних значений эн" тропии на элемент полиграммы. Как при этом изменится избыточность сообщений? Если среднюю энтропию на элемент исходного сообщения принять равной h1 , то после укрупнения средняя энтропия на элемент будет равна h2 = rh 1. Максимальная энтропия сообщения с укрупненными элементами H2max = log2N2 = r Jog2N1 = rH1max, где N2 _:_ объем укрупненного алфавита; N1 - объем первичного ал­ фавита; H1max - максимальная энтропия первич~оrо сообщения. Избыточность сообщения с укрупненными элементами kн2=l- н, =1- Н1. =kи1, (9.11) 82max 81max где k81 - избыточность первичного сообщения. Выражение (9.ll) показывает, что укрупнение элементов не обеспе­ чивает уменьшения избыточности сообщений. Это объясняется тем, что 18-7
x{f) IРЭ y(t Рис. 9.3. при укрупнении элементов уменьшение избыточности за счет ослабле­ ния связей между элементами компенсируется увеличением избыточнос­ ти за счет более неравномерного распределения вероятностей элементов [45]. Поэтому для полного устранения избыточности укрупнение эле­ ментов должно сочетаться с использованием оптимального статистиче­ ского кода для кодирования укрупненного алфавита или других мер, обеспечивающих перераспределение вероятностей элементов сообще- ., нии. В книге [59] описано устройствоt совмещающее в себе функции формирования укрупненного сигнала и перераспределения верqятно• •стей. В устройстве учитываются лишь взаимосвязи двух соседних эле­ ментов исходного сигнала. Схема этого устройства изображена на рис. 9.3. Исходный сигнал подается на вертикально отклоняющие пл~стины электронно-лучевой трубки, а на горизонтально отклоняющие пласти­ ны поступает тот же сигнал, задержанный линией задержки ЛЗ на вре­ мяt равное длительности одного элемента. Луч трубки в этом случае отклоняется по горизонтали на величину t пропорциональную значению предшествующего элемента, а по вертикали - на величину, пропор­ циональную значению данного элемента. Положение луча на экране трубки определяется, таким образом, парой элементов 11 и 11. Закон распределения прозрачности маски М, расположенной перед экраном трубки, выбран так, чтобы обеспечивался нормальный закон распределения вероятностей светового потока, поступающего через маску и фокусирующую систему ФС на фотоэлемент ФЭ. Следователь­ но, ток фотоэлемента будет соответствовать укрупненному сигналу с нормальным законом распределения вероятностей. 9.5. ОПТИМАЛЬНОЕ СТАТИСТИЧЕСКОЕ КОДИРОВАНИЕ Оптимальное статистическое кодирование обеспечивает миними­ зацию среднего количества кодовых символов на один элемент сооб­ щения. Эгим обеспечивается получение максимально возможного ко­ личества информации, передаваемого кодовыми комбинациями при 188
заданной длительности работы канала, а следовательно, и пропуск­ ной способности канала. Предположим, что кодирующее устройство может формировать т различных кодовых комбинаций с длительностями t1 , t2, ••• , tm. Задача состоит в том, чтобы установить такую зависимость между длительностями кодовых комбинаций t1 и вероятностями их поступле­ ния Р1 , при которой обеспечивается максимум скорости передачи ин­ формации. Пусть для передачи сообщения длительностью Т необходимо N кодовых комбинаций. Тогда должны быть справедливы следующие равенства: (9.12) т Т=L nttt; i=l (9.13) т ~Pt=1; (9.14) l=l т Т=NLPtiJ, (9.15) • i=l где ni - среднее количество i-x кодовых комбинаций, используемых при передаче сообщений. Полное количество информации, содержащееся в сообщении дли­ тельностью Т при независимости появления его элементов т I= -N~ Ptlog2Pt· {с:t (9.16) Поставленная задача сводится к обеспечению максимума коли­ чества информации / соответствующим выбором величин N и Pt при соблюдении условий (9.14) и (9.15). Задача может быть решена методом неопределенных множителей Лагранжа [11 ]. В соответствии с этим .методом составим новую функ­ цию F= - N ~1 Pllog2Pl+Л.1(1- ~1 Р1) +Л.2(т-N ~! Pi1). Определим максимум этой функции, для чего найдем предваритель­ но ее частные производные по N и PJ и приравняем их к нулю дF т . n;. дN= - ~Pt1og2Pt-л2LPti1=О, i=l i~t дF ( 1) дрt=- Nlog2Pt+ln2 -л1 - л2Nti=О. (i=1,2, ... , m). Из второго уравнения найдем Л· 1 log2P1=- N 1 -л2ti-1n2, (i= 1, 2, .... , m) (9.17) 189
и, подставив это выражение в первое уравнение, будем иметь • откуда т(л 1) ~Pt _ _!_ __ =0, ical N ln2 N A1=--- In2 • Подставив найденное значение л1 в (9.17), получим log2Pl= - л2il(i=1,2, ..., т), откуда 2-л2t• (. 1 2 ) (9 18) Р1= t t=''...'т. • Выражение (9.18) показывает характер зависимости между дли­ тельностями кодовых комбинаций и вероятностями их появления при оптимальном кодиро-вании. Из выражения видно, что кодовые комбинации с малой вероятностью появления должны иметь большую длительность и наоборот. Для уяснения физического смысла коэффициента л2 подставим (9.18) в (9.16) .. Так как условие (9.18) определяет условие максимиза­ ции количества передаваемой информации за заданное время Т, то получим т т -N~ Pt(-'лit) =N'л2~ Ptft = л2Т = lmax, 1~1 t~t откуда 1max л2= т =с, т. е. коэффициент л2 численно равен пропускной способности канала передачи И!fформации. Таким образом, Pi=2-ctl (. }2 ) t=' , ...• т, (9.19) где (i=1,2, ..., т). (9.20) Выражения (9.19) и (9.20) определяют условие согласования работы кодирующего устройства со статистическими свойствами передава­ емых сообщений, обеспечивающее передачу информации по каналу • со скоростью, практически равной его пропускной способности. В настоящее время разработано большое количество различных способов оптимального статистического кодирования. Все они должны обеспечивать решение двух основных задач: 1) при заданной статистике источника сообщений формирование кодовых комбинаций со статистичес.кими характеристиками, при ко­ торых достигается приближение скорости передачи информации к пропускной способности канала; 190
2) возможность однозначного декодирования сигналов на прием­ ной стороне. Для двоичного канала с отсутствием статистических связей между символами этим требованиям удовлетворяет код Шеннона-Фано. Известно, что при отсутствии статистических связей между сим­ волами скорость передачи информации будет максимальна при усло­ вии равной вероятности передачи символов О и 1. В соответствии с этим построение кода Шеннона-Фано процзводится методом дихото­ мий (последовательного деления пополам). Все подлежащие кодиро­ ванию символы сообщения разбиваются на две группы так, чтобы суммы вероятностей п·оявления элементов сообщений в каждой группе были бы по возможности одинаковы. В результате такого разбиения как бы образовано новое сообще­ ние, состоящее всего иs двух элементов, вероятности появления ко­ торых примерно одинаковы. Всем символам первой группы приписы­ вается О и .~сем символам второй группы -1. Каждая из полученных групп затем разбивается на две подгруппы с одинаковыми суммар­ ными вероятностями и т. д. Процесс деления повторяется до тех пор, " пока в каждои подгруппе остается ПQ одному символу. Методика построения кода Шеннона - Фана для случая переда­ чи четырех символов сообщения t вероятностями р (х1) = 0,5; р (х2) = = 0,25; р (х3) = О, 125; р (х4) = О, 125 иллюстрируется табл. 9.2 . Для удобства построения все символы сообщения выписываются в табли­ цу в порядке убывания вероятностей. При разбиении верхним поло­ винам групп приписывается символ О и нижним - символ 1. Как видно из табл. 9.2, полученный код является неравномерным. так как длина кодовых комбинаций находится в обратной зависимо­ сти от их вероятностей. Для любой позиции всей совокупности кодо­ вых комбинаций вероятности передачи О и 1 одинаковы. Помимо тorot из таблицы видно, что ни одна из кодовых комбина­ ций не является началом другой. Этим обеспечивается требование разделимости кодовых комбинаций, т. е. возможность однозначного декодирования сигналов. Подсчитаем скорость передачи информации, которая обеспечивает­ ся полученным кодом. Пусть длительность символов кодовых комбинаций равна ,;. Тогда средняя длительность кодовых комбинаций Таблица 9.2 Символы Вероятности Этапы деления на подгруппы Символы кодовых комбинаций сообщения 1 1 1 1 1 r 1 2 3 4 1 2 3 4 Xt о.5 }1 о х. О.25 }II }1 1 о Хэ 0,125 }l1 1 1 о Х4 0,125 II 11 1 1 1 191
Средняя энтропия на символ сообщения 4 Н(Х)= - ~ р(xt)log2р(xL)= l75 дв. ед i=l ' сообщ • Таким образом, скорость передачи информации i(X) = _1=Сдв.ед . '( с С:.Ледовательно, полученный код в рассматриваемом случае по­ зволил получить максимально возможное значение скорости переда­ чи информации, ·т. е. обеспечить полное согласование статистических характеристик источника сообщений со сво_йствами канала. Это удалось благодаря тому, что в рассмотренном примере значения ве­ роятностей р (х,) выбраны такими, что условия деления на подгруппы удается выполнить точно. В реальных условиях это, как правило, не обеспечивается и скорость передачи информации будет меньше про­ пускной способности канала" Эффективность кодирования может быть при необходимости уве­ личена путем перехода от кодирования одиночных символов сообще­ ния к кодированию групп символов, причем с укрупнением групп эффективность будет повышаться. Повышение эффективности· проис­ ходит при этом за счет того, что при укрупнении групп получающийся набор вероятностей можно делить на более близкие по суммарной ве­ роятности подгруппы. Методика построения кода Шеннона - Фана путем кодирования групп символов сообщения иллюстрируется примером 9.4 . 9.6. ПРИМЕРЫ Пример 9.1 (из [60]). Плотность распределения вероятностей сиг­ нала описывается законом {ехр {- х}, w(x) = 0, при х>О; при х<О. Сигнал пропускается через нелинейный преобразователь с харак­ теристикой вида у=f(х)= 1v;,. . Найти плотность распределения вероятностей выходного сигнала преобразователя. Решение. Для определения закона распределения выходного сигнала воспользуемся соотношением (9.9). Обратная функция преобра·зователя Х= ,--1 (у) =у4, производная этой функции 192 d [Г1 (у)] --- =4уз. dy
Тогда искомая функция распределения w(у) = w!Г'(у)] dи;'(y)I = 4ехр1-у4}уз. Пример 9.2. По каналу необходимо передавать сообщение, форми­ руемое из независимых символов с вероятностями появления, оп­ ределяемыми табл. 9.3. Канал расс~итан на передачу элементов сообщения со средней длительностью 't = 1 мс. Требуется построить оптимальный код с время-импульсной мо- дуляцией. Реш,ение. Код будем строить на основании зависимости (9.20). Пропускную способность канала определяем_ из отношения (7.12). Средняя скорость передачи символов сигнала по условию задачи и= _1=1ОООСИМВ• у ,; с Тогда пропускная способность канала С=UIIlog2п = 1000log210=3320 дв~ед Данные расчета оптимального кода сведены в табл. 9.4 . Пример 9.3 . (из [13]). По каналу необходимо передать сообщение, формируемое из 3-х независимых символов с вероятностями появле­ ния, определяемыми табл. 9.5. Канал обладает полосой пропускания, допускающей передачу кодовых комбинаций с длительностью символов 't = 1 мс. Определить скорость передачи информации по каналу при исполь­ зовании: а) равномерного двоичного кода; б) кода Шеннона - Фано при кодировании отдельных символов сообщений; Таблица 9.3 Символы Х1 Х2 Хз Х4 Х5 Хв х, Хв Х9 Х]о Вероятность 0,25 0,20 0,15 0,15 0,10 0,05 0,05 0,03 0101 0,01 1 1 Таблица 9.4 Символы Х1 Х2 Хз Х4 Х5 х6 Х7 Хэ Хо Х10 - - .log р (xi) ) 2,00 2,32 2,75 2,74 3,32 4,32 4,32 5,06 6,64 6,64 i{, мс 0,602 0,698 0,827 0,8271 1,0 l 1,3 1 1,3 1,52 2,0 2,0 t 13 5-1834 193
в) кода Шеннона - Фана при кодировании групп из двух симво­ лов сообщения. Решение. а) длина (количество разрядов) п-равномерноrо двоич­ ного кода определяется из отношения п= 1og2т, где т - число элементов сообщения. При т = 3 длина кода должна быть равна п == 2. Возможные варианты кодовых комбинаций представлены в табл. 9.6. Длительности кодовых комбинаций Т=2't=2мс. Энтропия сообщения 3 Н(Х)= - }: р(xl)log2р(xi) .. i=l ==- 0,21og2 0,2- 0,7 log2 0,7 -0,l log2 О, 1 :а.:: 11 16 11/!· 0 М• Скорость передачи информации при использовании равномерного ДВОИЧНОГО кода /(Х) = Н(Х) = 1,16 =SBOдв.ед. т 2.10-з с ' б) построение- кода Шеннона - Фана с кодированием отдельных символов сообщения производится в соответствии с методикой, изло• женной в п. 9.5, и иллюстрируется табл. 9.7 . Средняя длительность кодовых комбинаций при .!ТОМ 3 Т=}:р(ХдТе=0,7 · }Q-З+0,22 •10- 3 +0,1 •2 •10- 3 ) =- 1300 МКС. i=I Скорость передачи информации 1(Х) - 1, 16 = 890дв.ед. - 1300 , 10-б с в) для построения кода Шеннона - Фана с кодированием групл из двух символов сообщения вычисляем вероятности отдельных групп по формуле р (xixi) = р (х1 ) р (xj), рассматриваем в дальнейшем полученные группы как символы нового сообщения и производим ко­ дирование по методике пункта (б). Построе~ие кода иллюстрируется табл. 9.8. Таблица 9.5 Таблица 9.6 Символы Символ сообщения \ I<од Х1 Xg Хз Xi 00 Х2 01 Вероятность 0,2 0,7 О,1 Х3 10 194
Таблица 9.7 Символ Вероятности Деление на Код Длительность кодо- с.оо6щепий подгруппы вых комбинаций Х1 0,7 }1 о 't Х2 0,2 }11 J I ]О 2,; Хз Otl 11 11 2't Таблица 9.8 Длитель- Группы - Вероят• ность символов ность Деление на подгруппы Код кодовой комбина- цwм Х2 Х2 0,49 }J о ,; Х1 Х2 0,14 }I l1: 100 3-r Х2 Х1 0,14 101 Зt Х2 Хз 0,07 }I J11 1100 4-& Хз Х2 0,07 ►п 1101 Фt Х1 Х1 0,04 jп1 1110 4т Х1 Хз 0,02 )11 }11 1 11110 5't Хз Х1 0,02 11 1 111110 6-r Хз Хз OtOl II 111111 бt \ СреJtняя длительность кодовых комбинаций Т=О,49~+2•0,14 •З't+2•0,07•4~+0,04•4~+ +0,02•5i-+0,02•6,;+0101 •6t= 11165 мс. Скорость передачи информации 7(Х) - 1' 16 =995дв.ед• - 1165•10-3 с ' Пропускная способность двоичного канала С=-1 = 1000 дв. ед 't с Таким образом, в случае (в) обеспечивается наибольшее прибли­ жение скорости передачи информации к пропускной способности ка­ нала. Контрольные вопрось~ 1. Что понимается под эффективностью системы передачи информации и какими показателями она характеризуется? 2. Как зависит эффективность системы передачи информации от избыточности сообщений? _ 3. В чем сущность метода повышения эффективности систем за счет перераспреде• пения плотностей вероятностей элементов сообщения? - 4. Как влияет корреляция между элементами сообщений на эффективность систе­ мы передачи информации? 5. В чем состоит суть метода укрупнения? 13* 195
6. В чем состоит суть оптимального статистического кодирования? 7. Каким основным требованиям должны удовлетворять оптимальные статисти• ческие коды? 8. Объясните методику построения кода Шеннона--Фано. Глава 10. ПОМЕХОУСТОПЧИВОСТЬ ИНФОРМАЦИОННЫХ СИСТЕМ _____~- - 10.1. ОБЩАЯ ХАРАКТЕРИСТИКА ПОМЕХ В СИСТЕМАХ ПЕРЕДАЧИ ИНФОРМАЦИИ Под помехами понимаются любые возмущения в канале передачи информации, вызывающие случайные отклонения принятого сообще­ ния от переданного [8]. Помехи обычно классифицируются по месту их возникновения, по -статистическим свойствам и по характеру воз­ действия на полезный сигнал. По месту возникновения помехи можно разделить на внешние и внутренние. К внешним помехам относятся помехи, источники кото­ рых находятся вне системы передачи информации. Сюда можно от­ нести: 1) атмосферные помехи (вызванные грозовыми разрядами); 2) космические •помехи, вызванные радиоизлучением Солнца и других небесных тел; 3) промышленные помехи, обусловленные работой различных электрических устройств и агрегатов. Внутренние помехи возникают в самой аппаратуре системы пе­ редачи информации. К ним можно отнести помехи в виде тепловых шумов электронных ламп, полупроводниковых приборов, со про" тивлений и других элементов;. помехи, вызванные изменением пара­ метров линий связи, влиянием линий друг на друга, а также за счет кратковременных разрывов связи; помехи, возникающие при преоб­ разовании сигналов в отдельных элементах системь1 (шумы кванто­ вания, искажения сигналов за счет ограниченного значения полосы пропускания элементов, за счет нелинейности характеристик пре­ образования); помехи, обусловленные нестабильностью элементов аппаратуры, а также аппаратурные искажения, вызванные техничес­ кой неисправностью или недостаточно точной настройкой аппаратуры. По своим свойствам помехи могут быть детерминированными и случайными. Защита против детерминированных помех не вызывает особых затруднений. В дальнейшем рассмотрим только случайные помехи. Все случайные помехи можно объединить в три группы: 1) импульсные; 2) флюктуационные; 3) синусоидальные. Импульсные помехи представляют в общем случае последователь­ ность импульсов произвольной формы со случайными амплитудой, длительностью и моментом появления. Характерной особенностью импульсных помех является то, что переходные процессы, вызванные 196
в аппаратуре каким-либо импульсом, успевают практически затухнуть до появления· следующего импульса. Характерными примерами импульсных помех являются помехи от грозовых разрядов, от системы зажигания двигателей внутреннего сгорания, помехи, связанные с коммутационными процессами и т. п. Флуктуационные помехи представляют собой совокупность боль­ шого числа кратковременных нерегулярных импульсов со случай­ ными параметрами. Переходные проuессы от воздействия отдельных импульсов, накладываясь друг на друга, образую~ непрерывный слу­ чайный проuесс. Характерной особенностью этих помех является отсутствие выбросов, превышающих• средний уровень более чем в три-четыре раза [25, 61 ]. Так как длительность переходного процесса определяется полосой пропускания канала передачи информации, то и характер помех за­ висит от ширины полосы канала. Одна и та же помеха может быть импульсной для широкополосной и флюктуационной для узкополос-­ ной системы. Флуктуационные помехи предста~ляют собой обычно белый шум, гауссов шум или белый гауссов шум. Последний характерен как своей распространенностью, так и тем, что он принципиально не может быть устранен. К таким помехам можно отнести: 1) тепловые шумы сопротивлений и полупроводниковых приборов, дробовый эффект электронных ламп; 2) космические помехи; 3) атмосферные помехи в диапазоне коротких волн и пр. Синусоидальные помехи представляют собой синусоидальные ко- лебания со случайно изменяющимися амплитудой, фазой и частотой. Эти помехи характеризуются медленным изменением параметров, вследствии чего ширина спектра модулирующей функции синусои­ дальной помехи оказывается практически малой по сравнению с по" ласой пропускания канала. В качестве источников синусоидальных помех могут быть посто­ ронние радиоустановки, генераторы переменного тока и пр. По характеру воздействия на полезный сигнал помехи подразде­ ляют на аддитивные и мультипликативные. Аддитивная помеха - это помеха, представляемая не зависящим от сигнала случайным слагаемым. Аддитивную помеху называют иногда «шумом». Мульти­ пликативная помеха - это помеха, представляемая не завfiсящим от сигнала случайным множителем [8, с 12]. Подавляющая часть встречающихся на практике помех принадлежит к группе аддитивных помех. Характерным примером мультипликативной помехи является ис­ кажение сигнала за счет случайных изменений характеристик ка­ нала передачи информации. Все случайные помехи представляют собой случайный процесс и описываются с помощью функций распределения вероятностей или числовых характеристик в виде моментов распределения. 197
10.2. КРИТЕРИИ ОЦЕНКИ ПОМВХОУСТОRЧИВОСТИ _ ИНФО РМАЦИ ОIIНЪI Х СИСТЕМ Помехоустойчивость определена в первой главе как способность информационной системы противостоять вредному действию помех. В результате действия помех принятое сообщение будет в какой-то мере отличаться от переданного. Поэтому помехоустойчивость можно характеризовать как степень соответствия принятого сообщения переданному при заданной помехе. При сравнении нескольких систем та из них будет более помехоустойчивой, которая при одинаковой помехе обеспечит меньшее различие между принятым и переданным сообщениями. Для характеристики степени соответствия принятого сообщения переданному введен термин «верность» [29]. Количественная мера этого соответствия выбирается по-разному в зависимости от харак-­ тера сообщений. При передаче непрерывных сообщений часто в ~ачестве крите­ рия верности используется критерий среднего квадратическоrо от­ клонения принятого сообщения У (t) относительно переданного Х (t) и=VIv(t)-_х(t)1 2 • ( 10.1) Применяются также критерий абсолютного отклонения Вабс= 1У(t)- Х(t)1 (10.2) и критерий наибольшего отклонения дmахr::::шахIУ(t)- Х(t)1· ( 10.3) Обычно для удобства сравнительной оценки помехоустойчивости различных систем рассматриваются относительные отк~онения а 'Уа== Хэ ; 'Уабс == или приведенные отклонения 'Ушах -=i:: (10.4) а 6абе . бmах аа-= Lx; сtабс~ Lx , amax-== Lx (10.5) где Хэ - эффективное значение сообщения; Lx - динамический ди­ апазон передаваемых сообщений. Если предположить, что канал передачи информации имеет иде­ альную П-образную амплитудно-частотную и линейную фазо--частот­ ную характеристики, то при наличии флюктуационной помехи типа белого гауссова шума среднее квадратическое значение отклонения принятого сообщения относительно переданного равно корню квад­ ратному из средней мощности помехи на выходе приемника, а относи­ тельная величина этого отклонения выражается через корень квад­ ратный отношения средних мощностей помехи и сигнала на выходе приемника (10.6) 198
Для ··сравнительной оценки систем и практических р~счетов часто в качестве критерия помехоустойчивость принимают величину <<вы" игр ыша системь1» ( P.t ) Р~ nых ( Рх) • р~вх, В= (10.7) где ( ;~ ) и ( :х ) --- отношение средних мощностей сигнала \sвых ~ /вх и помехи на выходе и входе устройства. В случае передачи дискретных сообщений, а также непрерывных сообщений с кодоимпульсной модуляцией сигналов в качестве крите­ рия верности целесообразно использовать вероятность - правильного приема Рпр= 1 - Рош, (10.8) где Рош - вероятность ошибки в воспроизведении сообщения" В реальных условиях вероятность ошибки Рош очень мала и зна­ чительно меньше единицы. Поэтому очень часто используют для оценки помехоустойчивости логарифмическую величину 1 l S==lgР =lg1_Р (10.9) ош пр По смыслу определения помехоустойчивость понимается как свойство передачи информации в целом. Однако оценка помехоус-­ тойчивости системы в целом - довольно сложная задача. Поэтому обычно говорят о помехоустойчивости отдельных звеньев системы: о помехоустойчивости передачи (в частности, о помехоустойчивости кода или вида модуляции) и о помехоустойчивости приема. Помехо­ устойчивость кода может быть оценена величиной (10.9), где Р0ш - вероятность искажения кодовой комбинации под воздействием помех. При оценке влияния вида модуляции на_ помехоустойчивость системы производят обычно сравнение различных видов модуляции .с амплитудой. С этой целью часто применяется коэффициент ( :; )вых Ru = -(Х.........___э)- • 0 6 выхАМ (10.10) или R ( :: )вых 11 21: -(~Рх-) - ' ~ выхАМ (10.11) где ( :з ) и ( ;х ) - отношение эффективного эначения сиг- ~ вых ; .вых нала к среднему квадратическому значению помехи и отношение сред- ней мощности сигнала к средней мощности помехи на выходе прием- 199
наго устройства при произвольном виде модуляции; (~) и . а~ выхАМ ( ~х ) - аналогичные отношения на выходе _приемного устройства s .выхАМ при амплитудной модуляции. При приеме в зависимости от назначения с~rналов могут иметь место три вида задач [29]: 1. Обнаружение сигналов. 2. Различение сигн~лов. 3. Восстановление сообщений. Задача обнаружения состоит в том, чтобы по результатам обра­ ботки принятого сигнала, который может быть либо только помехой. либо суммой полезного сигнала и помехи, решить, содержится ли полезный сигнал в принятом или нет. При этом могут быть ошибки • двоякого рода: 1) при отсутствии полезного сигнала принимается ложное решение о наличии сигнала; 2) при наличии сигнала принимается ложное решение об отсутствии сигнала. Первая ошибка называется ошибкой первого рода или «ложной тревогой». Вторая ошибка назы­ вается ошибкой второго рода или «пропуском сигнала)). Количествен­ но ошибки первого и второго родов -оцениваются условными вероят­ ностями а и В ошибочных решений о наличии полезного сигнала. когда в действительности он отсутствует, и об отсутствии сигнала. когда в действительности он имеется. • Полная вероятность ошибочного решения определяется выра­ жением (10.12) где q и р - априорные вероятности отсутствия и присутствия полез­ ного сигнала. Помехоустойчивость приемника, решающего задачу обнаружения сигнала, может быть оценена с помощью выражения (10.9), где Рош определяется формулой (10.12). l(огда априори известно, что передан один из двух сигналов х1 и х2 , то ставится задача различения двух сигналов, т. е. задача определения, имеется ли на входе приемника сигнал х 1 плюс помеха или сигнал х2 плюс помеха. Очевидно, помехоустойчивость приемника в этом случае также определяется выражениями (10.9) и (10.12), причем величины а и ~ в формуле (10.12) являются условными веро­ ятностями ложных зак_лючений о наличии сигналов х1 или х2 , когда в действительности на вход приемника поступает сигнал х2 или х1 со­ ответственно, а q и р являются априорными вероятностями поступления сигналов х1 и х2 . . Случай различения многих сигналов в принципиальном отноше­ нии мало отличается от случая различения двух сигналов. Помехо­ устойчивость приемника в этом случае также может быть оценена формулой (10.9), причем вероятность ошибки Рош определяется с по­ мощью выражения п Рош = ~ P1P."i, i=l (10.13) где Pi - априорная вероятность поступления i-ro сигнала; а, - условная вероятность ложного заключения о наличии i-го сигнала" 200
когда в действительности на вход приемника поступает любой дру- гой из п сигналов. ~ Задача восстановленчя сообщения значительно отличается от задач обнаружения и различения сигналов. Она сводится к получе­ нию выходного сообщения Y(t), наименее отличающегося от пере-­ даваемого с точки зрения выбранного критерия верности. Помехо­ устойчивость приемника в этом случае может быть оценена с помощью, критериев отклонения, определяемых выражениями (10.1) - (10.6). Помехоустойчивость такого приемника может быть также оценена с помощью критерия (10.7). Однако нужно иметь в виду, что эта ве-· личина не всегда может быть определена однозначно и не позволяет объективно сравнивать между собой различные системы, если помеха­ имеет более широкий спектр, чем сигнал и, в частности, если она типа белого шума. Мощность помехи на входе приемника в этом случае· определяется полосой пропускания канала связи. Различные систе•- " мы могут существенно отличаться полосои пропускания каналов связи. При одном и том же канале связи могут применяться приемни­ ки с различными полосами пропускания. Для устранения имеющейся не0днозначности можно сравнивать. на входе и выходе приемника отношения мощностей сигнала не с· мощностью помехи, а с удельной мощностью nомех. В этом случае, выигрыш приемника оценивается соотношением В'= Рх Pinыx Рх . 1 р~вх t (10.14} р где Р;вых = ;вых - удельная мощность помех на выходе приемника; RЫХ ' р~вх Р~вх= F - удельная мощнос_ть помехи на входе приемника; Fвх· вх и Fвых - полосы частот, в которых измеряется мощность помехи на входе и выходе приемника. где Очевидно, р== FBX Fnыx • B, _ __l_ - ' р 10.3. СПОСОБЫ ПОВЫШЕНИЯ ПОМЕХОУСТОИЧИВОСТИ ИНФОРМАЦИОННЫХ СИСТЕМ (10. 15), В основе всех способов повышения помехоустойчивости инфор­ мационных систем лежит использование определенных различий; между полезным сигналом и помехой. Поэтому для борьбы с помехами необходимы априорные сведения о свойствах помехи и сигнала. В настоящее время известно большое число способов повышения" помехоустойчивости систем. Все эти способы удобнее разбить на две­ группы. Первая группа способов основана на выборе метода передача 201
сообщений. Вторая группа способов связана с построением поме- хоустойчивых приемников. . __ Простым и часто применяемым способом повышения помехоустой­ ·чивости передачи является увеличение отношения сигнал/помеха ·за счет увеличения мощности передатчика. Однако этот метод, не­ ~мотря на свою простоту, может оказаться экономически невыгодным, ·так как связан с существенным ростом сложности и стоимости обо­ -рудования. Помимо того, увеличение мощности передачи сопровожда­ ~тся усилением мешающего действия данного канала на другие. Важным способом повышения помехоустойчивости передачи не­ прерывных сигналов явля~тся рациональный выбор вида модуляции .,еигналов. Применяя виды модуляции, обеспечивающие значительное ·расширение полосы частот сигнала, мощно до(5иться существенного повышения помехоустойчивости передачи. Оценка -помехоустойчи­ -вости отдельных видов модуляции произведена в п. 10.4. Радикальным способом повышения помехоустойчивости передачи -дискретных сигналов является использование специальных помехо­ устойчивых кодов. При этом имеются два пути повышения помеха­ -устойчивости кодов. Первый заключается в выборе таких способов ·передачи, которые обеспечивают меньшую вероятность искажения .кода, второй - в увеличении корректирующих свойств кодовых комбинаций. Исследования первого пути показали высокую помехоустойчи­ .востъ кодов с большим числом частотных признаков [25, 61, 62, 63]. Второй путь связан с использованием кодов, позволяющих об­ наруживать и устранять искажения в кодовых комбинациях. Такой -способ кодирования связан с введением в код дополнительных, из­ ·быточных символов, что сопровождается увеличением времени переда- чи или частоты передачи символов кода. Это приводит к расширению спектра сигнала. Основные положения теории помехоустойчивого кодирования изложены в главе V" Повышение помехоустойчивости передачи может быть также -достигнуто путем повторной передачи одного и того же сообщения. На приемной стороне сравниваются полученные сообщения и в качестве -истинных принимаются те, которые имеют наибольшее число совпа­ дений. Чтобы исключить неопределенность при обработке принятой информации и обеспечить отбор по критерию большинства, сообще­ ние должно повторяться не менее трех раз. Очевидно, этот способ повышения помехоустойчивости связан с увеличением времени передачи. Системы с повторением передачи дискретной информации де­ лятся на системы с групповым суммированием, у которых сравнение производится по кодовым комбинациям, и на системы с посим­ ·вольным суммированием, у которых сравнение осуществляется по -символам кодовых комбинаций. Исследования показали, что посим- вольная проверка является более эффективной, чем групповая (см. ·пример 10.2). -Разновидностью систем, у которых повышение помехоустойчи­ вости достигается за счет увеличения времени передачи, являются ~истемы с обратной связью. -~02-- (,
Амплитудная и частотная модуляция Предположим, что передаваемый сигнал и помеха изменяются по гармоническому закону х(t) = Аsinroof; ;(t)=Вsinrot. Суммарный сигнал, получаемый в результате наложения помехи на полезный сигнал, можно представить в виде у(t)=Аsinroof+Вsi11rot =(А+бА)(ro0 +бrо)t, где бА и бrо -· паразитная модуляция амплитуды и частоты сигнала. На рис. 10.1 представлена векторная диаграмма, иллюстрирующая образование суммарного сигнала. На этом рисунке Х - вектор сигна­ ла, вращающийся вокруг точки О с частотой ro 0 ; Z - вектор помехи, .вращающийся вокруг точки 1 с частотой ro; У - вектор результати- рующего сигнала,- вращающийся вокруг точки О. Вектор У совершает сложное движение с периодически изменяю­ щейся скоростью. При этом также будет периодически изменяться его амплитуда. Периодические изменения скорости вращения вектора У и его амплитуды характеризуют частотную и амплитудную пара­ зитные модуляции сигнала. Для оценки паразитной модуляции разложим ветор Z на составля­ ющие М и I (рис. 10.1). Проекция вектора Z на вектор Х выражает амплитудную паразит­ ную модуляцию. Эта проекuия М=Вcos(оо0- ro)t= Вcos6<р=бА~В, (10.16) где 6ср=(ro0- ro)t=б1rot. Чтобы найти паразитную частотную модуляцию, необходимо оп­ ределить угловую скорость вращения вектора У. Последняя равна I dcp (u=т, где <р = ro0t + а - мгновенная фаза вектора У. Таким образомt , +da +~ ro =ro0 tit=ю0 uro, где da бrо = & - паразитная частотная модуляция. ПриМ<<А В sin бrр а=tgа= А • Следовательно, к da, В ~ d (бср) В~ ~ u(J.) = - = -АCOSucp = -А u1ro COS ucp, dt dt (10.17) 204
где В _ d(бq>) iffi - dt• Окончательно получим следующее вы­ ражение для угловой скорости вектора У: (J)' = ro 0 + ~ <'\ro cosбq>. (10.18) Оценим величину отношения сигнал/поме- ха на выходе приемника при амплитудной Рис. 10.1. модуляции. Так как на выходе приемника стоит амплитудный детектор, то выходной сигнал приемника пропор­ ционален изменениям модулируемого параметра. Следовательно, отношение мощностей сигнала и помехи на выходе приемника при амплитудной модуляции (ЛА) 2 (ЛА) 2 УвыхАМ = (бА)2 = м2 , max где ЛА - максимальное значение изменения амплитуды сигнала при полезно~ модуляции; Mmax - максимальное значение изменения амплитуды сигнала при паразитной модуляции. При стопроцентной амплитудной модуляции ЛА = А. Тогда л2 Увых = ----W - = 1'вхАМ, А2 где 'VвхАм = -W - отношение мощности полезного сигнала к мощ- ности помехи на входе приемника. Таким образомt выигрыш амплитудной модуляции Влм = УвыхАМ = 1. УвхАМ Следовательно, при амплитудной модуляции отношения сигнал/по­ меха на выходе и входе приемника одинаковы. При частотной модуляции используются приемники с частотными детекторами. При этом величина сигнала на выходе приемника будет пропорциональна девиации частоты входного сигнала. Тогда отношение мощностей сигнала и помехи на выходе приемника (Лоо)2 А2 (Лrо)2 (Лrо) 2 'УвыхЧМ = (боо)~ах = в2 (0100)2 = ' 0100 УвхЧМ, где Лw и (бw)max - максимальные изменения частоты сигнала при по­ лезной и паразитной частотной модуляции. Следовательно, выигрыш, обеспечиваемый частотной модуляциейt Вчм == УвыхЧМ 1'вхЧМ ( Лffi ) 2 == б1ffi (10.19) 205
Обычно Лrо > б1 ю, поэтому частотная модуляция подавляет по­ меху и это подавление будет тем эффективнее, чем больше девиация частоты дrо при полезной модуляции. Таким образом, частотная мо- дуляция по сравнению с амплитудной обеспечивает выигрыш в ( t: )2 раз. Общий случай - по каналу передается произвольный сигнал. Пусть сигнал характеризуется энергетической спектральной плот­ ностью G(ro). В канале действует адцитивная помеха типа белый шум с удельной энергетической спектральной плотностью Р0 . Отношение мощностей сигнала и помехи на выходе приемника для случая амплитудной модуляции Q 5Q (w) dro о '\'вы:хАМ = n , Р.,.~, rде ~) - полоса частот, в которой действуют сигнал и помеха. Это же отношение для случая частотной модуляции g а f (Лrо)! G (со} dro З (Лео)~ f а (ro) dro о о "\'в11хЧМ = _n ______ - ----p~ 0 Q~~--- - S(б1m)2 P0d (б1оо) о Q Sа (ro) dffi 3 (Лrо)2 о -= Q2 p 0 g =3~ 2 'УвыхАМ, {10.21) АЛm u где 1-1 = ~ - индекс частотнои модуляции. Таким образом, при произвольном спектре сигнала частотная модуляция по сравнению с амплитудной обеспечивает выигрыш в 3~ 2 раз. Этот выигрыш достигнут ценой расширения спектра модули­ рованного сигнала. Кодоимпульсная модуляция Кодоимпульсная модуляция (КИМ) широко используется при пе• редаче непрерывных сообщений. КИМ складывается из операции квантования сигналов (по времени и уровню) и кодирования. Опера­ ции квантования сопровождаются погрешностями квантования. Оцен­ ка этих погрешностей произведена в гл. 4. В частности, при кванто­ вании сигналов по уровню, когда шаг квантования Лх значительно меньше динамического диапазона сигнала, дисперсия погрешности квантования равна л2 ~(<\)= 1; . Пусть величина сигнала распределена равновероятно в пределах 206
от О до А. Тогда дисперсия сигнала А f/J(х)==Ix2.ro(х)dx= :• . о Отношение мощностей сигнала и шума квантоJЗания а (х) А2 '\'КИМ== /»(б,J .=4д2•• х Число уровней квантования (10.22) (10.23) Если квантованные сигналы представляются двоичным кодом, т~ т=1х =2n, rдl! п - количество разрядов в кодовой комбинации. Тогда ~к.им= 4m 2 =4•2 211 • (10.24) Если модулируемый сигнал имеет полосу частот О - Ре, то в со­ ответствии с критерием В. А. Котельникова квантование сигнала по времени осуществляется с частотой 2F_,:,. Пусть продолжительность кодовых комбинаций равна интервалу временного квантования сиг- 1 нала Тк = 2рс· Тогда при условии, что длительность одного импульса i- в кодов_ой комбинации равна длительности паузы между импульса•· ми, получим следующее выражение для ширины частотного спе1<траl модулируемого сигнала: • 1 2n Лfк~-=-т =4Fcn• 't к откуда Лfк n=4Fc• (10.25), Как видно из (10.25), число п выражает отношение спектра моду .... лированного сигнала к спектру исходного немодулированного сиrна~ ла, т. е. играет такую же роль, как и индекс модуляции ~ при частот'"'­ ной модуляции. Uiедовательно, величина 1'ким, определяющая помехоустойчивость. КИМ, пропорциональна 213, в то время как помехоустойчивость час~­ тотной модуляции пропорциональна ~2 • Высокая помехоустойчивость КИМ достигнута как за счет расши~ рения спектра модулируемого сигнала, так и за счет увеличения вре--. мени передачи отдельных сообщений. Незначительное расширение спектра модулированного сигнала (увеличение п) сопровождается резким увеличением помехоустойчи­ вости I(ИМ. Однако, как видно из (10.23), рост п (при заданном А) может быть осуществлен за счет существенного уменьшения шага 207
о-----~-- лх 2d~ Рис. 10.2. - квантования Лх. Последнее же может, в свою очередь, привести к понижению по­ мехоустойчивости КИМ за счет влияния внешних помех. Действительно, пусть при квантовании действу" ет аддитивная помеха ~ (t). Действие помехи ~ (t) при­ водит к дополнительным погрешностям при квантовании сигнала, если уровень помехи пре• восходит половину шага квантования. Вероятность такой погрешности дх с,о --2- рош=) w(S)dS+ ) лх -2- -оо При симметричном распределении помех 00 Рош=2 ~ W(6)d~. дх -2- в случае нормального закона распределения помех ()О 2 r{. ~ 2 } (лх) Рош=v-Jехр---2 - d~=l-Ф2а, 2no2 д 2а" j) ~х 6 -2- (10.26) сде- Ф ( :~s )-функция · Лапласа; а~ - среднее квадратическое зна­ чение помехи. На рис. 10.2 показаны графики изменения функци-и Лапласа и л вероятности ошибок в зависимости от отношения Г· Как видно, as при увеличении шага квантования Лх происходит резкое уменьшение .вероятности ошибок за счет действия внешних помех. При передаче кодированного сигнала могут возникнуть дополни­ ·тельные погрешности вследствие искажения кодовых комбинаций за счет действия помех в канале связи. Эти погрешности могут иметь лишь дискретные значения. ~ш=±Лх, ±2Лх, ... , ±(m-l)Лx, т. е. при этом - (т - 1)~i~(т- l). Дисперсия погрешности для слvчая симметричного распределения 208 •
помех равна [67. 68]: m-1 D (~ш) =2 ~ (iЛх)2Ршt, (10.27) l==l где Ршl - вероятность того, что погрешность за счет действия внеш­ них помех равна iЛх. 10.5. СИСТЕМЫ С ОБРАТНОЙ СВЯЗЬЮ ' _.Одним из эффективных способов повышения помехоустойqивости передачи является использование обратного канала, по которому информация может передаваться от приемника к передатчику. Сис­ темы, в которых применяется передача ПQ.__ обратному каналу, носят общее название систем с обратной связь1q.~ _/ Существует большое число способов построения обратного канала. Основные варианты схем обратной связи показаны на рис. 10.3 [29]. В варианте I обратная связь охватывает только линию связи. В вариан· тах 11 и I11 обратная связь подключена после решающего устройства. Вариант III отличается тем, что обратная связь охватывает всю систему. - В зависимости от способа· использования обратного канала систе-­ мы с обратной связью могут быть разделены на два основных типа: системы с информационной обратной связью (системы со сравне• нием); системы с решающей обратной связью (системы с переспросом). В системах с информационной обратной связью по обратному кана­ л.у передаются все принятые сигналы. На передающей стороне эти сигналы сравниваются с переданными. В случае наличия расхожде­ ний осуществляется повторная передача сигнала либо передача дан- ных о необходимых исправлениях. . В системах с решающей обратной связью приемник сам проверяет правильность принимаемого сигнала. При обнаружении искажений приемник посылает по обратному каналу сигнал переспроса на пов• торение передачи искажаемого сигнала. Таким образом, в системах с информационной обратной связью ре­ шение о необходимости повторения передачи принимается на переда­ ющей стороне, а в системах с решающей обратной связью - на при­ емной стороне. ( Обратные каналы в системах с информационной обратной связью и в системах с решающей обратной связью используются не в одинако­ вой степени. Обратный канал в системе с решающей обратной связью за­ гружен обычно значительно меньше, чем в системах с информационной обратной связью, ибо в системах с решающей обратной связью сигнал по обратному каналу поступает лишь в случае обнаружения искаже• ний в переданном сигнале, в то время как в системах с информацион­ ной обратной связью каждый принятый сигнал пере_сылается по об­ ратному каналу на передающую сторону. Структура сигналов в системах с решающей обратной связью должна быть таковойt чтобы ошибка при передаче могла быть 14 5-1834 209
...____,;.-1-...Коiирvюще • ucmq11н111(.Q устроистlо . I л jjj Рис. 10.3. обнаружена на приемной стороне. Это может быть осуществлено лишь при использовании кодов, позволяющих обнаруживать искажение. Ис­ следования показали [64, 65], что системы с решающей обратной связью, использующие коды с обнаружением ошибок, эффективнее систем без обратной связи, использующих коды с исправлением ошибок. Это объясняется тем, что в системах с решающей обратной связью . повторение передачи осуществляется лишь при обнаружении ошибок в переданном сигнале, в то время как в системах с автоматической коррекцией ошибок на приемной стороне независимо от налиt~ия ис­ кажений в сигналах постоянно вводится избыточность, требуемая для исправления ошибок. Более детально с этими системами можно ознакомиться в [29, 64, 65, 66 и др.]. 10.6. ПРИМЕРЫ Пример 10.1. Сообщения передаются примитивным двоичным ко­ дом при воздействии помех. Длина кодовых комбинаций п = 7. Ве­ роятность искажения символов кодовых комбинаций под воздействием помех Рз = I0-3 . Искажения символов независимы. Оценить по­ мехоустойчи~ость передачи при трехкратной передаче с групповой проверкой. Ре~иение. При трехкратной передаче с групповой проверкой, согласно критерию большинства, условия правильного приема будут следующими: а) все три кодовые посылки приняты правильно; вероятность такого события равна (1 - р 3)3п. б) из трех посылок две приняты правильно; вероятность такого события равна сА (1 - Рэ) 2п [1 - (1 - p9)n], где с;- число случаев, когда из трех кодовых комбинаций одна принята с ошибкой; (1. - р3) 2п - вероятность правильного приема двух посылок; [1 - - (1 - Рэ)п] - вероятность неправильного приема одной посылки. Таким образом, вероятность ошибочного приема при трехкрат­ ном повторении с групповым контролем 210 Рн.о.= 1- {(1- Рэ)Зп+с;(1- Рэ) 2 п[1- (1- Рз)п]} Z8 :1:: 1 -(1- Рэ/п {(1-рэ)п + 9~ [1-(1 -р3)п]} ~ ~1- [(1- 2np9)(1+2np9)]= 1- (1- 4п 2 р:) - == 4п2р~==4 •72• 10- 6 == 2 •10-4.
Помехоустойчивость передачи 1 - 1 S=lgР =lg _ 4 =3,7. но 2•10 Пример 10.2. Решить предыдущий пример для случая трехкратной С1 u передачи с посимвольнои проверкои. Решение. При трехкратной передаче и посимвольном контроле возможны следующие варианты правильного приема одного опреде­ ленного символа кодовой комбинации: а) символ принят правильно во всех трех посылках, вероятцость такого события равна (1 - Рэ) 3 • б) символ принят правильно в двух из трех посылок, вероятность такого события равна с; (1 - Рэ) 2Рэ· Следовательне, вероятность правильного приема символа кодовой комбинации при трех посылках будет равна (1 - pJ 3 + с; (1 - P8)2Ps• Вероятность правильного приема п-раэрядной кодовой комбинации [(1 - Рэ)з + С~ (1 - р3)2р,]п. Таким образом, вероятность ошибочного приема Рн.о= 1- [(1 -р,)3+с;(1-Рэ)2Рз]п~ 1-(1- бр;)п~ ~6пр:=42•10- 6 • Помехоустойчивость передачи 1 1 S=lgр =lg 42.10-б =4,38. н.о. Таким образом, ~ак видно из расчетов, при повторной передаче посимвольная проверка более эффективна, чем групповая. Пример 10.3 . Частотно-модулированный сигнал с индексом час­ тотной модуляции ~ и энергетической спектральной плотностью G (ro) = G0 - bro проходит через информационный канал с полосой пропускания Q. В канале действует помеха типа аддитивноrQ. белого шума с удельной энергетической спектральной плотностью Р0 • Оце­ нить отношение мощности полезного сигнала к мощности помехи на выходе приемника. Решение. Отношение мощностей полезного сигнала и помехи на выходе приемника для случая частотной модуляции в соответствии о (10.21) равно • g о JG (ro) doo I(G0 - bro) dro ЗR2 о 3А2 о зр2(а· ьа) '\'выхУМ = t' PofJ = t-' PiJ. = JS;; о- -2- • Пример 10.4. Сигнал, измен5.1ющийся в пределах от О до 100 В, равномерно квантуется по уровню с шагом квантования Лх =- 1 В и передается по каналу с помощью примитивного двоичного кода. : В канале действуют симметричные шумовые помехи. Под воздействием •помех происходят искажения кодовых комбинаций. Искажения кодо­ вых комбинаций однократные с вероятностью Рз = 10-3 • Оценить дисперсию ошибок, возникающих вследствие действия помех, а 14* 21J
также дисперсию суммарной ошибки за счет действия помех и кван• тования сигналов по уровню. Реиrение. Ошибки, обусловленные искажением кодовых комбина­ ций вследствие воздействия шумовых помех, носят дискретный ха­ рактер. Так как ошибки могут быть только однократными, то их вели­ чина может принимать значения Bowl ==- 2 1Лх, i = 0,1, ... , п - 1, где п - длина кодовых комбинаций. Дисперсия ошибок для случая симметричного распределения по­ мех в соответствии с (10.27) равна п-1 D (Вош) = 2 L (21Лх)2Рэ· i=O Количество передаваемых сообщений определяется количеством уровней квантования сигнала и равно N=~~ =100. Исходя из с_оотношения N_ = 2п, определяем длину кодовых ком­ бинаций = lg100=бб п ]g2 ' • Округляя до ближайшего целого, получим п = 7. Тогда дисперсия ошибки D(е0ш)=2(1+22+24+26+28+210+212) •10- 3 . Рассматривая сумму в скобках как геометрическую прогрессию со знаменателем 22 и используя формулу для суммы членов геометри­ ческой прогрессии, получаем 214- 1 -3 D(Еош)==22~ - 1 10 =10,9В2• • Дисперсия суммарной ошибки за счет действия помех в канале и квантования сигналов по уровню 2 Dош~ ~ D (Еош) + О'к, где а_'{ - среднее квадратическое значение ошибки квантования по уровню. При равномерном квантовании по уровню среднее квадратиче­ ское значение ошибки квантования О'к= л:_ - ~- = 0,29 в. 2УЗ 23 Таким образом, дисперсия суммарной ошибки Dош~ = 10t9 + 0,2_9 2 ~ 10.98 В2• Контрольные вопросы 1·. Какие критерии применяются для оценки помехоустоАчивости систем передачи информации с непрерывными сигналами? 2. Какие критерии применяются для оценки помехоустойчивости систем передачи информации с дискретными сигналами? 212
3. Перечислите известные способы повышения помехоустойчивости передачи. 4. Что такое системы с повторением передачи? Какие известны разновидности этих систем? 5. Что понимается под системой с обратной связью? 6. Что понимается под системой с информационной обратно:А связью? 7. Что понимается под системой с решающей обратной связью? 8. Сравните степень загруженности обратного канала в системах с информацион­ ной и решающей обратной связью. 9. Сравните эффективность систем с решающей обратной связью, использующих обнаруживающие ошибки коды, с системами без обратной связи. использующими ко­ ды с исправлением ошибок. 10. Сравните по помехоустойчивости амплитудную, частотную и кодоимпульсную модуляции. 11. l(акими факторами определяется высокая помехоустойчивость кодоимпульс­ ной модуляции? Глава 11. ИНФОРМАЦИОННАЯ ОЦЕНКА АВТОМАТИЗИРОВАННЫХ СИСТЕМ УПРАВЛЕНИЯ И КОНТРОЛЯ ----- ----------- 11.1. ОБЩАЯ ХАРАКТЕРИСТИКА АВТОМАТИЗИРОВАННЫХ СИСТЕМ КОНТРОЛЯ И УПРАВЛЕНИЯ (АСКУ) В последнее время для получения информации о положении и состоянии объектов в пространстве и времени все более широкое при­ менение находят сложные системы контроля и управления. Отдель­ ные сравнительно простые автоматы на базе вычислительной техники объединяются в большие автоматизированные системы контроля и управления [3]. 1( таким системам, в первую очередь, следует отнести автомати­ ческие системы стабилизации летательных аппаратов, технологиче­ ские и организационно-экономические автоматизированные системы управления нефтяными районами, энергосетью страны, цехами, пред... приятиями, фирмами, отраслями народного хозяйства, страной в целом. Все эти системы не только имеют множество сложных устройств и органов, но и высокий уровень организации, сложные функциональ­ ные взаимосвязи устройств и органов. Для того чтобы правильно сrдить о ходе процесса контроля и управления, а также о состоянии и положении контролируемого и управляемого объекта; необходимо контролировать большое число параметров различной физической природы. Технические процессы контроля и управления сложными объектами тесно связаны между собой и не всегда контроль и управление ими можно поручить не­ скольким действующим независимо операторам и автоматам. Поэтому большое число измерительных и управляющих приборов приходится сосредоточить в одном месте. Применение централизованных автсма­ тизированны-х систем контроля и управления избавляет от необ~о­ димости пользования показаниями множества приборов и транспа­ рантов. Основное назначение АСКУ - правильно определить в течение заданного интервала времени состояние и положение объекта и 213
управлять им с учетом состояния. В случае появления отклонений или неисправностей АСКУ должна обеспечивать обнаружение отклонения u или отказа места неисправности с заданнои точностью. Все чаще в последнее время АСКУ используются также JtЛЯ про• rнозирования работоспособности и положения объекта в целом или его функциональных элементов. В этих случаях она должна предска­ зывать поведение параметров или объекта в целом на заданное время вперед. АСКУ позволит кроме эффективного контроля и управления вести оптимизацию этих процессов, а также накапливать информацию для прогнозирования отказов системы контроля и управления объектом. Процесс контроля и управления сложными объектами можно рас­ сматривать как процесс формирования и регулирования физически независимых или взаимосвязанных процессов, происходящих одно­ временно либо с .некоторым сдвигом во времени. Техническую систе­ му контроля и управления сложными объектами необходимо в этом случае рассматривать как многомерную систему. По целевому назначению АСКУ можно разделять на системьп стабилизаuииt программного управления, следящие, оптимальные и смешанные. Многомерные АСКУ стабилизации предназначены для одновре­ менного поддержания с определенной точностью многих выходных параметров. Многомерные АСКУ программного управления предна­ значены дпя автоматического управления несколькими физическими процессами по заданной программе с определенной точностью. Много­ мерные следящие АСКУ предназначены для одновременного носпро­ изведения всеми выходными параметрами неизвестных заранее раз­ личных законов управления. Оптимальные многомерные АСКУ имеют оптимизатор, позволяющий получать оптимальные значения выход­ ных параметров. Многомерные смешанные АСКУ могут одновременно следитьt стабилизировать, управлять по программе и оптимизировать множество параметров. Многомерные АСКУ - это сложные информационные системы, характеризуемые интенсивными потоками информации. В связи с этим представляет интерес произвести оценку состояния и функционирования АСКУ с использованием положений теории информации. 11.2. ОЦЕНКА СТЕПЕIШ НЕОПРЕДЕЛЕННОСТИ СОСТОЯНИЯ ОБЪЕКТА КОНТРОЛЯ При контроле и управлении объект можно рассматривать как мно­ гомерную динамическую систему, на которую наряду с закономерными и случайными управляющими воздействиями или сигналами контра" ля влияют различные случайные помехи в виде внешних и внутрен­ них возмущений. Состояние такой системы определяется некоторыми выходными параметрами, определенным образом связанными с воз- --- действиями на систему через вектор-оператор системы. В связи со случайным характером различных воздействий и воз- 214
мущений ·выходные параметры объекта будут также случайными функциями времени. Полными вероятностными характеристиками как выходных пара­ метров, так и самого объекта, являются дифференциаль_ные много­ мерные законы распределения, а также уравнения для определения вероятности состояния выходов систем при различных вероятностях ·состояния входных сигналов. Однако они не дают интегральной ка­ чественной и количественной оценки неопределенности объекта при контроле и управлении, а также интегральной оценки изменения неопределенности объекта в процессе контроля и управления. Этот не­ достаток устраняется при использовании информационных характе• ристик объекта в процессе контроля и управления. Для интегральной оценки неопределенности объекта с ·непрерыв­ ным множеством состояний в процессе контроля и управления удобно применять дифференттиальную энтропию состояния объекта 00 00 h(Х)= - S•·• Sw(X)log2w(X)dX, (11.1) -оо -со где Х (х1 , х2 , ••• , Хт) - вектор выходных параметров (координат) объекта. При независимых выходных координатах энтропия объекта равна сумме частных энтропий, обусловленных неопределенностью отдель• ных координат т h(Х)== }.: h(xt). l=-1 • (11.2) Энтропия объекта с двумя дискретными состояниями (исправное и неисправное) может быть представлена в виде Н (Х) = - {Ро.и. log2 Ро.и. + (1 -Ро.и) log2 (1 - Ро.и)}, (11.3) где Р о.и - вероятность исправного состояния объекта. Вероятность исправного состояния объекта связана с многомер­ ной плотностью распределения_ вероятности w (Х) соотношением Ро.и=s.. ·sW(Х)dX, (11.4) Vх где Vх - область допустимых значений вектора Х. Случайный разброс параметров объекта обусловлен большим ко­ личеством факторов технологического и эксплуатационного характе­ ра. Среди этих факторов обычно трудно выделить преобладающий. В такой ситуации, согласно центральной предел~ной теореме Ляпуно• ва, закон распределения параметров очень близок к нормальному. Опираясь на это положение, закон распределения выходных лара­ метров ro (х1) в большинстве случаев можно принять нормальным w(хд= _1- ехр{- (х1-2щ)1 }' (11.S) V 2na~ 2ol где а1 и а1 - математическое ожидание и среднее квадратнческое отклонение параметра. , 215
Тогда многомерная плотность распределения вектора Х опреде­ ляется соотношением [16] 1 { 1mт } w (Х) = -----=-vг===- ехр - 2/В L ~ Dtk Xi-;;; а1 xk;;: ak ' 010'2••, От (21t)mD i=-l k=l (11.6) ••• 1 гдеD=Г211••• ... . . -· определитель т-го порядка коэф. ... . . rт1 rт2 ••• 1 фициента корреляции; Dtk - алгебраическое дополнение элемента rik в определителе D. При статистической независимости координат х1 выражение (11.6) пр иводится к виду W(х)= 1 { 1i", (xk- ak) 2 } (1t.?) V-- ехр - Т~ 2 • 0'10"2 •,.ат (2n)m k=l ak Энтропия выходных параметров при нормальном законе распреде­ ления последних h (xt) = log2 а1 V2ne, откуда среднее квадратическое отклонение параметра 2h(xt) (Jt = ---· V2пе (11.8) При статистической независимости выходных параметров объектов т Ро.и = П Риl, l=l (11.9) где Риl - вероятность нахождения в пределах допуска i-ro выходног9 параметра. Тогда с учетом (11.5), (11 .8) и (11.9) получим т ,;, l'l(x,) - r s { i-, (х1-тt)2} Ро.и=2 VетJ ••• ехр - ne~ h(x,) V l=1 2 х •.• . (11.10) Выражение (11.10) показывает зависимость вероятности исправно­ го состояния объекта от энтропии выходных параметров. При нали­ чии стltтистических зависимостей между выходными параметрами данное выражение оказывается достаточно сложным и эдесь не при­ водится. 11.8. ИНФОРМАЦИОННАЯ ОЦЕНКА ТОЧНОСТИ РЕЗУЛЬТАТА КОНТРОЛЯ • Контроль - это одна из разновидностей процесса получения преобразования, передачи и накопления информации. Под контролем во всех случаях практики понимается процесс получения человеком 216
или машиной информации о действительном состоянии объекта кон• траля. Информация, получаемая в результате контроля, количественно оценивается уменьшением энтропии от значения h (Х), которое харак­ теризует неопределенность объекта контроля перед контролем" до значения h (Х/У), которое остается после пqлучения результата контроля У, т. е. как l=h(X)-h(X/Y). (11.11) Апостериорная энтропия h (Х/У) определяется распределением вероятностей погрешностей контроля. Так как апостериорная ~нтро­ пия h (Х/У) обусловливает уме1:1ьшение количества информации, по­ лучаемой при контроле, то говорят, что погрешности контроля ока­ зывают дезинформационное действие. . Дезинформационное действие погрешности ~ общем случае опре... , деляется законом распределения последней, причем при различных законах распределения получаются различные значения h (Х/У) даже в том случае, если дисперсии погрешностей одинаковы. Так, если погрешность распределена равномерно в пределах от +л2 до - Л2, то энтропия погрешности (см. гл. VI, пример 6.4): h (Х/У) = log2 2Лz. (11.12) Дисперсия погрешности с равномерным распределением ДZ, 2 r21 л; 02=Jz2Лzdz=-3-• -Az Подставив значение Л2 из (11.13) в (11.12). получим V-2 h(2)=h(Х/У)= log22 Заz· (11.13) (11.14) Если погрешность распределена по нормальному закону, то эн­ тропия, как известно (см. _гл. VI, пример 6.3), h·(z) = h (Х/У) = log2 V2пecrz. (11.15) Из сравнения выражений (11.14) и (11.15) видно, что при равных crz дезинформационное действие нормально распределенных погреш­ ностей больше, чем равномерно распределенных.- В связи с этим ука­ зано [69] на несовершенство используемых до настоящего времени характеристик точности контроля и введено понятие так называемого энтропийного значения погрешности контроля. В качестве энтропий­ ного значения погрешности принято значение погрешности с равно­ мерным законом распределения, которое вносит такое же дезинфор­ мационное действие, что и погрешность с данным законом распреде­ ления вероятностей. Энтропийное значение погрешности Л3 с произвольным законом распределения со (2) может быть получено из равенства 00 log2 2Лз == - Jw(z) log2w(z)dz = h(z), -оо 217
откуда (11. 18) Энтропийное значение погрешности связано со средним квадрати­ ческим значением соотношения Лs=-k1/1,,, (11.17) гдеk1- энтропийный: коэффициент, величина которого определяется законом; распределения погрешностей. Наибольшей энтропией при заданном значении дисперсии обла­ дает нормальное распределение (50], поэтому для него энтропийный коэффициент .k наибольший и_ равен 2,07. Любое другое распределе­ ние имеет меньшее значение коэффициента k9 • В частности, для рав­ номерного распределения kэ == 1,73 [69]. Следует заметить, что изложенное относится к случаю, когда контроль параметров осуществляется по критерию количественной оценки, т. е. по существу сводится только к измерению величины па­ раметров. В тех же случаях, когда контроль осуществляется по до­ пусковому критерию, т. е. когда целью контроля является установле­ ние, находится или не находится величина контролируемого пара­ метра в пределах допуска, энтропия погрешности· контроля должна определяться соотношением Н (Х/У) = - {Рош log2 Рош + (1 - Рош) log, (1 - Pow)}, (11.18) где Рош - общая безусловная вероятность ошибочного решения от­ носительно состояния контролируемого параметра, определяемая выражением (8.28). Ошибки первого и второго родов, входящие в выражение (8.28), можно определить соответственно формулами [70]: а=1>(х)[}:w (6) d6] dx +Iw(х)[(ro (6) d6] dXi ~= rw(х)[lхw (6) ~ +Jхw (6)] d6dx, где х1-и х~ - допуски на контролируемый параметр; w (х) и w (6) - законы распределения вероятностей контролируемого параметра х и погрешностей s контроля. Очевидно, и в этом случае может быть введено энтропийное зна­ чение погрешности контроля, которое по дезинформационному дей­ ствию эквивалентно погрешности Рош• Причем величина этой погреш­ ности может быть определена по формуле (11.16), если в показатель степени числа 2 подставить энтропию, определяемую выражением (11.18). 218
11.4. ИНФОРМАЦИОННАЯ СПОСОБНОСТЬ УСТРОЙСТВА КОНТРОЛЯ И ИНФОРМАЦИОННЫЙ К. П. Д. ПРОЦЕССА КОНТРОЛЯ Под информационной способностью устройства контрQЛЯ можно понимать эквивалентное число различимых интервалов, определяю­ щее получаемое от устройства контроля количество информации [69]. Таким образом, согласно определению информационная способ-­ ность устройства контроля N может быть определена из соотношения I = log2N, (11.19) где / - количество информации, получаемой при контроле. Из (11.19) получим следующее выражение для информационной способности: (11.20) Если во всем диапазоне измерений энтропийная погрешность по• стоянна, то количество информации / определяется формулой (11.11). Если же Лэ переменна, то в формулу (11.11) в качестве второго члена должно быть подставлено средневзвешенное в соответствии с распре­ делением плотности w (х) значение условной энтропии 00 hcp (х/у) = - 5w (х) h (х/у) dx. (11.21) -оо В реальных условиях контролируемый параметр х подвержен различным внешним случайным возмущениям. Имеющиеся в резуль­ тате этого флюктуации параметра х характеризуют обычно средним квадратическим э~ачением а~. По аналогии с энтропийной погрешностью .устройства контроля можно пользоваться понятием энтропийной погрешности параметра Л; = k6a~,. (11.22) гдеk, - энтропийный коэффициент, величина которого определяется законом распределения флюктуаций w (s). Следовательно, можно утверждать, что контролируемый пара­ метр х, поступающий на вход устройства контроля, несет количество информации 00 lx=h(x)- i w(~)log2 w(~)d~ -оо и характеризуется информационной способностью Nx = 21х. (11.23) (11.24) Вследствие того что устройство контроля обладает погрешностями, количество информации / 1 , получаемое на выходе устройства контро­ ля, меньше информации lx, которую несет параметр х. Вследствие этого процесс контроля сопровождается потерей информации Л/ == lx-11 . (11.25) Величина Л/ является информационной оценкой совершенства процесса контроля. Обычно пользуются относительной величиной 219
(69): (11.26) получившей наименование информационного Ка п. д. процесса кон­ троля. В формулах (11.25) и (11.26) количество информации / 1, реально получаемое в результате контроля, определяется суммарной погреш­ ностью контролируемого параметра и устройства контроля. Однако в подавляющем большинстве практических случаев пбrрешность, вносимая устройством контроля, существенно превышает флюктуа­ ции контролируемого параметра. Поэтому в суммарной погрешности слагаемым, обусловленны~ флюктуациями ~онтролируемой величи­ ны, можно пренебречь с сохранением весьма высокой степени точности. 11.5. ПРОПУСКНАЯ СПОСОБНОСТЬ ПРОЦЕССА КОНТРОЛЯ Пропускная способность процесса контроля Vк является динами­ ческой характеристикой и выражает максимально возможное коли­ чество информации, которое можно получить в процессе контроля в единицу времени [71 ], V=1 max к - , (11.27) Тк где /max - максимальное количество информации, которое можно получить в среднем при контроле одного объекта; Тк - математи­ ческое ожидание времени, затрачиваемого на контроль одного объекта. Если объект контроля имеет один параметр или несколько пара- метров, контролируемых параллель:А:о, то Тк определяется временем контроля одного параметра. При последовательном контроле нескольких параметров объекта контроль обычно прекращается после обнаружения первого отказа" В связи с этим при последовательном контроле время контроля бу­ дет определяться вероятностью обнаружения отказов отдельных параметров объекта т Тк = ~ Pt-tiкl, i=l (11.28) где iкt - время контроля i-ro параметра объекта; Pl-1 - априорная вероятность того, что при контроле (i - 1)-ro параметра отказ объекта не будет обнаружен. При заданном законе распределения погрешностей контроля ко­ личество информации, получаемое в процессе контроля, будет макси­ мально в случае статистической независимости ·и при равномерном за­ коне распределения контролируемых параметров. В этом случае ко­ личество информации, получаемое при контроле, т f ("t• - Xli) lmax=~ 1 [hmax (хд - h(~1)] = l=I log2 2Л91 • (11.29) где х11 и Xt. - пределы изменения i-ro контролируемого параметра. 220
Подставив из (11 .28) и (11.29) в (11.27) значения Т~и 1max, получим V= к т х-х L log2 l2 lt l=l 2Л2эt т L Pt-ltкl l=l (11.30) Если при контроле решается двухальтернативная задача, то мак­ симальное количество информации будет получено при одинаковой вероятности «норма» и «не норма» контролируемых параметров. При этом априорная вероятность контролируемых параметров равна 1 дв. ед. и выражение ( 11.30) принимает вид V= к 1 mlog2 л;- m L Pt-1tкt i=1 ( 11.31) Из выражений (11.30) и (11.31) видно, что параметр Vк является характеристикой быстродействия и точности процесса контроля. ~ри заданной пропускной способности контроля точность контроля может быть повышена в обмен на снижение быстродействия, и наоборот. 11.6. ЭНТРОПИЯ И ИНФОРМАЦИЯ В СИСТЕМАХ АВТОМАТИЧЕСКОГО УПРАВЛЕШIЯ Понятия э~тропии и .информации являются удобным~ обобщенны­ ми характеристиками при описании сложных систем автоматического управления. . Любой процесс, подлежащий автоматическому управлению, можно охарактеризовать совокупностью координат х1 , х2 , ••• хт. Эти координа­ ты практически всегда имеют разброс относительно· номинальных зна­ чений. Этот разброс обусловлен многочисленными факторами и имеет случайный характер. Для оценки неопределенности процесса может быть использована энтропия распределения вероятностей координат управляемого процесса [72], выражаемая такой же формулой, что и энтропия, рассмотренная ранее в системах передачи информации, 00 00 h(X)=- I •·· I w(X)log2 w(X)dX. (11.32) -оо -оо Несмотря на общность математических выражений, энтропия про~ цесса отличается от информационной энтропии по существу. В систе­ мах передачи информации после получения информации энтропия объекта уменьшается. Энтропия ж@ процесса после получения инфор ... мации о его состоянии наблюдателем не меняется. Следовательно, энтропию распределения вероятностей координат процесса нельзя изменить измерением этих координат. Для изменения энтропии про­ цесса необходимо управление или восстановление. Если проводить аналогию с процессом контроля параметров как процессом передачи информации, то введенное выше понятие энтропии 221
Система лолuченш, • Вь111цс11ительное • Исполнительная процесса соответствует пр и инrрори11циu : устройство : система контроде энтро пни параме- ••• !Jпро8ляеныи процесс Рис. 11.1 ••• тров за счет их флюктуа- · ции вследствие внешних возмущающих воздействий. Энтропия процесса мо­ жет быть изменена только t, за счет воздеиствия на зтот процесс. Основным назначением автоматизированного управле­ ния процессом является уменьшение отклонений процесса от за­ данного, уменьшение неопределенности протекания процесса, т. е. уменьшение энтропии процесса. Для иллюстрации вышеизложенного рассмотрим следующий при- • мер (72]. Генератор переменного тока имеет при некоторых условиях раз­ брос напряжения aav = 50 В и частоты ао, = 5') Гц. При включении системы регулирования напряжения и частоты разброс уменьшается до a1v = 2В и ан = 1 Гц. Найти уменьшение энтропии координат процесса при переходе от неуправляемого процесса к управляемому при условии независимости и нормального распределения вероят- ностей координат v и /.. , Общее уменьшение энтропии будет равно сумме уменьшений эн­ тропий координат ho-h1 = h0(v) -h1(v)+h0(f)-h1(f)= Для процессов управления характерны замкнутые контуры цир­ куляции информации. Схема такого контура изображена на рис. 11.1. Параметры процесса х1, х2, ••• , Хт измеряются системой получения ин­ формации. Полученная информация обрабатывается вычислительным устройством. Обработанная информация поступает в исполнительную систему, формирующую управляющие воздействия zl, которые воз­ действуют на управляемый процесс в направлении уменьшения· его энтропии. Управление процессом может быть непрерывным или дискретным во времени. Ограничимся рассмотрением дискретного управления, характерного для контуров с цифровыми управляющими машинами [11, 58, 72]. Управляющие воздействия поступают на управляемый процесо через интервалы времени ,;. Пусть до передачи управляющих воздействий начальная энтропия процесса равна h0 (Х). После включения системы управления энтропия процесса уменьшается до значения h6 (Х), определяемого воздействием различного рода возмущений в контуре· управления (погрешностей измерителей, преобразователей и исполнительных устройств, внеш­ них возмущений и пр.). Количество информации, внесенное при этом в контур управления, ( 11.33) 222
Этот процесс будет происхо" н дить за определенное количество тактов работы устройства управле­ ния. После подачи каждого управ­ ляющего воздействия энтропия ,процесса уменьшается на опреде­ ленную величину. В интервалах между воздействиями энтропия процесса растет. Количество информации / k (Х), вносимое в контур управлщ_iия в k-м такте работы, /kX = hk-1 (Х) -hk (Х) + Лhk (Х), ( 11.34) r. t Рис. 11.2. где hk-tX - энтропия процесса в конце (k - 1) такта работы; hk (Х) - энтропия процесса в конце k-ro такта работы; Лhk (Х) - прирост энтропии процесса за интервал дискретности i- вследствие действия возмущений. - Если за время переходного периода, в течение которого энтропия процесса уменьшается от значения h0 (Х) до значения h; (Х) совершено п тактов работы устройства управления, то общее количество инфор­ мации, внесенное в контур управления за это время, п п /пер (Х) :c:i; L [hk-1 (X)-hk (Х)] + ~ Лhk (Х). (11.35) k=1 k-1 В установившемся режиме будет соблюдаться условие hk-1 (Х) = hk (Х); (11.36) lk (Х) = Лhk (Х), т. е. количество информации, передаваемое через контур управления за интервал дискретностиt будет равно приросту энтропии процесса за счет действия возмущений. Суммарный прирост количества информации за время переходно­ го периода равен суммарному уменьшению энтропии процесса п /(х)=L[h~-1(Х)- hk(Х)]. (1 t.37) k=I Характер изменения энтропии процесса Х в переходном и уста­ новившемся режимах изображен на рис. 11.2. Рассмотрим следующий пример [72). Предположим, что необходимо построить систему стабилизации летательного аппарата, в контур которой включена ЦВМ, обеспечи­ вающая в стационарном режиме: точность стабилизаций угла тангажа a,i, == 1°; точность стабилизации угла рыскания O'f3 = 0,5°; точность стабилизации угла вращения Ga = 0,3°; точность стабилизации дальности полета а" = 50 м; точность стабилизации ЦМ по нормали о.i =- 30 м. 223
Требуется, чтобы система стабилизации после ее включения вы­ водила объект в указанный стационарный режим не более чем за 30 с при следующем начальном разбросе координат (до включения системы): а(}ф = 8°; аов = 10°; а0.гх = 20°; Оо.н=3км; аох=33км. В случае внезапного прекращения управления в стационарном режиме на 1 с, отклонения нарастают до следующих значений: <Jф = 1,5°; О'~= 5°; О'~= 10°; а~=55м;cr:=33м. Для простоты закон распределения вероятностей выходных ко­ ординат принимается нормальным, координаты - независимыми, ин­ тервал дискретности управления - одинаковым для всех координат и равным ,; == 1 с,· а также то, что сами координаты хранятся в спе­ циальных запоминающих устройствах и в примере не рассматриваются. 1) Определить количество информации, которое необходимо пере­ давать через полный многомерный контур управления в стационар­ ном режиме в течение интервала дискретности. 2) Оценить общее количество информации, которое необходимо определить через контур управления в переходном режиме. 3) Оценить нижнюю границу емкости памяти ЦЭВМ. Так как количество информации, передаваемое через контур управления за интервал дискретности в установившемся режиме, равно приросту энтропии процесса за счет действия возмущений, то ответ ·• на первый вопрос будет следующим: , , , , , 3⁄4 ~ ~ ~ ~ Ik=log2- +log2- +log2- +log2- +1og2- = U-ф af3 аа О'н Ох = (og21,5+log2lО+Iog233,3+log2l,1+1og21,l = 9,239 дв. ед. Общее количество информации, передаваемое через контур управ­ ления в переходном режиме, равно сумме общего изменения энтропии процесса за счет введения управления и прироста энтропии за счет действия возмущений. Так как за время переходного периода совер­ шается т = 30 тактов управления, то О"о'1) О"о~ аоа /пер=h0-h1+30/k=log2--+ log2--+ log2--+ аФ aJ аа а а • +log2~+log2~ = log28+log220+log266,6+log215+ ан Ох + log2 20 + 30/k = 298,87 дв. ед. Нижняя граница емкости памяти ЦВМ Q> /пер 298t87 gg / т- 30 = , дв 1 ед._такт. 224
11.7" ОЦЕНКА ЭФФЕКТИВНОСТИ АСКУ С информационной точки зрения эффективность АСКУ целесооб­ разно оценивать количеством информации, получаемой системой- •в определенный интервал времени с учетом экономических затрат" В связи с этим эффективность АСКУ следует оценивать величиной к= ,ьХ) • (11.38) где / (Х) - количество информации, получаемое АСКУ в определен­ ный интервал времени; С - стоимость АСКУ. Неудобство критерия эффективности, выражаемого формулой (11.38), заключается в его ненормированности" Критерием, лишенным данного недостатка, является обобщенный статистический критерий, выражающий отношение эффективностей реальной и потенциальной АСКУ Э- Кр - Кп' (11.39) где Kr, - эффективность реальной АСКУ; Кп - эффективность по­ тенциальной (идеальf!ой) АСКУ. Потенциальная АСКУ обеспечивает получение максимально воз­ можного количества информации. Это будет иметь место при макси­ муме априорной и минимуме апостериорной энтропии объекта контро­ ля. Следовательно, для потенциальной системы должно быть равен­ ство априорных вероятностей контролируемых параметров р (Xt) == q (х1), где р (х;) - вероятность состояния «норма i-ro параметра*; q (хд - вероятность состояния «не норма>> i-го параметра. При этом априорная энтропия объекта будет равна т Н0(х)= - ~ [р(xt) log2р(xt) + q(хд log2q(xt)] = т дв. ед. (11.40) l=l Решающее устройство потенциальной системы работает по кри­ терию идеального наблюдателя, минимиз~рующеrо суммарную ошиб-­ ку принятия решения (11.41) гдеa.,l и ~, - ошибки первого и второго родов. • В результате осуществления контроля потенциальная система переводит состояние объекта в некоторое более определенное состо­ яние, характеризуемое в соответствии с формулой Байеса апосте­ риорной вероятностью исправного состояния () Р(х1)Р- atl р X1,/Yt = р(Xt) [1- a.iJ +q(Xt) .~,: (11.42) и энтропией Н1(х1)= - Р (х1/У1) log 2 р (x1/yi) - [l - р (xt/Y1)] log1 [1 - р (х1/У1)]. (11.43) • Имеется в виду, что практически р (х1) ~ 0,5. 15 5-1834 225
Общее количество информации, получаемое потенциальной систе­ мой, т т /п(х)= lmax = ~ Но(xi)- ~Н1(хд. i=I i==l Потенциальная система является идеальной не только в смысле максимума количества получаемой информации, она является иде" алы-юй также в смысле простоты, так как в ней не предусмотрены резервирование, доработка для получения нужного быстродействия, объема, массы и т. п. Следовательно, потенциальная система при выполнении указан­ ных условий будет иметь минимальную стоимость Cmtn• Эффективность потенциальной системы оценивается коэффициентом - 1max Кп=с .• П11П (11.44) Математическая модель реальной АСКУ строится аналогично ма- тематической модели потенциальной системы. Однако при этом при­ нимаются реальные законы распределения вероятностей состояний контроляруемых параметров и различные алгоритмы работы реша­ ющих устройств, обусловленные выбранным критерием оценки пара­ метров. Общая стоимость С информации / Р с учетом затрат на получение нужной надежности, быстродействия, объема, веса и т. п. в реальной ACI<Y т С=~Ct>Cmtn• ( 11.45) i=1 Эффективн~сть работы реальной АСКУ Кр= ~ ~Кп· (11.46) Достоинством обобщенного статистического критерия (11.38), по­ лученного на основе потенциальной и реальной математических моделей АСКУ, является полная наглядность, сравнительная просто­ та и общность, позволяющие одним числом характеризовать как всю систему, так и по частям, включающим сложные и простые устрой­ ства. При этом диапазон изменения критерия для практических систем ( 11.47) Несовершенная АСКУ имеет Э, близкий к нулю, совершенная к единиuе. 11.8. ИНФОРМАЦИОННОЕ ОБОСНОВАНИЕ ОПТИМАЛЬНОГО. АЛГОРИТМА КОНТРОЛЯ И ПОИСКА ВЕИСПРАВНОСТЕИ Всякий сложный объект можно представить в виде системы, со­ стоящей из нескольких динамических последовательно соединенных звеньев, которые, .в свою очередьt состоят из элементов. 226
При эксплуатации таких систем различают два специфических алгоритма: алгоритм контроля, предназначенного для установления факта исправности или неисправности системы; алгоритм поиска неисправностей в случае установления факта неисправности системы. Определение оптимальных алгоритмов контроля и поиска неис­ правностей в системе можно произвести на основе теории_ информации, теории игр, теории массового обслуживания' и теории последователь­ ного анализа Вальда . •-- .... При определении указанных алгоритмов на основе теории ин- формации можно использовать два различных критерия: критерий максимального количества информации в единицу вре­ мени, с применением которого контроль и поиск неисправности на­ чинаются с опыта, дающего максимальное количество информации в единицу времени; . критерий максимальной ценности информации, с применением которого контроль и поиск неисправности начинаются с опыта, даю­ щего максимальную ценность информации. Критерий максимального количества информации целесообразно использовать при автоматическом контроле и поиске неисправностей. Критерий максимальной ценности информации следует исполь­ зовать при разработке инструкций по эксплуатации оборудова­ ния обслуживающим персоналом. Рассмотрим методику выбора оптимальных алгоритмов контроля и поиска неисправностей в системе, основанной на применении критерия максимального количества информации. При этом предполагается, что система контроля работает без ошибок. Неопределенность состояния контролируемой системы до начала контроля и поиска неисправностей характеризуется ее полной энтро­ пией Н (Х). Процесс контроля представляет собой сложный опыт Ak, состо­ ящий не более чем из k испытаний а. Среднее количество информации, получаемое при каждом испы• та нии а1 относительно состояния системы Х, /(ai, Х) =Н(Х) - На1(Х), где -наi (Х) = р (Att) HAit (Х) + ... + р (Ai;) HAij (Х) - средняя ус­ ловная энтропия состояния системы после осуществления опыта а,; р (Ali) - вероятность отдельных исходов Aii опыта al. Когда исход сложного опыта Ak однозначно определяет состояние системы, характеризуемое вектором Х, то энтропия системы после осуществления этого опыта Н (Х) = О, а среднее количество информа­ ции о состоянии системы, полученное при осуществлении опыта Ak, /(Ak, Х) =н(Х). Когда исход сложного опыта неполностью раскрывает работоспо­ собность состояния системы, то Нлk(Х)=I=О и /(Ak, Х)<Н(Х). 227
Основа оптимального алгоритма контроля состоит в выборе та­ кого минимального количества опытов а, являющихся составляющи­ ми сложного опыта Ak, каждый из которых давал бы максимальное количество информации. - Процесс контроля должен вестись по алгоритму, составленному на основе критерия /(а,, Х)=Н(Х)- Нае(Х) =lmax, т. е. процесс контроля должен начинаться с опыта, дающего макси­ мальное количество информации. После осуществления опыта а1 система будет обладать энтропией некоторого нового состояния На1 (Х). Предположим, что состояние системы до начала процесса конт­ роля характеризуется состояниями: система исправна с вероятностью Р; система неисправна с вероятностью 1 - Р. Кроме того, для упрощения задачи, а также с учетом опыта эксплу­ атации предположим, что система не работает вследствие отказа толь­ ко одного элемента иэ т, «соединенных» цепочкой, имеющего услов­ ную вероятность отказа qk, определяемую на основе статистических сведений о надежности элементов. Таким образом, отказы элементов системы предполагаются не­ совместными, а для полной группы элементов справедливо равенст­ во (при наличии отказа) ' т ~qk=1. k=l Энтропия системы Н(Х)=-{Рlog2Р+(1-Р)log2(1 -Р) +(1 -Р)f qklog2qk}. k==l (11.48) Предположим, что при осуществлении опыта а1 контролируется п элементов системы, а также, что имеется два исхода опыта: контролируемая часть системы исправна (вероятность этого ис- хода([1- (1-Р)t1 qk]} контролируемая часть системы неисправна (вероятность этого исхода (1 - Р) ~ 1 qk} Средняя условная энтропия состояния системы ·после осущест• вления первого опыта На,(Х)=-{Рlog2Р+(1-Р)log2(1-Р)+(1-Р)tqklog2qk - l=-1 -[1- f qk(l ~P)]log1[1- f qk(l -P)]- k~ k~ - fqk(1-Р)log2(1- Р)fqk}. (11.49) ka=l k,,.,1 228
Количество информации о состоянии системы, получаемое при осуществлении опыта, I(a1 , Х) = -{[1- f qk(1 -P)]log2 [1- f (1 -Р)]+ k=:1 k=1 +[f qk(l -P)]tog2 [f qk'(l -Р)]}. (11.50) k==l k=l Задача состоит в том, чтобы при первом этапе контроля выбрать такое количество. контролируемых элементов, при котором копиче-­ ство получаемой информации было бы максимальным. п Из формулы (11.50) видно, что / (а1 , Х) зависит от Ри ~ qk и являет-- k=l ся максимальным при выполнении условия ~ l 1-~qk(1-Р)= - , k~l 2 или n 1 ~ qk =------ k=l 2(1- Р) • (11.51) Рассмотрим, как изменяется п в зависимости от вероятности ис­ правного состояния объекта Р при соблюдении условия (11.51). п При Р = О должно быть справедливо равенство ~ qk = 0,5. k=I При равенстве вероятностей отказов элементов q1 = q2 = ... qm = l = - получим т т n= Tt (11.52) т. е. первым этапом контроля должна быть охвачена половина эле­ ментов объекта. С ростом Р растет п. При Р = 0,5 п = т, т. е. контролем должны быть на первом этапе охвачены все элементы. С дальнейшим ростом п п Р увеличивается ~ qk. Но так как в реальных условиях сумма ~ qk k=l k=l п не может быть больше единицы, то при Р > 0,5 принимается ~ qk = 1 k=I (рис. 11.3) или п = т. Так как для реальных систем вероятность исправного состояния системы Р > 0t5, то при выборе первого опыта необходимо алгоритм построить так, чтобы охватить контролем т = п элементов системы. Если Р < 0,5 (что практически маловероятно). то первым этапом контроля охватываются не все элементы объекта. Тогда следующий опыт выбирается на основе того же критерия, но с учетом того, что состояние системы характеризуется энтропией (11.49). Опыты ве" дутся до тех пор, пока энтропия системы не станет равной нулю. 229
Алгоритм поиска неисправности в систе• ме составляется nри следующих предполо­ жениях: известно, что система неисправна; в системе отказал только один элемент о 1Р из т, «соединенных» цепочкой; 0,5 р 113 известны априорные вероятности отказа ис. . . всех элементов системы. Методика определения оптимального алгоритма поиска неисправ­ ностей такая же, как и при контроле, т. е. заключается в выборе такого количества опытов, чтобы каждый из них давал максималь- ное количество информации. • Пусть на первом этапе поиска неисправностей а 1 рассматривается п элем~нтов объекта из общего числа т. При этом возможны два ис­ хода опытаJ в рассматриваемой части объекта обнаружен отказ (вероятность этоГо исхода if1 qk} в рассматривае~ой части объекта не обнаружен о'Гказ (вероятность k=l этого исхода J - ±qk)• Количество информации, получаемое при осуществлении опыта а1 , /(а1, х)= -{~1qk]og2~1q1+(1- t1qk)log2(1- ~1 qk)}. (11.53) Из формулы (I 1.53) видно, что для получения максимального ко­ личества информации / (а1 , х) при осуществлении первого опыта по- п иска неисправности необходимо, чтобы сумма ): qk была равной 1 / 2 • k-1 Следующий опыт выбирается на основании того же критерия, но о учетом энтропии состояния системы после осуществления первого опыта а1 . Так, например, при поиске отказа в системе, состоящей из т эле­ ментов, имеющих одинаковую вероятность отказа, необходимо в u т u n в первыи опыт проверить п = 2 элементов, во второи - 2ит.д. Таким образом, алгоритм поиска неисправности отличается от алгоритма контроля вследствие того, что критерии выбора первого опыта различны. Кроме· того, после проведения опыта а1 опыт · а2 в случае поиска неисправности производится исходя из опыта а1 , со­ ответствующего неработоспособности системы, а в случае контроля - исходя из опыта а1 соответствующего работоспособности части системы.
ПРИЛОЖЕНИЕ,______________________ х Ф (х) 1 211 0,00 0,0000 0,01 0,0040 . 0,02 0,0080 0,03 0,0120 0,04 0,0160 0,05 0,0199 0,06 0,0239 0,07 0,0279 0,08 0,0319 0,09 0.0359 0,10 0,0398 О, 11 0,0438 0,12 0,0478 о,13 о,15J7 0,14 0,0557 0,15 0,0596 0,16 0,0636 0,17 0,0675 0,18 0,0714 0,19 0,0753 0,20 0,0793 0,21 0,0832 0,22 0,087] 0,23 0,0910 0,24 0,0948 0,25 0,0987 0,26 О, 1026 0,27 0,1064 0,28 0,1103 0,29 О, 1141 0,30 о, 1179 0,31 о, 1217 0,32 о, 1255 0,33 о, 1293 0,34 о, 1331 0,35 0,1368 0,36 0,1406 1х--z1 Значение функций .Ф (х) = _ rе---r- dz Y2n J о х Ф (х) ~~ 3 4 0,37 О, 1443 0,73 0,2673 0,38 О, 1480 0,74 0,2703 0,39 о, 1517 0,75 0,2734 0,40 О, 1554 0,76 0,2764 0,41 о, 1591 0,77 0,2794 0,42 О, 1628 0,78 0,2823 0,43 0,1664 0,79 0,2852 0,44 0,1700 0,80 0,2881 0,45 О, 1736 0,81 О,2910 0,46 О, 1772 0,82 0,2939 О,47 0,1808 0,83 0,2967 0,48 0,1844 0,84 0,2995 О,49 о, 1879 0,85 0,3023 О,50 0,1915 0,86 0,3051 О,51 0,1950 0,87 0,3078 О,52 о, 1985 0,88 0,3106 О,53 0,2019 0,89 0,3133 О,54 0,2054 0,90 0,3159 О,55 0,2088 0,91 0,3186 О,56 0,2123 0,92 0,3212 О,57 0,2157 0,93 0,3238 О,58 0,2190 о.94 0,3264 0,59 0,2224 0,95 0,3289 0,60 0,2257 0,96 0,3315 0,61 0,229) О.97 0,3340 0,62 0,2324 0,98 0,3365 0,63 0,2357 0,99 0,3389 0,64 0,2389 1,00 0,3413 0,65 0,2422 1,01 0,3438 0,66 0,2454 1,02 0,3461 0,67 0,2486 1.03 О.3485 0,68 0,2517 1,04 0,3508 0,69 0,2549 1,05 0,3531 0,70 0.2580 i,06 0,3554 0,71 0,2611 1.07 0,3577 0,72 0,2642 1,08 0,3599 х Ф (х) 7 в l,09 0,3621 1, 10 (),3643 1, 11 0,3665 1, 12 0,36В6 1, 13 0,3708 1.14 0,3729 1, [5 0,3749 1, 16 0,3770 1, 17 0,3790 1,18 0,3810 1, 19 0,3830 1,20 0,3849 1,21 0,3869 1,22 0,3888 1,23 0,3907 1,24 0,3925 1,25 0,3914 1,26 0,3962 1,27 0,3980 1,28 0,3997 1,29 0,4015 1,30 0,4032 1,31 О.4049 1,32 0,4066 1,33 0,4082 1,34 0,4099 1,35 0,4115 1,36 0JlЗl 1,37 0,4-147 1,38 О.4162 1,39 0,4177 1,40 0,4192 1,41 0,4207 1,42 0,4222 1,43 0.4236 1,44 0,4251 231
Продо.лжение приложения 1 х Ф (х) х Ф (х) х Ф (х) х Ф (х) .1 2 3 4 5 6 11 7 8 1,45 0,4265 1,73 0,4582 2,02 0,4783 2,58 0,4951 J,46 0,4279 1,74 0,4591 2.04 0,4793 2,60 0,4953 1,47 0,4292 1,75 0,4599 2,06 0,4803 2,62 0,4956 1,48 . 0,4306 .1,76 0.4608 2,08 0,4812 2,64 0,4959 1 1,49 0,4319 1,77 0,4616 2,10 0,4821 2,66 0,4961 1,50 0,4332 1,78 0.4625 2,12 0,4830 2,68 0,4963 1,5) 0,4345 1,79 0,4633 2,14 0,4В38 2,70 0,4965 1,52 0,4357 1,80 0,4641 2,16 0,4846 2,72 0,4967 1,53 ОА370 1,81 0,4649 2,18 0.4854 2,74 ОА969 1,54 0,4382 1,82 0,4656 2,20 0,4861 2,-16 0,4971 1,55 0,4394 1,83 0,4664 2,22 0,4868 2,78 0,4973 1,56 0,4406 1,84 0,4671 2,24 ✓ 0,4875 2,80 0.4974 1,57 0,4418 1,85 0,4678 2,26 0,4881 2,82 0,4976 1,58 0,4429 1,86 0,4686 2,28 0,4887 2,84 0,4977 t,59 0,4441 1,87 0,4693 2,30 0,4893 2,86 0J979 1,60 0.4452 1,88 0,4699 2,32 0,4898 2,88 0,4980 1,61 0,4463 ],89 0,4706 2,34 0,4904 2,90 ,-· 0,4981 1,62 0,4474 1,90 0,4718 2,36 0,4909 2,92 ! 0.4982 1,63 0,4484 1,91 0,4719 2,38 0,4913 2,94 0,4984 1,64 0,4495 1,92 0,4726 2t40 0,4918 2,96 0,4985 1,65 0,4505 1,93 0,4732 2,42 0,4922 2,98 0,4986 1,66 0,4515 1,94 0,4738 2,44 0,4927 3,00 0,49865 1,67 0,4525 1,95 0,4744 2,46 0,4931 3,20 О.49931 1,68 0,4535 1,96 • 0,4750 2,48 0,4934 3,40 0,49966 1,69 0,4545 1,97 0,4756 2,50 0,4938 3,60 0,499841 1,70 0,4554 J,98 0,4761 2,52 0,4941 3,80 0,499928 1,71 0,4564 1,99 0,4767 2,54 0,4945 4,00 0,499968 1,72 0,4573 2,00 0,4772 2,56 0,4948 4,50 0,499997 5,00 0,4999999 1
Список рекомев,цуемой JIИтературы 1. МатsриаАЫ XXVI съезда I<ПСС.- М. : Политизжат, 1981. - 2 23 с. 2. Буга Н. Н. Основы теории связи и передачи данных.- Л. : Энергия, 1968. - Ч.1.- 500 о. 3. Кузьмин И. В. Теоретические основы информационной техники.- Х. : ХВКИУ ,. 1969. - 162 с. 4. Хартли Р. Л. Передач! информации //Теория информации и ее nриложения.­ М., 1959.- 350 с. 5. Котельников В. А. Теория потенциальной помехоустойчивости.- М.: Гос- sнергоиэдат, 1956. - 152 с. · 6. Кузьмин И. В. Оценка зффективности и оптимизация АСКУ.- М. : Сов. радио" 1971. - 294 с. • 7. Кузьмин. И. В. Проектирование автоматизированных телемеханических сис-rем­ контроля и управления. Ч.3. Оператор в системе контроля и управления. - Х. :. ХВI(ИУ, 1970.- 130 с. 8. Элементы технической кибернетики. Терминология.- М. : Наука, 1968. - 52 с. 9. Харкевич А. А. Спектры и анализ.- М. : Фиэматгиз, 1962.- 236 с. 10. Тихонов В. И. Статистическая радиотехника.- М. : Сов. радио, 1966.- 678 с. 11. Солодов А. В. Теория информации и ее применение к задачам автоматического- управления и контроля.- М.: Наука, 1967. - 432 с. . •12. Жуховицкиа Б. Я. Сигналы телемеханики и их преобразования.- М. : Гос­ sнерrоиэдат, 1963.- 96 с. 13. Фел.ьбаум А. А. и др. Теоретические основы управления.- М. ~ Фиэматгиз,. 1963.- 932 с. 14. Ицхоки Я. С. Импульсные устройства.- М. : Сов. радио,·1959.- 728 с. 15. Кедрус В. А. Основы телемеханики.- Х. : ХВКИУ, 1969. - Ч . 1 - 238 с. 16. Левин Б. Р. Теория случайных процессов и ее применение в радиотехнике.-­ М. : Сов. радио, 1960. - 663 с. 17. Назаров М. В. и др. Теория передачи сигналов.- М. : Связь, 1970. - 368 с. 18. Жел.езнов Н. А. Некоторые вопросы теории информационных sлектрнческих систем.- Л. : ЛКВВИА им. А. Ф. Можайского, 1960. - 320 с. 19. Хлистун.ов В. Н. Основы цифровой электроизмерительной техники.- М. :. Энергия, 1966. - 346 с. 20. Долотов В. Г. Дискретное отображение сигналов.- М.: МЭИ, 1976. - 84 с._ 21. Мановцев А" П. Основы теории радиотелеметрии.- М. : Энергия, 1973.- 592 с.. _ 22. Фридрих 3. К. К теории дискретных отчетов //Тр. МЭИ.- М., 1963.- Вы п. 52.- с . 31-46. 23. Темников Ф. Е. и др. Теоретические основы информационной техники .. - М. : Энергия, 1979.- 512 с. 24" Кедрус В. А. Цифровые электроизмерительные приборы - Х.: ХВКИУ, 1965. - 108 с. 25. Шастова Г. А. l(одирование и помехоустойчивость передачи телемеханиче-­ ской информации.- М. : Энергия. 1966. - 454 с. 26. Градштейн И. С.; РЬ1Жик И. М. Таблицы интегралов, сумм, рядов и произ­ ведений.- 5-е изд., перераб. и доп.- М. : Наука, 1971.- 1108 с. 27. Основы теории прохождения сигналов и ее приложение к телемеханике/ Под. ред. В. А. Кедруса.- М. : ИМО, 1975. - 448 с. 28. Кодирование информации. Двоичные коды: Справочник/ Под ред. Н. Т. Бе-· резнюка.- Х. : Вища шк., Изд-во при Харьк. ун-те, 1978. - 252 с. 29. Харкевич А. А. Борьба с помехами.- М.: Наука, 1965.- 2 7 б с . 233.
30. Заренин, Ю. Г. Корректирующие коды для передачи и обработки информа" ции.- К. : Технiка. 1965. - 170 с. • 31. Передача дискретной информации и телеграфия /В. С. Гуров, Г. А. Емельянов, Н. Н. Етрухин и др.- М. : Связь. 1974.- 526 с. 32. Удалов !1. П., Супрун, Б. А. Избыточное кодирование при пере.l{аче информа­ щии двоичными кодами.- М. : Связь, 1964.- 2 70 с. 33. Фан,о Р. Передача информации. Статистическая теория связи.- М. : Мир, -1965. - 438 с. • 34. Шляпоберский. В. И. Элементы дискретных систем связи.- М.: Воениздат, 196:1 - 256 с. 35. Питерсон Jl. Коды, исправляющие ошибки : Пер. с англ ..:._ М. : Мир, 1964. -· :340 с. 36. Хемминг Р. В. Коды с обнаружением и исправлением ошибок.- М.: Мир, 1956. -23 с. 37. Боуэ Р. К., Рай-Чоудхури Д. /(. 06 одном классе двоичных групповых ко" .дов с исправ"1ением ошибок// Кибернетический сб. Вып. 2.- М .• 1961.-С. 112-118. 38. Цымбал В. П. Задачник по теории информации и кодированию.- К.: Вища ruк. Головное изд-во, 1976.- 2 76 с. 39. Элиас П. Безошибочное кодирование// К.оды с обнаружением и исправлением ..ошибок / Под ред. А. М. Петровского.- М.. 1956.- С. 59-71. 40. Элиас П. Кодирование и декодирование// Лекции по теории систем связи/ Под ред. Е. Дж. Багдади.- М., 1964. - С. 289-317. 41. Дмитриев В. И., Иванов А. В-. Простой способ коррекции ошибок на магнит" -ном носителе// Электроника и автоматика : Тр. МЭИ.- М., 1972. - No 140.- -С. 95-105. , 42. Возен.крафт Дж., Рейфен Б. Последовательное декодирование.- М.: Изд-во -иностр. лит., 1963.- 156 с. 43. Азаров В. В. Использование рекурентноrо кода при блочной передаче двоич" .:ных сообщений// Вопр. радиоэлектроники. Сер. 11. - 1966. - Вы п. 2.- С . 19-23. 44. Масси Дж. Пороговое декодирование.- М. : Мир, 1966.- 208 с. 45. Фин,к Л. М. Теория передачи дискретных сообщений.- М. ='Сов. радио, 1970.- 728 с. 46. Хетагуров fl. Н., Рудн,ев Ю. П. Повышение надежности цифровых устройств ·методами избыточного кодирования.- М. : Энергия, 1974.- 2 72 с. 47. Хин.чин А. Я. Понятие энтропии в теории информации// Успехи мат. на• ·ук.- М., 1953.- Т. в. вып. 3. - С. 3-21. 48. Зелен.ый Д. М. Основы теории информации и оптимального приема.- Л. : -ВМА, 1966. - 370 с. 49. Колмогоров А. Н. Теория передачи информации : Сес. АН СССР по науч. ·пробл. автоматизации пр-ва. Пленар. заседания.- М.: Изд-во АН CCCPt 1957. - 15 с. 50. Шен,н,он, К. Э. Работы по теории информации и кибернетика.- М. : Изд-во иностр. лит., 1963. - 829 с. 51. Кловский Д. ·Д. Теория передачи сигналов.- М. : Связь, 1973.- 376 с. 52. Латхи В. П. Системы передачи информации/ Под ред. Б. И. Кушинова.- ,М.: Связь, 1971. - 318 с. • 53. Каневский 3. М . ., Финкельштейн, М. И. Флюктуацнонные помехи и обнару­ жение импульсных радиосигналов.- М. : Госэнерrоиздат, 1963. - 216 с. 54. Левин, Б. Р. Теоретические основы статистической радиотехники.- М. : Сов. радио, 1968.- 728 с. 55. Гуткин, Л. С. Теория оптимальных методов радиоприема при флюктуацион" ,ных помехах.- М. : Госэнергоиздат, 1961.- 488 с. 56. Терен,тьев С. Н. Основы общей теории связи.- Х.: ХВКИУ, 1968. - 230 с. 57. Оливер Б. Эффективное кодирование// Теория информации и ее приложе­ ния.- М. t 1959. С. 1- 15. _ 58. Беляков В. В. и др. Основы теории прохождения сигналов.- Ростов-на/ Д: РВКИУ, 1970. - 296 с. 59. Харкевич А. А. Очерки общей теории связи.- М. : Гостехиздат, 1955.- 250 с. 60. Клюев Н. И. Информационные основы передачи сообщений.- М. : Сов. радио, 1966. - 360 с. 61. Васильев П. Р . ., Шастова Г. А. Передача телемеханической информации.­ М. : Энергия. 1960. - 530 с. ~34
• '7'" , ~--1..:>.,, т, ~, ·,.·,,1· ••~•. •• ' -~ ..\ .•,_ -=- -,· 62. Катков Ф. А., Попов А. Б. Частотные системы телеуправле'н:·и.я. по· заняirьtм - _ _ .~ - - -, .:~ каналам связи.- К. : Гостехиздатt 1963. - 89 с. --- -• _': 63. Катков Ф. А. Многочастотные узкополосные системы телеуправления.- К. : Гостехиздат УССР, 1960. - 208 с. 64. Котов П. А. Повышение достоверности передачи цифровой информации.­ М. : Связь, 1966.- 1-84 с. 65. Мартынов Ю. М. Обработка информации в системах передачи J1.анных.- М. : Связь, 1969.- 263 с. 66. Каневскuй З. М. Передача сообщений с информационной обратной связью.- М. : Связь, 1969. - 263 с. , 67. Мановцев А. П. Основы теории и расчета цифровых радиотелеметрических систем.- М. : ВИА, 1965.- 520 с. 68. Мановцев А. П. Введение в цифровую радиотелеметрию.- М. : Энергия, 1967.- 344 с. 69. Новl:J,цкий П. В. Основы информационной теории измерительных устройств.­ М. : Энергия, 1968. - 2 48 с. • 70. Сидн,еев И. М. О выборе параметров, определяющих состояние технического устройства при автоматическом контроле// Тр. ВВИА.- М., 1963. - В ып . 1020. - 1-7 с. 71. Кузьмин И. В., Кедрус В. А. К.ритерии оценки качества функционирования и пути оптимизации систем автоматизированной проверки измерительных средств / / Приборы и системы автоматики: Респ. межвед. темат. науч.-техн. сб. Автоматизир. системы упр. и приборы автоматики.- Х., 1972. - В ы п . 28. - С . 3-10. 72. Красовский А. А., Поспелов Г. С. Основы автоматики и технической киберне- тики.- М. : Госэнергоиздат, 1962. - 6(0 с. . 13. Шрейдер Ю. А. О семантичес1шх аспектах теории информации// Теорет. пробл. информатики.- М., 1968. - С . 152-173. 74. Ефимов А. Н. Информация: ценность, рассеяние, старение// Новое в жизни, науке и технике. Сер. Математика и кибернетика.- 1978. - No 5. - С . 64. 75. Харкевuч А. А. Теория информации. Опознание образов :Избр. тр.-М.: Наука, 1973.- Т . 3.- 524 с. - 76. Страт9нович Р. Л. Теория информации.- М.: Сов. радио, 1975. - 4~4 с. 77. Кузьмин И. В., Кедрус В. А. Основы теории информации и кодирования.­ К. : Вища шк. Головное изд-во, 1977. - 280 с. 78. Автоматизированные системы управления городским хозяйством / Под ред. И. В. Кузьмина - К.: Будiвельник, 1978.- 14 4 с. 79. Кузьмин И. В., Явна А. А., КлючкоВ. И. Элементы вероятностных моделей АСУ.- М. : Сов. радио, 1975. - 3 35 с. 80. Вычислительные центры коллективного пользования / Под ред. И. В. Кузь­ мина, В. И. Максименко - М. : Статистика, 1980.- 232 с. 81. Основы моделирования сложных систем/ Под ред. И. В. Кузьмина - К.: Вища шк. Головное изд-во, 1981. - 360 с. _ 82. Кузьмин, И. В., Вергасов В. М., Фурдияк Н. Е. Методические рекомендации по совершенствованию учебно-воспитательного процесса посредством проблемного обучения.- Винница : МВССО YCCPt 1982·. - 40 с. 83. Кузьмин, И. В. Методические рекомендации к чтению первой части курса «Ос­ новы научных исследований».- Винница : МВССО УССР, 1982. - 36 с. 84. Кузьмин, И. В. Методические указания no идейной и партийной направлен­ ности курса: «Основы теории сложных систем»~- Винница :·МВССО УССР, 1980.- 16 с. -
236 ОrлаВJiевие ----------------------- Предисловие ко второму изданию . . Введение............ ...... ГJ1ава 1. ИНФОРМАЦИЯ.И ИНФОРМАЦИОННЫЕ СИСТЕМЫ .. 3 4 б 1.1. Основные понятия и определения . . . . . . . . . . 6 1.2. ·критерии оценки эффективности качества информационных си- стем ................ 1О 1.3 . Предмет и метод теории информации . . . . . . . . . . . 11 Контрольн,швопросы.................... 13 Глава 2. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДЕТЕРМИНИРОВАННЫХ СИГНАЛОВ 2.1. Общая характеристика сигналов . . . . . . . . . . 2.2. Частотное представление детерминированных сигналов Периодическиесигналы .......... Непериодические сигналы . . . . . . . . Энергетическое толкование спектра сигнала Практиче9кая ширина спектра сигнала . . . 2.3 . Примеры . .. . . . . . . . . . . . . . . Контрольныевопросы ............ Глава 3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ СЛУЧАЙНЫХ СИГНАЛОВ . 3.1. Случайные сигналы и их вероятностные характеристики . . . 3.2. Числовые характеристики случайного процесса . . . . . . . 3.3 . Стационарные случайные процессы . . . . . . . . . . . . 3.4 . Свойства корреляционной функции стационарного случайного процесса ........................ 3.5. Эргодичность стационарных процессов . . . . . . . . . . 3.6. Спектральная плотность случайного процесса . . . . . 3.7 . Широкополосные и узкополосные процессы 3.8. Эффективная ширина спектра случайного процесса 3.9 . -Примеры . . . . . . . . . . Контрольные вопросы, . . . . . ....... Глава 4. l(ВАНТОВАНИЕ СИГНАЛОВ 4.1 . Способы квантования сигналов . . . . 4.2 . Квантование по времени . . . 4.3. Равномерное квантование по времени Частотный критерий Котельникова . Корреляционный критерий Железнова Критерий допустимого отклонения . . . . . . 4.4 . Квантование по уровню . . . . . . . . . . . . 4. 5 Равномерное квантование по уровню . . . . . . . 4.6 . Неравномерное квантование по уровню . . . . . . . . 4. 7. Примеры . . . . . . . . Кон,трольн,ыевопрось,, .......... ]3 15 16 18 20 22 25 29 29 32 35 37 39 40 41 44 45 52 52' 52 5Z 54 54 56 57 60 61 64 66 70
r.яава 5. КОДИРОВАНИЕ СИГНАЛОВ . . . . . . . . . . . . . . . . •... 7U 5.1 . Цель кодирования. Основные понятия и определения . . •. 70 5.2 . Равномерные простые цифровые коды . . . . . . . . . 74 5.3. Составные коды . . . . . . . . . . . . . . . . . . . . 76 5.4 . Рефлексные (отраженные) коды . . . . . . . . . . . •. 76 5.5. Помехоустойчивое кодирование. Классификация помехоустой- ..... _• чивыхкодов ........................ 78 5.6 . Основные принципы помехоустойчивого кодирования . . . . 79 5.7 . Связь корректирующей способности кода с кодовым расстоянием . . . . . . . . . . . . . . . . . . . . . . . . 5.8 . Построение кодов с заданной исправляющей способностью . . .5.9. Показатели качества корректирующего кода . . . . 5.10. Систематические коды • . . .•. 5.11 . Коды с обнаружением ошибок . . . . .. Код с четным числом единиц I(од с удвоением элементов . . . . . . . . . . . Инверсныйкод ............. . . . . 5.12. I<оды с обнаружением и исправлением ошибок . . "... l(одыХэмминга..... . . . . . . " Циклические коды . . . . . Итеративные коды Рекуррентные коды 5.13. Примеры . . . . . . . . Контрольные вопросы . • • • . . . ... •• Глава 6. ИНФОРМАЦИОННЫЕ МОДЕЛИ СИГНАЛОВ ... ... ... .. . 6.1 . Количество информации и неопределенность. Энтропия как меранеопределенности ................... 6.2 . Свойства энтропии дискретных сообщений . . . 6.3 . Энтропия непрерывных сообщений . . . . 6А. Энтропия сложных сообщений . . . . . . . . . 6.5. Количество информации ripи неполной достоверности сооб- щений ..... ,. . . . . . . . . . . . . . . . . . . . . . Дискретныесообщения................. Непрерывныесообщения.............. 81 84 85 86 90 90 90 91 91 91 93 101 102 104 114 115 115 118 118 120 123 123 12§ 6.6. Энтропия и количество информации при статистической зави­ симостиэлементов сообщений .......... . . . 129 130 . . 132 6. 7. Избыточность сообщений . . . . . . . . . . 6.8 . •Примеры . .. . . . . . . . . . . . . контрольflые вопросы . а • • • • • • • • • • • • • • • • • • 139 Глава 7. ПЕРЕДД ЧА ИНФОРМАЦИИ . . . . . . . . . . . . . . . . . . . . . 139 7.1. Обобщенные характеристики сигналов и информационных каналов .........................., 139 7.2. Скорость передачи информации и пропускная способность дне- , , кретногоканалабезпомех..................141 7.3 . Скорость передачи информации и пропускная способность дискретногоканаласпомехами...............144 7.4. Скорость передачи информации и пропускная способность непрерывного канала с помехами . . . . . . . . 145 7.5. Примеры . . . . . . . . . . . . . . . . . . . . . . . . 151 К01tтрольныевопросы ......... ••......••• 156 Глава 8. ОПТИМАЛЬНЫЙ ПРИЕМ И ОБРАБОТКА ИНФОРМАЦИИ . . •.. 156 8.1 . Частотная фильтрация . . . . . . . . . . . 157 8.2 . Метод накопления . . . . . . . . . . . . . . . ~...158 8.3 . l(орреляционный метод . . . . . . . . . . . . . . . . . 161 8.4. Согласованная фильтрация . . . . . . . . . . . . . . . 162 8.5 . Сущность основной задачи приема сигналов при наличии помех 163 8.6. Обнаружение сигнала . . . . . . . . . . . 165 8.7 . Различение сигналов ... .......• ....... -172 237
8.8. Восстановление сигналов . . . .. . . ... . . . . ,.. .· . 8.9 . Примеры . . . . . . . . . . . . . . . . . . . . . . Контрольные вопросы . . . . . . . . . . . . . . . . .. Глава 9. ЭФФЕКТИВНОСТЬ ИНФОРМАЦИОННЫХ СИСТЕМ ... ... . . 9.1. Критерии оценки эффективности информационных систем . 9.2 . Способы повышения эффективности информационных систем 9.3 . Перераспределение плотностей вероятностей элементов сооб- щения ........................... 9.4 . Декорреляция сообщений . . . . . . . . . . . . . . . . 9.5. Оптимальное статистическое кодирование . .,. . . . . . . 9.6. Примеры . . . . . . . . . . . . . . . . . . . . . . . Кон,трольны,евопросы................ ••••• Гла11а 10. ПОМЕХОУСТОЙЧИВОСТЬ ИНФОРМАЦИОННЫХ СИСТЕМ ... . 10.1 . Общая характеристика помех в системах лередаqи инфор- маци11 ........ , . . . . . . . . . . . • . ,.... ... . . . . 10.2. Критерии оценки помехоустойчивости информационных систем . . . . . . . . . . . . . . . . . . . . . . . . . . 10.3 . Способы повышения помехоустойчивости информационных систем ............................. 10.4 . Помехоустойчивость различных видов модуляции . . . . Амплитудная и частотная модуляция . . . . . . . . ... Кодоимпульснаямодуляция............... 10.5 . Системы с обратной связью . . . . . . . . . . . . . . . 10.6. Примеры . . . . . . . . . . . . . . . . . . . . . . . Контрольныевопросы................ • . . . Глава 11. ИНФОРМАЦИОННАЯ ОЦЕНКА АВТОМАТИЗИРОВАННЫХ СИСТЕМ УПРАВЛЕНИ.ЯИКОНТРОЛЯ......................... 11.1 . Общая характеристика автоматизированных систем контроля иуправления(ACI<Y) .................... 11.2 . Оценка степени неопределенности состояния объекта контроля 11.3. Информационная оценка точности результата контроля . . 1I .4 . Информационная способность устройства контроля и инфор­ мационныйк.п.д.процессаконтроля.............. 11.5. Пропускная способность процесса контроля . . . . . . . 11.6. Энтропия и информация в системах автоматического управ• пения . . . . . . . . . . . . . .. . . . . . . . . . . . . . 11. 7. Оценка эффективности АСКУ . i • • • • • • • • • • • • 11 .8. Информационное обоснование оптимального алгоритма кон- троля и поиска неисправностей . . . . . . . . . . Приложеflие .... Список рекоме·ндуемой литературы Оглавление........................ 174 177 182 183 183 184 185 187 188 192 195 196 196 198 ·201 203 204 206 210 212 213 213 214 216 219 · 220 221 225 226 23} 233 236 r. ,' r 1