д	Т. КОХОНЕН

Ассоциативная

издательство

«МИР»
I	T. КОХОНЕН	(

Ассоциативная
I	память

>

Перевод с английского
|	канд. физ.-мат. наук

I	в. к. БЫХОВСКОГО

Издательство «Мир»

Москва 1980
ПРЕДИСЛОВИЕ К РУССКОМУ ПЕРЕВОДУ

В последние годы наметились два основных на-
правления создания высокопроизводительных ЭВМ,
предназначенных для анализа сложных проблем уп-
равления динамическими системами и технологиче-
скими комплексами, а также для применения
в автоматах и роботах. С одной стороны, разрабаты-
вается элементная база ЭВМ, с другой — ведутся по-
иски более эффективных принципов управления си-
стемами. Последнее направление часто связывается
с разработкой ЭВМ новой архитектуры.

Применение интегральных схем с высокой сте-
пенью интеграции привело к созданию микропроцес-
соров и даже микро-ЭВМ на кристалле кремния раз-
мерами в два-три десятка квадратных миллиметров.
Такие небольшие по размерам устройства могут
встраиваться в самые разнообразные изделия, прида-
вая им новые, «интеллектуальные» свойства.

Однако наряду с успехами, достигнутыми в обла-
сти создания современной элементной базы ЭВМ,
обнаружились и серьезные недостатки в архитектуре
последних. С момента первых практических примене-
ний вычислительных машин и вплоть до настоящего
времени их.архитектура в сущности не претерпела ка-
ких-либо фундаментальных изменений и отражала
точку зрения на ЭВМ скорее как на инструмент для
вычислений («большой арифмометр»), чем на регуля-
тор или искусственный интеллект. Такое односторон-
нее толкование функций ЭВМ обусловило значитель-
ный разрыв между возможностями ЭВМ, спроектиро-
ванных исходя из традиционных архитектурных
принципов, и потребностями современной техники и
производства. Эта диспропорция обычно связывается.
С трудностями ввода — вывода информации и обще-
ния человека с ЭВМ, что в какой-то степени преодоле-
вается с помощью дорогостоящего программного обе-
спечения (операционных систем), компенсирующего
некоторые структурные недостатки вычислительных
машин. Однако становится все более очевидным, что
гипертрофированное развитие программного обеспе-
чения является следствием неадекватных принципов
обработки информации, положенных в основу совре-
менных ЭВМ. В силу тех же причин разработчики
мультипроцессорных вычислительных систем — насчи-
тывающих десятки, сотни и даже тысячи микропро-
цессоров и предназначенных для обработки больших
массивов информации и многоканального управления
объектами — сталкиваются с принципиальными труд-
ностями, связанными с необходимостью распаралле-
ливания процессов управления и вычислений и не
менее сложными задачами создания языков парал-
лельного программирования и соответствующих транс-
ляторов.

Поэтому представляют интерес совершенно иные
' подходы к решению проблемы построения адекват-
ной архитектуры ЭВМ и управления сложными си-
стемами. В книге проф. Кохонена предпринята по-
пытка развить новые концепции обработки информа-
ции и анализа сложных ситуаций. Их сущность
заключается в обращении к механизмам ассоциатив-
ной обработки информации, родственным, по-видимо-
му, процессам анализа и синтеза, протекающим в
мозгу человека. Вместо традиционного математиче-
ского моделирования, требующего разработки моде-
ли, программирования и анализа результатов, исполь-
зуется особая, так называемая ассоциативная среда,
пригодная для запоминания некоторой априорной
информации в виде упорядоченной системы отноше-
ний между ее элементами. Записанные в ассоциатив-
ной памяти априорные отношения, или ассоциации,
играют роль математической модели явления (про-
цесса) и позволяют отыскивать «скрытые» связи, со-
ответствующие новой входной информации (новой
ситуации).

Как известно, отыскание связей или закономерно-
стей — главная задача науки (и основное требование
успешной адаптации к сложной среде), и в этом от-
ношении ассоциативный метод анализа явлений не-
посредственнее и нагляднее, чем «неявное» задание
связей или закономерностей в виде формализованной’
математической модели узкого круга явлений. С этой
точки зрения, например, система дифференциальных
уравнений является частным случаем представления
связей в виде трехмерных упорядоченных во времени
и пространстве ассоциаций элементов и структур
данных.

В книге рассматриваются методы математического
описания ассоциативных структур данных и манипу-
лирования ими, а также принципиальные вопросы
реализации и возможная связь ассоциативных запо-
минающих систем с процессами, протекающими в
мозгу человека. Такой комплексный характер рас-
смотрения проблемы выгодно отличает книгу проф.
Кохонена от ряда изданных в последние годы книг
по перспективам развития ЭВМ и делает ее полезной
как для специалистов по вычислительной технике,
так и для специалистов в смежных областях исследо-
ваний и разработок. Наряду с теоретическими резуль-
татами в книге представлены весьма интересные
примеры машинного моделирования ассоциативных
процессов обработки -.информации. Так, программы
выявления недостающих фрагментов в изображениях,
а также программы устранения шумов и установле-
ния различий между отдельными состояниями иссле-
дуемых объектов могут быть непосредственно исполь-
зованы при разработке систем априорной и апостери-
орной обработки данных в медицине, технической
диагностике, связи и т. д.

Хотя в книге и не нашли отражения некоторые
теоретические и экспериментальные исследования
ассоциативных ЭВМ и биологических механизмов за-
поминания и обработки информации, предлагаемая
советскому читателю книга несомненно окажет сти-
мулирующее влияние на исследователей и инженеров,
чья деятельность связана с такими направлениями
науки и техники, как архитектура ЭВМ, искусствен-
ный интеллект, автоматическое управление, робото-
техника и т. д. Можно ожидать, что в ближайшие
годы разработчики ЭВМ уделят значительное внима-
ние новому поколению вычислительных машин, спо-
собных решать задачи не только путем традиционных
вычислений, но и на основе первоначального накоп-
ления опыта решения задач в виде ассоциаций (меж-
ду условиями и решениями) и последующего исполь-
зования этого опыта для обнаружения связей и зако-
номерностей в новых условиях. По-видимому, архи-
тектура таких машин станет однороднее и будет
в большей степени соответствовать требованиям со-
временной технологии изготовления электронных ком-
понентов. И очень возможно, что в скором времени
ассоциативные ЭВМ окажутся незаменимыми в каче-
стве моделей механизмов запоминания и обработки
информации в мозгу человека и животных.

В. К. Быховский
ПРЕДИСЛОВИЕ

Проблемы, рассмотренные в книге. В этой книге
предпринята попытка рассмотреть противоречивые и
довольно расплывчатые представления об ассоциа-
циях, ассоциативной памяти и ассоциативном воспо-
минании, или ассоциативной выборке. Обзор такого
рода, видимо, необходим, так как, насколько нам из-
вестно, до сих пор нет монографии, посвященной обсу-
ждаемой здесь теме. Однако главным стимулом для
написания книги послужили другие причины. Дело в
том, что полученные в последние годы результаты мно-
гих системно-теоретических исследований способство-
вали разработке новой концепции ассоциативной
памяти, существенно отличающейся от принятых в на-
стоящее время — абстрактной и ориентированной на
вычислительную технику. Согласно предлагаемой кон-
цепции, определение ассоциативной памяти — предна-
значенной, вообще говоря, для хранения информации
вместе с отношениями, или ассоциациями, между эле-
ментам^ данных, а также селективной выборки запо-
минаемой информации по отдельным ее фрагментам —
следует соотносить не столько с технологией проек-
тирования пусть даже самых современных запоми-
нающих устройств ЭВМ, сколько с весьма общими,
математически описываемыми процессами, протекаю-
щими в физических или иных системах и характери-
зующимися адаптивным изменением состояний запо-
минающей среды. С этой точки зрения представляется,
что хорошо известные типы ассоциативной памяти, а
именно конкретные схемы памяти для ЭВМ или абст-
рактные системы и данные, в действительности яв-
ляются лишь частными примерами более широкого
класса процессов, объединенных термином «ассоциа-
тивная память».

Таким образом, описанные в книге исследования
следует рассматривать как новый системно-теорети-
ческий подход к проблеме ассоциативной памяти. Хо-
телось бы надеяться, что приведенные формальные
• методы и примеры их использования вызовут интерес
.у специалистов, работающих в области кибернетики,
вычислительной техники, математической психологии,
физиологии и физики.

Различные аспекты рассмотрения памяти. Проб-'
лема памяти рассматривается в современной науке
с самых различных позиций, чем и объясняется раз-
нообразие моделей памяти. Подобно тому как совре-
менная концепция вычислений основана на понятиях
машины, программы и информационного процесса,
связанного с выполнением программы на машине,
концепция памяти кибернетической системы предпо-
лагает наличие 1) субстрата памяти, ,т. е. электронной
системы, физической системы или органического ве-
щества, которые являются носителями информации,
2) множества записанных в памяти образов (в био-
логии их называют «следами» .памяти)., 3) некоторой
абстрактной структуры знаний, неявно закодирован-
ной в образах, и соответствующих смысловых связей
между образами, а также 4) возможности восстанов-
ления некоторых событий в процессе, аналогичном
воспоминанию.

Благодарности. Большинство идей, высказанных
в книге, появилось в ходе многочисленных обсужде-
ний. В частности, при работе над книгой мне оказали
ценную помощь Пекка Лехтио и Эрки Ойя. Многие
сотрудники лаборатории внесли вклад в разработку
моделирующих программ и примеров, представлен- ,
ных в книге. Я благодарен всем, кто помогал .мне;
это — К. Врай, Л. Гиппелейнен, И. Хивдринен,
Л. Хелл, Т. Юнккари, И. Кархунен, X. Лейне, X. По- '•
янпело, И. Рекула, Е. Риихимяки, Й. Ровамо, П. Тей-
тинен, Й. Туоминен и Л. Вайнио. Очень полезны
были некоторые замечания, высказанные акад. Эрки
Лаурила, проф. Джеймсом А. Андерсоном и проф.
Майклом А. Арбибом. А также благодарен моей жене
за поддержку.

Работа курировалась Академией Финляндии.

Отаниеми, Финляндия,
январь 1977 г,

Т. Кохонен
ГЛАВА 1

Введение

1.1.	О физическом смысле ассоциативных
информационных структур

При рассмотрении «разумных» кибернетических
функций как физических процессов одна из первых за-
дач заключается в установлении соответствия между
переменными состояниями и соответствующими физи-
ческими понятиями с учетом существующих между
ними связей. Принципы символического представле-
ния информации в ЭВМ вообще хорошо известны; ме-
нее ясно, однако, как описывать связи между элемен-
тами информации. Один из возможных способов (осо-
бенно при анализе лингвистических выражений) —
введение элементарных отношений, каждое из которых
представляет собой пару элементов, связанных сим-
волическим признаком (ср. подразд. 1.1.2). Из таких
элементарных отношений можно конструировать до-
вольно сложные структуры. Весьма распространенная
точка зрения состоит в том, что и знания в самом
общем смысле можно представить с помощью струк-
тур, образованных отношениями.

Лингвистические конструкции такого типа мож-
но обработать в ЭВМ, однако не совсем ясно, как
такая обработка может быть реализована в живых
организмах, не обладающих специфической организа-
цией, присущей ЭВМ. Тем не менее знания или «па-
мять», представленные в структурной форме, по-ви-
димому, играют фундаментальную роль в биологиче-
ских информационных системах и связаны с многими
кибернетическими функциями. Давно замечено, что
биологическая память тесно связана с процессами
мышления: «Итак, память относится к способностям
души, к которым также относится и воображение; всё
воображаемые объекты — объекты памяти; между
прочим, все то, что связано с образами, также является
объектами памяти» (Аристотель, 384—322 гг. дон.э.)\

Принципы работы биологических информационных
систем в значительной мере относятся к области до-
гадок; между тем собраны многочисленные данные,
касающиеся их химических и физических свойств. Ис-
ходя из теории систем, проблема заключается в вы-
яснении по крайней мере основных принципов
функционирования живых систем. При этом систем-
ный подход целесообразен не только с точки зрения
возможности физического объяснения процессов мыш-
ления, а представляет самостоятельный интерес, по-
скольку открывает пути применения установленных
принципов работы к неорганическим системам.

Широко распространена концепция, в соответствии
с которой организация и поиск информации в биоло-
гической памяти осуществляются на основе принци-
пов ассоциации. Однако очень редко указывается, что
именно подразумевается под этими процессами.
Иногда под ассоциацией просто понимается структу-
ра, образование которой обусловлено одновременным
или последовательным появлением нескольких эле-
ментов и их признаков. Другое, более точное опреде-
ление ассоциаций будет дано в последующих разде-
лах книги.

1.1.1.	Системная модель ассоциативной памяти

Даже наиболее сложные процессы обработки ин-
формации должны быть в конечном счете основаны
на некоторых элементарных принципах. При работе
памяти элементарный процесс связан с селективной
записью и выборкой элементов информации. Одна из
простейших системных моделей, обладающая свойст-
вами памяти, показана на рис. 1.1. Модель состоит
из запоминающей среды, связанной с каналами вво-
да и вывода информации. Основное свойство такой
памяти заключается в способности запоминать копии
сигналов, или образов, появляющихся во входном ка-
нале. В памяти ЭВМ поиск некоторого элемента ин-
формации обычно осуществляется путем задания ко-
ординат места хранения этого элемента. Однако для
биологических систем памяти характерна ассоциатив-
ная выборка. При этом, когда на входе появляется

на caum&J-kt- И I I П И И I
некоторый ключ-стимул К, на выходе памяти форми-
руется специальная ответная реакция R, связанная
с ключом К. Как стимул, так и ответная реакция
представляют собой сложные сигналы — образы. По-
мимо этого на входе может быть также указана до-
полнительная информация С, представляющая собой
контекст, в котором встречается входной стимул. За-
давая тот или иной контекст, можно более точно кон-
кретизировать элемент, подлежащий выборке.

Ключ
(К)

Контекст
(С)

Рис. 1.1. Системная модель памяти с ассоциативной выборкой.

Представленная модель — крайне упрощенная.
Однако она может показать, как реализуется систем-
но-теоретический подход к физической памяти (осо-
бенно когда речь идет об ассоциативной памяти).
Тем не менее предстоит еще дать ответ на ряд вопро-
сов, некоторые из которых перечислены ниже:

1.	Каков простейший тип физической системы
(возможно, это сеть), характеризующейся селектив-
ным ответом при наличии многих пар входных и вы-
ходных сигналов?

2.	Каким образом можно адаптивно под влиянием
самих входных сигналов (и без внешнего управления
процессом запоминания) формировать ассоциации?

3.	Как следует организовать запись и выборку
последовательностей элементов информации, обла-
дающих определенной структурой?

4.	Как представлять в памяти знания, имеющие
структурную форму?

5.	Как осуществить цикличность процесса поиска,
при котором выбранный из памяти элемент инфор-
мации становится ключом для поиска новой инфор-
мации?

6.	Как осуществить поиск информации с использо-
ванием искаженных входных образов или фрагментов
образов?
. 7. Может ли запоминающая система формировать
отклик, инвариантный относительно целого класса
входных образов (проблема эквивалентности входных
стимулов) ?

Есть основания полагать, что теоретические моде-
ли, представленные в настоящей книге, дают ответ на
большинство поставленных вопросов. Количественные
аспекты поведения моделей исследованы с помощью
ЭВМ.

В настоящее время некоторые модели ассоциатив-
ной памяти реализованы в виде электронных (или
иных) схем (в меньшей степени это относится к ос-
новным или принципиальным свойствам ассоциатив-
ной памяти). Главная трудность реализации больших
ассоциативных информационных систем состоит в том,
что для демонстрации наиболее интересных свойств
необходима ассоциативная память значительной ем-
кости.

1.1.2.	Представление знаний с помощью отношений

Чтобы выяснить основные механизмы представле-
ния знаний, сначала рассматривается простейший
формализм, удобный для описания абстрактных струк-
тур семантической информации. После этого приво-
дятся аргументы, указывающие на то, что упомяну-
тые структуры могут быть легко описаны и обработа-
ны в физических устройствах ассоциативной памяти.
Отношения. Семантическое отношение между двумя
выражениями х я у задается, например, оператором
типа «признаком R объекта х является у». В этом
случае параметры х и R можно рассматривать как
аргументы функции, которая приобретает значение у.
Обычно области задания х я у состоят из конечных -
наборов дискретных значений (например, слов); при
этом, если формат оператора фиксирован, то его в
целом можно задать тройкой (/?, х, у). Очевидно,
можно задать и более сложные формы лингвистиче-
ских операторов, включающие различные типы отно-
шений.

Иногда для задания простейшего типа отношений
применяется формула к-*у, которая означает: «х свя-
зано с у отношением R». Такое задание отношения не

14

провал и опубликовал на сайте f И
выявляет,- однако, функциональной природы соответ*
ствующего оператора. В операторной тройке пере*
менные часто . имеют фиксированные значения:
А-«признак», О-«объект» и У-«значение», при этом
выражение (А, О, V) читается как «признак А объек-
та О равен V».

Рассмотрим примеры отношений. Пусть имеются
такие переменные: As (произношение, цвед'), Os
(one, яблоко), Vs(wah, красное). Тогда one связано
с WAn в том смысле, что произношение слова one рав-
но wan, а «яблоко» связано с «красное» в том смысле,
что «цвет» яблока равен «красное». С формальной
точки зрения указанные отношения можно предста-
вить в виде (произношение one, \улп) и (цвет, яблоко,
красное).

Отношения можно представить в физической памя-
ти в виде массивов связей, соответствующих пере-
менным, при этом роль А, О и V очевидна из их
положения в массиве. Если доступ в память органи-
зован с помощью пар (А, О), то в процессе поиска
выбирается соответствующее значение V. В некоторых
вычислительных задачах с помощью программных
методов удобно реализовывать более гибкие методы
доступа к памяти, при этом в качестве адреса можно
использрвать любой элемент тройки (А, О, V). Необ-
ходимость в таком методе доступа становится более
очевидной в следующем разделе.

Структуры отношений. При описании отношений удоб-
но использовать обозначение вида (А, О, V). Однако
для указания связей в соответствующем абстрактном
графе целесообразно применять обозначение О —* V.

Рассмотрим утверждения, представленные в
табл. 1.1.

Теперь можно изобразить структуру связей
(рис. 1.2) между элементами данных, представлен-
ными в табл. 1.1. Как видно, хотя некоторые элемен-
ты появляются в таблице многократно, в соответ-
ствующем абстрактном графе они указываются всего
один раз. Очевидно, что сложность графа определяет-
ся числом и типом утверждений.

Следует отметить, что фактически структура графа
не отражается в памяти. Абстрактный граф задан в
неявном виде. Наличие определенной структуры графа
• Таблица 1.1

Тройки, записанные в памяти

Утверждение	Его формальное представление
Брат Энн есть Стив  Отец Энн есть Пит  Отец Пита есть Сэм Пол Энн есть женский Пол Пита есть мужской Местожительство Пита есть  Лондон  Местожительство Энн есть Лондон	(брат, Энн, Стив)  (отец, Энн, Пит)  (пол, Энн, женский)  (пол, Пит, мужской)  (местожительство, Пит, Лондон)  (местожительство, Энн, Лондон)

отражается лишь в структуре перекрестных связей
графа. Поэтому отыскание сведений, содержащих-
ся в графе, связано с выполнением некоторых вычис-
лений.

мужской

Рис. 1.2. Реляционная структура (структура отношений).

Для поиска информации можно применять разно-
образные алгоритмы вычислений. Так, например, если
все показанные в табл. 1.1 тройки можно выбрать из
памяти по любому элементу, то ответ на вопрос типа
«Кто отец Энн?» требует выполнения следующей про-
цедуры поиска: сначала отыскиваются все тройки с
признаком «отец» и записываются в промежуточный
массив памяти, затем отыскиваются все тройки с при-

Этредактировдй^лублшаэ^^^ Н Н I Н И И Н I
знаком «Энн» и также записываются в соответствую-
щий промежуточный массив. После этого для отыска-
ния ответа «Пит» вычисляется пересечение этих двух
массивов данных. Хотя такой алгоритм и не очень
естественный, его нетрудно реализовать на ЭВМ. Ди-
намика процесса поиска подробно рассматривается
в подразд. 1.1.3.

Другой, более важный и сложный пример автома-
тизированной обработки данных — поиск всех элемен-
тов, задаваемых структурой отношений лишь частич-
но, или поиск всех элементов с заданным контекстом.
Например, при обработке некоторой базы данных за-
дача может состоять в поиске всех документов, опу-
бликованных в США после 1958 г. и связанных с проб-
лемой разработки искусственного интеллекта. При
этом в качестве дескрипторов понятия «искусственный
интеллект» могут быть использованы по крайней
мере три из приведенных ниже ключевых выражений:
эвристический поиск, решатели задач, автоматиче-
ское доказательство теорем, индуктивный и дедуктив-
ный вывод. (Логика решения такой задачи поиска
подробно рассмотрена в работе {6]. В процессе поис-
ка систематически используются отношения типа
«х является примером у».)

Об интерпретации отношений как ассоциаций. Тожде-
ственны ли между собой понятия отношения и ассо-
циации? Этот вопрос требует более глубокого рас-
смотрения. В литературе можно найти, например,
следующие определения: «Ассоциация представляет
собой двухэлементное отношение, содержащее три
символа, один из которых задает имя отношения, а
два других — его аргументы» [8], или «Отношение со-
стоит из трех компонентов: упорядоченной пары эле-
ментов и связи, указывающей тип ассоциации и свя-
зывающей эти элементы» [6], или «Ассоциация пред-
ставляет собой упорядоченную тройку элементов
(А, О, V), называемых компонентами этой ассоциа-
ции» [3]. В сущности, сказанное выше не что иное,
как то, что отношение О—> V мыслится как связь
между элементами О и V или что все компоненты
тройки (А, О, V) взаимно связаны. Ясно, что указа-,
тель А нельзя понимать как простую связь; более
общая точка зрения состоит в том, что все элементы
А, О и V, которые хранятся вместе, каким-то специ-
фическим образом связаны между собой. Поскольку
элементы могут быть связаны между собой неким.
формальным способом, перекрестными ссылками, ко-
торые также представляются как ассоциации, то по-
нятие последних требует более полного определения.
Наиболее простой способ избежать недоразумений
состоит в том, чтобы назвать всю абстрактную струк-
туру связей ассоциативной памятью. Однако природа
процесса, с помощью которого осуществляется ассо-
циация элементов между собой, становится более яс-
ной при анализе физического смысла «ассоциация».

Структуры отношений для семантической памяти. Для
понимания лингвистического выражения рассматри-
вают иногда структуру отношений некоторых основ-
ных слов с их «соседями». Например, при использо-
вании метода ELINOR [5] признаки отношений мо-
гут задавать свойства, средства, действия, временные
отношения и т. д. Так, структура, описывающая пред-
ложение, в котором встречается слово «разрушать»
(«Скала разрушила хижину»), может быть представ-
лена следующим образом (рис. 1.3):

прошлое

время	|И|

Г.	Я-л

инструмент [Раз-\ объект _	яй

сняла •*---------\руши-)--------- хижину

Рис. 1.3. Семантическая реляционная структура.

При этом следует иметь в виду, что лингвистиче-
ское описание „понятия или примера не может быть
однозначным, если не заданы все его внутренние и
внешние отношения. В крайнем случае слово можно
рассматривать в контексте всего предложения, кото-
рое в свою очередь содержится в параграфе, и т. д.
Особенно важно то, что отдельные элементы, или по-
нятия, обычно не имеют неизменного значения — их
следует рассматривать как «размытые» образы бо-
лее полных и сложных структур. Это не означает, ко-
нечно, что невозможно построить семантические струк-
туры с помощью простых отношений. Более того, было
выполнено много исследований в области построе-
ния семантических структур, пригодных для машинной
реализации и анализа. Поскольку обзор таких схем
не имеет прямого отношения к центральной обсуждае-
мой проблеме ассоциативных связей в адаптивных
физических системах, здесь достаточно упомянуть не-
сколько довольно обстоятельных обзоров по пробле-
мам автоматического представления и анализа семан-
тических систем памяти [1, 2, 7].

1.1.3.	Накопление и поиск знаний в виде
структурных последовательностей

До недавнего времени информационные структу-
ры, особенно семантические, рассматривались только
с точки зрения их реализации на ЭВМ. Поскольку
ЭВМ представляют собой эффективное средство поис-
ка информации на основе принятия решений относи-
тельно частично заданных реляционных структур, то
складывается впечатление, что основная проблема,
связанная с представлением структуры знаний, напри-
мер в диалоговых системах и при решении задач при-
нятия решений, состоит в том, чтобы доказать суще-
ствованиеч решения. При этом значительно меньше
внимания уделяется анализу естественных процессов,
с помощью которых можно было бы реализовывать
накопление и поиск структурированных знаний. Часто
возникает вопрос, как следует организовать знания,
чтобы доступ к ним был возможен на основе ассо-
циативной выборки.

В этом разделе обсуждаются простейшие формы
накопления и поиска знаний в элементарных динами-
ческих процессах. Конкретные технические средства
реализации ассоциативной выборки рассматриваются
в разд. 1.2 и в гл. 3. -

Системная модель ассоциативной памяти. Люди и жи-
вотные накапливают сведения об окружающей среде
и временных последовательностях событий, запоми-
ная определенные пространственно-временные отно-
шения. Знания о более сложных информационных
структурах возникают на основе автоматического свя-
зывания элементарных фактов или наблюдений,
возможно, путем многократных повторений. Гипотети*
чески процесс, в какой-то мере аналогичный естествен-
ному запоминанию, можно представить себе с по-
мощью следующей модели. Рассмотрим физическую
реализацию памяти (рис. 1.4), имеющей четыре ин-
формационных канала: три входных, по которым ин-
формация одновременно вводится в память в виде
пространственных образов, или наборов одновремен-
ных значений, и один выходной, по которому осуще-
ствляется выборка информации.

Рис. 1.4, Ассоциативная память с обратной связью.

В таком контексте ассоциативная память может
быть определена как устройство, из которого записан-
ные данные (например, связанные друг с другом
образы) могут быть выбраны с использованием любо-
го из записанных в нее элементов, используемых в ка-
честве адреса выборки.

Один из входных образов можно рассматривать
как адресный образ /((/), содержащий в качестве
индекса время t. По второму входному кайалу по-
дается связанный образ С(0> роль которого, в сущ-
ности, не отличается от роли признака. Если выход-
ной образ в момент времени t обозначить через /?(/),
тогда третий входной образ можно получить из R{t),
используя канал обратной связи. Подобная схема с
одним каналом обратной связи была использована
для реализации автоматического режима работы хо-
рошо известных последовательных машин с конечным
числом состояний, например автомата Мура. Обзор
их принципов построения можно найти в работе [4].
Рассмотренная системная модель, как будет пока-
зано ниже, реализует память, пригодную для записи
структурированных знаний. Работу такой памяти
можно представить как процесс, в котором внешние
образы К(Q и С(/) подаются через одинаковые ин-
тервалы времени, соответствующие задержке канала
обратной связи. Обобщение процесса на случай не-
прерывного во времени и асинхронного режимов —
довольно очевидное, хотя и может оказаться громозд-
ким. Допустим, что тройка' [К(0. C(t), R(t — Л)]
рассматривается как единый статический образ, за-
данный в момент времени t, причем возможна его
одновременная запись в память за одну операцию.
В технических устройствах обычно имеется механизм
управления, с помощью которого этап записи может
выполняться отдельно от выборки. В адаптивных фи-
зических системах операции записи и выборки могут
осуществляться одновременно.

Допустим, например, что структура системы тако-
ва, что на этапе записи образы R(t) и K(t) одинако-
вы; тогда на этапе выборки в качестве выходного об-
раза R появится копия К.

Этап записи. Предположим, что на входе ассоциатив-
ной памяти в синхронной последовательности генери-
руются образы /((/) и С(£), при этом на выходе
одновременно формируется образ R(t), идентичный
Л(/). После этого с задержкой А на входе формирует-
ся образ R(t — Каждая новая тройка, появляю-
щаяся на входах, записывается в память. В большин-
стве запоминающих устройств память образуется пу-
тем объединения пространственно разделенных ячеек
памяти. Однако, как указывается в разд. 1.2, суще-
ствуют также реализации ассоциативной памяти, в
которых образы могут накладываться в запоминаю-
щей среде в пространственно распределенной форме,
т. е. вызывать коллективные изменения состояния сре-
ды, не создающие взаимных помех при хранении эле-
ментов.

Доступ к информации, записанной в памяти, осу-
ществляется путем использования признака С(/);
прекращение процесса записи имеет место при появ-
лении в последовательности «пустого» образа, кото-
рый запоминанию не подлежит.
Этап выборки, или считывания. Процесс ассоциатив-
ного поиска начинается при подаче на вход запоми-
нающей системы образа К, связанного с контекстной
информацией С. После этого первичный признак К
можно исключить из рассмотрения, но контекстная
информация С должна оставаться. В результате на
выходе сначала появляется образ R — К. В соответ-
ствии с определением ассоциативной выборки, когда
на входе памяти появляется задержанный выходной
сигнал /?(/ —А), новым ключом-признаком становит-
ся пара (С, R), что приводит к ассоциативной выбор-
ке следующего образа R(t~). Новый выходной образ
опять с задержкой передается на вход и действует как
новый ключевой признак, извлекая третий образ,
и т. д. Таким образом, порождается вся записанная
ранее временная последовательность образов вместе
с контекстной информацией. Следует отметить, что
ключевой образ К может входить в состав самых раз-
личных последовательностей, однако выходная после-

довательность однозначно определяется при задании
контекстной информации. Выбранная последователь-
ность образов прерывается при появлении в последо-
вательности «пустого» образа. Процессы записи и вы-
борки можно иллюстрировать следующим простым

примером:

Пример. Порождение структурного графа можно проД;
иллюстрировать на примере подачи некоторой после-|]
довательности образов, состоящих из {а, Ь, с,|-
d, е, f,—} и С(/)е{А, В, —}, на вход памяти, рас-*
смотренной в предыдущем разделе. При этом сйм*|]
волы а, Ь, ..., А, В обозначают пространственные '
образы, а символ «—» идентифицирует «пустой» об-

раз, соответствующий сигналу нуль; предполагается,
что пустые образы не порождают никаких выходных
сигналов. Допустим, что на вход памяти в процессе
записи подавались такие временные последовательно-

сти пар:

{(a, A), (b, A), (d, А)};

{(&, A), (rf, А), (г, А),	А), (-, -)};

{(а, В), (с, В)};

{(с, В), (d, В)};

{(d, В), (П В), (-, В), (-, -)}.

22
При использовании ранее введенных обозначений
эти последовательности можно представить в виде
троек а —> b, b —* d, d —> (—) и т. д. Соответствую-
щий структурный граф показан на рис. 1.5, который
представляет собой как структурный граф знаний (об
объекте), так и граф состояний последовательного
автомата (ср., например, с [1]). Выходная последо-
вательность образов может быть динамически пере-
ключена в любой последующий момент времени, если

Рис. 1.5. Структурные связи.

в систему введен некоторый образ, который вместе
с соответствующим контекстом фиксируется на графе.
За счет обратной связи выходной образ передается
на вход, что приводит к выборке нового образа, и т. д.
Так, если на вход подана пара (с, В), то на выходе
порождается последовательность образов, показанная
на рис. 1.5 полужирными линиями.

Отметим, что:

—	выходная последовательность не записывалась
в граф в полном виде, что показывает способность
системы формировать последовательность из корот«
ких отрезков;

порядок записи отрезков может быть произ-
вольным;

—	состояния and входят в различные подпосле-
довательности с неодинаковым контекстом;

для завершения выборки необходимо использо-
вать «пустые» образы; так, если контекстный образ
(А или В) исключен из рассмотрения, система гене-
рирует «пустую» последовательность (состояние по-]
коя), соответствующую режиму ожидания нового клю-!
левого образа.	]

Более сложные модели ассоциативной памяти. Оче-1
видно, что форма представления отношения в виде]
троек — наиболее простая конструкция, на основе ко-!
торой можно построить структуры отношений произ-j
вольной сложности. Поэтому рассмотренную физиче-1
скую системную модель ассоциативной памяти сле-
дует рассматривать как простейшую. Можно, однако,
представить себе и более сложные отношения и
модели. Так, запоминающее устройство может иметь
несколько входов и несколько выходов для образов,
состоять из нескольких подсистем памяти, связанных
каналами с различными величинами задержек ит. д.
При этом состояние активности в одном канале мо-
жет порождать контекстную информацию для другого
канала и т. д. Анализ таких усложненных моделей
оказывается очень трудоемким, особенно если образы
поступают в память асинхронно во времени.

1.2.	Методы реализации ассоциативной
выборки

1.2.1.	Основные характеристики ассоциативной памяти

В предыдущем разделе в нескольких примерах ис-
пользовалось понятие ассоциативной выборки, кото-
рую можно рассматривать как действие, или опера-
цию с набором входных сигналов — ключевыми
образами — и каким-то выходным сигналом — соот- #
ветствующей ассоциацией. В простейшем случае как
ключевой образ, так и ассоциация — пространствен- Д
ные образы. Последовательная выборка ряда образов J
может рассматриваться как динамическая ассоциа- I
ция. Следует отметить, однако, что последовательно- •
сти могут состоять из элементарных ассоциаций, 4
связанных во времени обратными связями.

Различные случаи ассоциативной выборки. Наиболее
важное свойство ассоциативной выборки состоит в
следующем: если в ассоциативной памяти записана
целая совокупность входных сигналов образ, то его

24
можно выбрать по любому его элементу. В некоторых
ранее приведенных примерах образ состоял из не’
скольких элементов (подобразов), любой из которых
или любая комбинация которых могли быть исполь-
зованы в качестве ключа для ассоциативной выборки.
Поэтому удобно ввести понятия авто ассоциативной
выборки, для которой характерно, что поиск образа
производится по произвольной его части при условии,
что эта часть достаточна для того, чтобы отличить
данный образ от остальных, записанных в ассоциа-
тивной памяти. (Возможно, что по данному ключу
записано несколько образов; в этом случае имеет ме-
сто конфликтная ситуация, при которой однозначная
выборка неосуществима. Для биологической памяти
наличие неоднозначного ответа не представляет серь-
езной проблемы, поскольку выходной образ в этом
случае можно рассматривать как смесь всех частных
ассоциаций. В искусственных информационных систе-
мах, в особенности при поиске информации в базах
данных, неоднозначный ответ — довольно часто встре-
чающаяся ситуация. В последнем случае предусмат-
риваются специальные средства для последователь-
ной во времени записи элементов такого ответа и его
анализа. Методы анализа неоднозначного ответа в
системах ассоциативной памяти рассмотрены в
разд. 2.1 и 2.2.)

Другой случай ассоциативной выборки может быть
назван гетероассоциативным. В этом режиме выход-
ной образ структурно не соответствует любому из
ключевых элементов и формируется как ответ на спе-
цифический ключевой образ. Если эквивалент выход-
ного образа уже был записан ранее, запоминание
возможно с учетом специальных входных образов,
предусмотренных для этой цели.

Одним из специальных случаев ассоциативной вы-
борки может быть ассоциативное кодирование обра-
зов, которое представляет собой либо автоассоциа-
тивный, либо гетероассоциативный процесс. При этом
часть образа символически представляет весь образ;
например, для этой цели можно использовать код или
специально выделенное поле в образе. Код не обяза-
тельно должен быть цифровым — символьный образ
любого вида, обычно ясный и простой по структуре,
может с успехом представлять образ в целом.
В памяти это представление реализуется путем ассо-
циации «картинных» и «символьных» образов. В про-
цессе ассоциативной выборки «картинная» часть мо-
жет быть использована для выборки кода или наобо-
рот, В разд. 2.3 этот прием используется для иденти-
фикации образов.

Адресные запоминающие устройства. Память почти
всех без исключения ЭВМ построена по адресному
принципу, т. е. на основе пространственного разделе-
ния хранимой информации в отдельных ячейках с оп-
ределенными адресами. Поэтому такая память долж-
на быть снабжена дополнительным механизмом
управления записью и выборкой информации, с по-
мощью которого активируется определенная ячейка
памяти на этапе записи или выборки. Обычно в ка-
честве такого механизма применяется устройство де-
кодирования адресов, которое можно построить мно-
гими способами. Поскольку основные принципы ра-
боты обычной адресной памяти ЭВМ хорошо известны,
по крайней мере на уровне программирования для
ЭВМ, все подробности здесь опущены. Вместо этого
основное внимание уделяется принципу выборки ад-
ресов с использованием так называемой семантиче-
ской памяти или памяти, адресуемой по содержанию
информации (подразд. 1.2.2 и разд. 2.2).

Распределенная память. В последние годы было со-
брано много экспериментальных данных, указываю-
щих на то, что биологическая память основана на
распределенном хранении информации. В распреде-
ленной памяти каждый запоминающий элемент или
участок запоминающей среды содержит следы многих
образов. Иными словами, имеет место пространствен-
ное наложение образов в памяти. С другой стороны,
каждый элемент записываемой информации распреде-.
ляется по большой области запоминающей среды. Для
того чтобы информация одного элемента не терялась
в памяти в результате смешивания с информацией
других элементов, необходимо, чтобы преобразования
информации в процессе записи не затрагивали связи
между элементами. Так, в голографической памяти
преобразования элементов при записи осуществляют-
ся в результате оптической дифракции когерентных
волн, причем, используется линейность фотографиче-
ской запоминающей среды при наложении различных
образов-картин [11, 13, 15].

Такой качественный анализ показывает, что рас-
пределенная память не требует сложного механизма
управления поиском, поскольку в ней отсутствуют
ячейки с определенными адресами, подлежащими де-
кодированию на этапе записи или выборки. В течение
долгого времени было, однако, неясно, каким обра-
зом в распределенной памяти достигается селектив-
ность выборки. Если образы пространственно накла-
дываются друг на друга, то, казалось бы, что при
выборке результат будет всегда содержать вклады
от остальных образов, записанных в памяти. В этой
книге упомянутая проблема имеет центральное зна-
чение. Будет показано, что имеются случаи, когда
выборка из распределенной памяти с большим чис-
лом записанных образов осуществляется без взаим-
ных помех. В общем случае, однако, при выборке из
распределенной памяти выходной образ всегда содер-
жит шум или искажения. Важнейшее свойство уст-
ройств, предлагаемых в качестве ассоциативной па-
мяти, состоит в том, что искажения выходных образов
оптимально корректируются относительно всего объ-
ема информации, содержащейся в ключевом об-
разе.

В распределенной памяти информация «расплы-
вается» по всей запоминающей среде с помощью
того или иного преобразования входных образов. По-
этому запоминающие элементы должны обладать спо-
собностью многократно изменять свои состояния под
влиянием многих запоминаемых образов. При этом
важнейшее значение имеет то обстоятельство, что
при записи одновременные и очень малые изменения
происходят сразу в очень большом количестве запо-
минающих элементов. Именно благодаря этому весь-
ма широкий динамический диапазон переменных эле-
ментов памяти можно использовать для хранения
большого числа образов. В процессе выборки записан-
ная информация восстанавливается как сумма мно-
гих «следов памяти», подобно восстановлению сигна-
лов по их корреляционным функциям. Отсюда сразу
следует специфическое свойство распределенной па-
мяти: поскольку выходной образ формируется путем
опроса очень большого числа отдельных элементов,
локальные искажения ключевых образов оказывают-
ся статистически сглаженными.

1.2.2.	Запоминающие устройства, адресуемые
по содержанию

В вычислительной технике термин ассоциативная
память обычно означает «память с одновременным
или параллельным доступом ко всем элементам с
использованием содержания данных, а не их адресов»
[10]. Другое широко применяемое название для этого
типа устройств — память, адресуемая по содержанию-,
этот термин предпочтительнее, поскольку в соответ-
ствующем устройстве лишь элементарная операция
реализуется в ассоциативном режиме.

Такая ассоциативная память, в сущности, состоит
из адресуемых ячеек, однако в системе предусмотрен
также механизм проверки или сравнения ключевой
информации со всеми записанными словами. При ча-
стичном совпадении Осуществляется выборка инфор-
мации из соответствующих ячеек памяти.

Принцип ассоциативной выборки информации из
простой памяти, адресуемой по содержанию, описан
на следующем примере. Рассмотрим память, которая
имеет словарь, адресуемый по содержанию;

допустим для простоты, что проблемы неоднознач-
ного ответа не существует, т. е. все ключевые входы
различны. Словарь соединен с обычной адресной па-
мятью, в которой выборка той или иной ячейки пол-
ностью определяется входным адресом. Данные мо-
гут быть записаны в память стандартным способом.
Организация памяти показана на рис. 1.6.

Поиск начинается при подаче на вход словаря
ключевого слова, представляющего собой набор сиг-
налов, одновременно и параллельно возбуждающих
соответствующие входы. Сравнение этих сигналов с
битами информации, записанными в ячейках памяти,
происходит с помощью специальных логических схем,
встроенных в запоминающие ячейки. Если все разря-
ды некоторого входа совпадают с ключевым словом,
активируется соответствующая выходная линия, ко-
торая выполняет роль адресной линии для обычной
памяти. Иными словами, память, адресуемая по со-
держанию, выполняет роль схемы декодирования ад-
ресов. Всю запоминающую систему при этом можно
рассматривать как единое логическое устройство с
весьма коротким (например, 50 нс) временем досту-
па. Классический вариант памяти управляется с по-
мощью слова-маски, которое задает только подмно-
жество разрядов в ключевом слове, используемом
для поиска. Это свойство важно для реализации с

Рис, 1,6. Память, адресуемая по содержанию.

помощью такого устройства автоассоциативной вы-
борки. Рассмотренное устройство можно усложнить:
например, если допускаются многократные совпаде-
ния, то между словарем и собственно памятью дан-
ных следует предусмотреть логику разрешения неод-
нозначного ответа.

1.2.3.	Адресация с использованием методов
перемешивания

При схемной реализации ассоциативной памяти
доступ к данным осуществляется очень быстро, и
поиск данных по любому их фрагменту не представ-
ляет труда, если этот фрагмент точно определен. Од-
нако запоминающие ассоциативные устройства очень
дороги, поскольку для каждого разряда слова долж-
ны быть предусмотрены соответствующие логические
схемы (ср. разд. 2.2). Поэтому устройства ассоциатив-
ной памяти емкостью более тысячи слов практически
нереализуемы (если не будут найдены принципиаль-
но новые пути построения такой памяти).
Если ключевые слова для поиска информации пол-
ностью известны и всегда имеют один и тот же фор-
мат, быстрый поиск можно реализовать с помощью
программных методов с использованием обычной
адресной памяти. Соответствующие способы адреса-
ции получили название методов перемешивания. Это
означает, что адрес слова данных является функцией
самих данных, причем для определения адреса за-
дается соответствующая функция преобразования
данных. В процессе выборки такая адресная функция
может быть применена и к входному ключу, по кото-
рому вычислен адрес слова данных. Таким образом,
поиск обычно осуществляется в процессе выполнения
одной операции доступа. Рассмотренный метод иног-
да называют также рандомизацией, что частично
связано с произвольным расположением данных в па-
мяти, а частично обусловлено названием специально-
го алгоритма кодирования (случайное выделение
разрядов, ср. разд. 2.1). Соответствие между элемен-
тами при кодировании с использованием адресных
функций показано на рис. 1.7. Элементы обозначены
в виде прямоугольников, а память представлена в
виде одномерного массива; каждому элементу данных
соответствует единственное ключевое слово.

Важнейшее условие применимости кодирования на
основе адресных функций — однозначность ключевого
слова. Если слова нужно кодировать с помощью не-
скольких различных ключевых слов, то в соответст-
вующих ячейках памяти следует хранить дубликаты
данных.

При программной реализации памяти, адресуемой
по содержанию, возникает характерная проблема, ко-
торая получила название конфликтной ситуации.
Суть ее в том, что два или больше ключевых слова
соответствуют одному и тому же вычисленному адре-
су и только один из элементов может занимать ячейку
с этим адресом. Обычный способ разрешения этой
проблемы состоит в отведении резервных ячеек, хра-
нящих конфликтующие элементы. Более полное об-
суждение конфликтных ситуаций дается в разд. 2,1.

Поскольку программные методы реализации ассо-
циативной памяти обеспечивают хранение и доступ
к большим массивам информации в обычных ЭВМ,
они стали играть все большую роль при реализации
зо
1

Рис. 1.7. Преобразование элементов в процессе признакового кодирования.
ассоциативной памяти большой емкости. Так, напри-
мер, если структуры отношений хранятся в памяти
в виде упорядоченных троек, причем должен быть обе-
спечен независимый доступ к каждому элементу в
тройке, то самый простой способ реализации про-
граммной ассоциативной памяти состоит в хранении
копий троек, кодированных всеми их элементами не-
зависимо. После этого можно непосредственно приме-
нять методы поиска информации, рассмотренные в
подразд. 1.1.2.

1.2.4.	Голографическая ассоциативная память

Голографическая память особенно удобна при
хранении больших массивов данных изображений (фо-
тографий). В некоторых применениях оказывается
важным дополнительное преимущество голографиче-
ской ассоциативной памяти, состоящее в ее высокой
надежности даже при частичном разрушении запоми-
нающей среды. Прежде чем перейти к подробному об-
суждению принципов построения голографической
памяти, необходимо отметить, что пространственное
распределение запоминаемых изображений — основ-
ное свойство голограмм — можно понимать двояко:
1) отдельные элементы в массиве данных распреде-
ляются с помощью некоторого преобразования по
определенной области среды, однако различные мас-
сивы данных всегда хранятся в разных участках за-
поминающей среды, 2) массивы данных пространст-
венно перекрываются в одной и той же области за-
поминающей среды и, кроме того, распределяются по
этой области.

Примером голографической памяти первого типа
могут служить запоминающие устройства, в которых
массивы информации, например фотографии докумен-
тов, записываются на пленке в форме голограмм мик-
роскопического размера, при этом типичная плот-
ность записи информации составляет около одного
миллиона бит на квадратный миллиметр. Тем не ме-
нее все голограммы на фотографическом носителе
пространственно разнесены друг от друга, и для по-
иска документа необходимо с помощью механическо-
го или оптоэлектронного устройства установить луч
света, используемый для считывания, непосредственно
на нужную голограмму.
Примером голографической памяти второго типа
может быть голограмма с кристаллоподобной струк-
турой. Такая голограмма формируется на основе струк-
туры, представляющей собой, в сущности, решетку
атомов, и свет, проходя сквозь нее, может образовать
изображение только вдоль определенных направлений
дифракции. Если в процессе записи или экспонирова-
ния голограмм направления так называемых опорных
(адресных) пучков света различны для каждого изо-
бражения (документа), проекции (картины интерфе-
ренции света) многих (вплоть до нескольких десятков
и более) изображений могут накладываться на одной
и той же области фотоносителя. При этом для счи-
тывания может быть выбрано любое изображение,
если надлежащим образом ориентировать опорный
(адресный) пучок света. Однако ни один из рассмот-
ренных способов голографической записи не может
быть еще назван ассоциативным, поскольку множе-
ство опорных пучков фиксировано, и ориентация каж-
дого пучка задается отклоняющим механизмом. Сле-
довательно, подобные голографические запоминающие
устройства — адресные.

Ассоциативная голографическая память. Класси-
ческий пример голографической памяти, основанной
на френелевской дифракции, состоит в следующем.
На рис. 1.8 изображена оптическая схема с когерент-
ным источником света (лазером L), пучок которого
расщепляется полупрозрачным зеркалом М. После
этого два пучка рассеиваются от объектов А и В,
а волновые фронты интерферируют на фотопластин-
ке Р. В процессе экспонирования и проявления про-
пускание света через пластинку изменяется.

Если после проявления пластинки объект В убрать,
а волновой фронт от объекта А пропустить через
пластинку Р, то можно наблюдать «призрак» объекта
В на месте прежнего расположения объекта В
(рис. 1.8). Это и есть процесс и схема голографиче-
ского восстановления объекта (изображения). Мо-
дель подобного явления, описанная в работах [9, 17],
такова. Если пренебречь временной зависимостью
волновых функций, то комплексные амплитуды волн,
рассеянных от объектов А и В, можно обозначить че-
рез Гл (г) и Ев (г) соответственно (г—радиус-вектор
точки наблюдения на пластине Р). Допустим, что
Отредактировал и опубликовал на сайте И Н Ш Ш i Н J

Рис. 1.8. Схема френёлевой голографии.
изменение пропускаемое™ 7* (г) фотопластинки Р при*
мо пропорционально интенсивности света

дт (Г) = _ % [рл (Г) + f в (г)] [г; (г) + Fb (г)],
где % — числовая константа, а звездочка означает
операцию комплексного сопряжения. После того как
объект В убран, а пластинка Р освещена волной, рас-
сеянной от объекта А, интенсивность поля за фото-
пластинкой (в предположении, что она очень «тон-
кая») дается следующим соотношением:

Г = [7-(г) + Д7'(г)]Гл(г) =

-	Т (г) РА - 1. [Рл (г) Fл (г) + FB (г) FB (г)] Fa (г) -

-	Л [Гл (г) FB (г) Fa (г) + FB (г) Рл W Р'л (г)]-	(1.1)

Здесь Fa (г) Fa (г) и Fb (г) F*b (г) интенсивности волн,
рассеянных от объектов А и В соответственно, при-
чем допускается, что они не зависят от г в плоскости
фотопластинки Р. Помимо волн, пропорциональных
полю Ад (г), от объекта А имеются две дополни-
тельные компоненты — [ХАл(г)Рд(г)] FB\r)' и—*
—А.Ал(г)Ав(г)Ад (г), из которых первая представляет
собой волновой фронт, обусловленный виртуальным
изображением объекта В; последний член — бес-
структурный и представляет собой дифракционный
шум. Виртуальное изображение эквивалентно воспо-
минанию объекта В.

Пусть теперь несколько голограмм от пар различ-
ных объектов (А, В) записаны на одной и той же
пластинке. Если установить один из объектов, напри-
мер А, точно в исходном положении и с сохранением
всех относительных расстояний в оптической схеме,
то схема восстановит другой, связанный с первым
элемент пары — объект В. Такой качественный под-
ход не рассматривает, однако, точность изображения
восстановленного объекта или шумы, обусловленные
другими записанными на пластинке объектами. Про-
веденные эксперименты показали, что если ключевые
изображения «ортогонализированы» с помощью того
или иного случайно рассеивающего диффузора, то до-
стигается удовлетворительная селективность при вы-
борке нескольких объектов.
Известны, кроме того, схемы голографирования,
основанные на использовании фурье-дифракции и обе’
спечивающие проекцию восстановленного объекта на
плоскость действительного изображения. Следует ОТ’
метить, однако, что ни один из продемонстрированных
здесь принципов голографической записи на самом
деле не обладает всеми необходимыми свойствами
для создания ассоциативной памяти большой емко-
сти. Даже когда опорный пучок формируется из са-
мой картины, как это имеет место при френелевской
дифракции, наложение нескольких картин оказывает-
ся невозможным, если, например, не выполняются не-
которые вспомогательные условия дифракции. При-
чины этого не прояснятся до тех пор, пока не будут
рассмотрены обсуждаемые ниже оптимальные ассо-
циативные преобразования. В частности, будет пока-
зано, что выборка по ассоциации из истинной распре-
деленной ассоциативной памяти может быть реализо-
вана без использования вспомогательных опорных
пучков или другого аналогичного механизма управ-
ления.

1.2.5. Неголографическая распределенная
ассоциативная память

Следует отметить, что в противоположность рас-
пространенной точке зрения обычная цифровая па-
мять, адресуемая по содержанию, не реализует опе-
рацию ассоциативной выборки, исключая, может
быть, очень простую и ограниченную ее форму. В со-
ответствии с другой, также весьма распространенной
точкой зрения на ассоциативную выборку предпола-
гается, что поиск информации осуществляется на
основе «фрагмента», или части объекта, имеющего
большую или меньшую корреляцию с искомым объ-
ектом. В математической форме такой тип поиска
представляет собой проблему статистической оценки
на основе ранее накопленного статистического мате-
риала и текущих фактов. Очевидно, такая операция
не имеет места при функционировании памяти, адре-
суемой по содержанию; при кодировании с помощью
адресных функций ключевое слово, подлежащее срав-
нению с записанными элементами, должно быть изве-
стно точно, а в устройствах ассоциативной памяти

за
частичная информация, выбираемая по поисковому
аргументу, должна быть также точной. Статистиче-
ские методы оценки требуют значительно более слож-
ных и громоздких вычислений.

При попытке построить ассоциативную память на
статистической основе главная задача состоит в раз-
работке методов, обеспечивающих выполнение стати-
стических вычислений над большими массивами дан-
ных за приемлемое время. Поскольку использование
высокопроизводительных многопроцессорных цифро-
вых ЭВМ неизбежно усложняет и удорожает решение
этой задачи, представляет интерес выяснить, возмож-
ны ли более простые, но тем не менее достаточно
эффективные пути реализации проблемы с использо-
ванием аналоговой вычислительной техники. Так, су-
ществуют адаптивные системы, например сети из
простых физических элементов, с помощью которых
проверка совпадения между ключом и записанными
в сети элементами данных может быть выполнена в
процессе одной операции преобразования; при этом
результат будет оптимальным, если его оценивать ме-
тодом наименьших квадратов. Система, реализующая
требуемое преобразование, может быть названа опти-
мальным оценивателем. Поскольку детальное обсуж-
дение подобных преобразований требует некоторых
математических сведений, приведенных в разд. 1.3,
рассмотрение принципов построения таких систем бу-
дет отложено до разд. 2.3 и гл. 3. Вместо этого в
качестве введения к изложению основных теоретиче-
ских концепций и их физической реализации рассмат-
ривается более простой принцип, полностью осуществ-
ляемый в рамках существующей технологии.

Идея неголографической распределенной ассоциа-
тивной памяти в неявном виде уже нашла свое во-
площение в моделях адаптивных сетей, исследован-
ных в 60-е годы (см., например, работу [18]) главным
образом применительно к проблеме классифика-
ции образов. В последующие годы было предло-
жено несколько структур распределенной памяти (ср.
подразд. 4.2.3). В то время рассматривались также
и некоторые другие принципы вычисления функций
корреляции и свертки, на основе которых могут быть
реализованы системы распределенной ассоциативной
памяти. Хотя представление ассоциаций с помощью
таких корреляционных функций не вызывает никаких
сомнений, не было сделано никаких попыток, чтобы
показать (пусть только в математической форме),
обладают ли соответствующие модели необходимой
степенью селективности при ассоциативной выборке
и тем самым пригодны ли они для создания ассоциа-
тивной памяти большой емкости.

Одна из особенностей распределенной ассоциатив-
ной памяти, уже отмеченная ранее, состоит в том, что
информация хранится в виде дифференциальных из-
менений состояний запоминающих элементов. В фо-
тографических или других оптических средах с пере-
менными свойствами пропускания уже достигнута
приемлемая степень пропорциональности между из-
 менениями состояний и значениями сигналов (по край-
ней мере статистически). (Хотя в фотопленках зерна
серебра полностью черные, переменный коэффициент
пропускания среды обусловливается переменной плот-
ностью расположения зерен.) В противоположность
этому очень мало работ было выполнено в области
исследования электрических материалов или элемен-
тов, линейные изменения свойств которых были бы
пропорциональны току или напряжению. Так, иногда
для создания переменных резисторов предлагается
использовать процесс электроосаждения, однако воз-
можность однородного протекания множества элек-
трохимических процессов в различных элементах
большой адаптивной сети представляется весьма про- .
блематичной. Использование же для проведения гро- j
-моздких статистических вычислений современных j
многопроцессорных ЭВМ. также пока еще связано со
значительными трудностями. С появлением более де-
шевых и мощных ЭВМ, построенных на'базе больших '
интегральных схем, для вычисления корреляционных
и сетевых преобразований, по-видимому, могут быть
найдены и относительно экономичные методы реше-
ний.

Сеть сопротивлений как аналоговая ассоциативная
память. Линейная операция, которая селективно пре-
образует набор входных образов в соответствующие
выходные образы, может быть реализована с по-
мощью линейной физической системы, например сети
сопротивлений с проводимостями, которые должны
быть вычислены отдельно для каждого набора запи*
сываемых данных. После этого становится возмож»
ной ассоциативная выборка записанной информации.
Как отмечалось, существуют процессы, с помощью ко-
торых элементы сети могут быть сформированы адап«
тивно. Эта проблема будет рассмотрена в гл. 3.

Сеть, реализующая линейное преобразование, по*
казана на рис. 1.9. Каждая горизонтальная линия
снабжена выходным усилителем типа операционного

Рис. 1.9. Линейное преобразование в резисторной сети.

усилителя С очень низким входным сопротивлением.
При этом выходное напряжение получается как ли-
нейная комбинация входных сигналов, подаваемых
с вертикальных шин

п

(1.2)

/=1

где цр- зависит от проводимостей областей пересече-
ния t-й и /-й линий. Чтобы избежать отрицательных
значений проводимости, когда коэффициент pip дол-
жен быть отрицательным, можно применить такой
метод. Каждый вход задается двойным сигналом 4~£/
и.—соответственно. Если коэффициент цр-— поло-
жительный, то проводимость прямо пропорциональна
ему и соответствует i-й горизонтальной линии и ли-
нии с +В/. Если коэффициент цр— отрицательный,
проводимость прямо пропорциональна его величине и
относится к пересечению х-й горизонтальной линии и
линии с —1/. Токи, поступающие на каждый выход-
ной усилитель, складываются и преобразуются в вы-
ходные значения в соответствии с соотношением (1.2).

Значения р;/ в (1.2) можно вычислить в соответ-
ствии с самыми различными критериями; так, одна
из возможностей состоит в оптимальной оценке по
методу наименьших квадратов (ср. подразд. 2.3.8).

Другая операция преобразования, которая при со-
ответствующих данных не слишком заметно отлича-
ется от оптимального случая, осуществляется в кор-
реляционной матричной сети ([12]; подразд. 4.2.3)/
для которой коэффициенты ц,/ вычисляются из более
простых формул. Пусть входной образ представляет
собой упорядоченный набор X/= (fn, %2t, .... £л/),
причем второй индекс соответствует номеру образа.
Аналогично, выходной образ задается вектором yt =
— (Лю	">%/)• Определим теперь р// как не-

нормированную корреляционную матрицу набора пар
(х/,	= 1, 2, ..., m:

tn

Pi/=E1l/^/f	(1.3)

На основе соотношений (1.2) и (1.3) нетрудно найти,
что если на вход сети подается ключевой образ х —
— (gi, |2, ...» |«), то выходной образ будет пред-
ставлен соотношением

где коэффициенты wt зависят от внутренних произве-
дений (ср. разд. 1.3.1) ключевого образа и соответ-
ствующих записанных в сети образов X/. Если, на-
пример, ключевой образ напоминает один из записан-
ных в памяти образов и существенно отличается от
остальных, то выходной образ содержит практически
только один элемент остальные члены невелики
и характеризуют взаимные связи между входом и
записанными элементами.

Демонстрация ассоциативной выборки на основе ли-
нейного преобразования. Цель машинного экспери-
мента, рассматриваемого в этом разделе, состоит в
том, чтобы продемонстрировать селективную ассо-

40
циативную выборку в линейной системе, описывае-
мой соотношениями (1.2—1.4) (безотносительно к се-
ти, которая соответствует этому примеру). Поскольку
неголографические схемы памяти наиболее эффектив-
ны применительно к большим массивам, модельная
демонстрация была выполнена с двумерными оптиче-
скими изображениями, формируемыми с помощью
специального дискретного генератора изображений.
Фотографии (500 штук) преобразовывались в формат
растра, причем каждая точка растра имела числен-
ное значение и соответствовала элементу образа.

Входные
offpajb/

yt

Уе илиу

Память

Предварительная
оПработка

Рис. 1.10. Системная модель ассоциативной памяти с предвари-
тельной обработкой.

Сначала был изучен случай автоассоциативной вы-
борки. Это, как известно, означает, что Xt и yt долж-
ны быть одинаковыми. Поскольку, однако, селектив-
ность при ассоциативной выборке зависит главным
образом от значений внутренних произведений wt,
которые в свою очередь зависят от входных образов,
то сочли более целесообразным получать ключевые
образы х^ из yt следующим методом: образы yt
подвергались предварительной обработке (рис. 1.10)
с помощью операции, повышающей селективность.
Поскольку различные операции предварительной об-
работки будут в деталях обсуждены в разд. 2.3 и 2.4,
здесь достаточно упомянуть, что образы xt получа-
лись из yt путем фильтрации, соответствующей про^
странственному дифференцированию второго поряд-
ка. Аналогичная операция предварительной обработки
применялась и к ключевому образу у, используемому
для ассоциативной выборки информации из такой
«памяти».	•
-Рис. 1,11. Иллюстрация ассоциативной выборки из линейной си*
стемы памяти.	J

а —примеры исходных изображений; б—ключевые образы; в—выборка из,.-'|
памяти, содержащей 160 записанных изображений; г—выборка из памяти; -З
4 содержащей 500 записанных изображений.	й

НИППНП1 ?
Благодаря проведенному выше обсуждению ре-
зультаты следующего эксперимента представляются
совершенно очевидными. Фотографии на рис. 1.11—«
примеры 500 записанных изображений, б — ключевые
образы (до выполнения операции пространственного
дифференцирования), а в и г — результат ассоциа-
тивной выборки.

1.3.	Математические обозначения
и методы

При анализе сигналов, изменяющихся в простран-
стве и во времени, требуется математический аппарат
для описания количественных взаимозависимостей
между сигналами различной природы. Векторное ис-
числение и является таким аппаратом. Операции век-
торной алгебры естественным образом приводят к не-
обходимости использования и матричной алгебры.
Рассмотрению этих вопросов посвящено содержание
настоящего раздела. Изучение математических аспек-
тов, конечно, не претендует на законченность и носит
справочный характер.

В разделе даны обозначения и соотношения, кото-
рые можно встретить в книге. Следует отметить, что
в матричной алгебре применяется множество различ-
ных обозначений, поэтому автор использовал те из
них, которые применяются большинством ученых, ра-
ботающих над затронутыми здесь проблемами. Чтобы
применять результаты исследований, приведенные в
книге, читатель должен быть знаком с основными
работами по современной матричной алгебре. Можно
рекомендовать прекрасную книгу [19], которая, воз-
можно, лучше других охватывает необходимый ма-
териал.

1.3.1.	Понятие векторного пространства

Представление векторов. В физической теории ин-
формационных процессов сигналы, изменяющиеся в
пространстве и во времени, удобно представлять в ви-
де образов, которые можно трактовать как упорядо-
ченные наборы действительных чисел. В контексте
методов теории распознавания образов (см. ссылки
в разд. 2.4) такие упорядоченные наборы трактуются
как представления векторов^ которые обобщают век-
торы планиметрии и пространственной геометрии.
Если имеется п независимо введенных и каким-то
образом упорядоченных действительных чисел gi,
|2, •  •, In, их можно рассматривать как координаты
в пространстве п измерений. Это пространство обо-
значается как Rn и представляет собой набор всех
возможных совокупностей п действительных чисел из
интервала (—оо, 4-°°). (Отметим, что скаляр опреде-
ляется в пространстве = R.) Далее скаляры бу-
дут обозначаться строчными греческими буквами, а

Рис. 1.12. Примеры «векторных» образов.

векторы — строчными латинскими буквами. Все ин-
дексы и показатели степени будут обозначаться ла-
тинскими буквами. Вектор х представляет собой точ-
ку в пространстве Rn (обозначается как х е Rn) с
координатами gi, g2, ...» In. Для наглядности вектор
можно представлять в виде прямой линии, исходя-
щей из начала координат и связывающей его с за-
данной точкой (в случае многомерного пространства
этот образ оказывается не таким простым).

Рассмотрим структуру вектора, удобного для опи-
сания оптических образов или изображений. Образы
обычно состоят из так называемых картинных эле-
ментов, подобных мозаике, причем каждый элемент
принимает скалярное действительное значение. Ну-
мерация элементов — произвольная. На рис. 1.12 по-
казаны три различных способа нумерации элементов
картины или изображения. В любом случае вектор,
кодирующий картину, всегда имеет одну и ту же фор-
44
мальную структуру (|ь Ь, ..., |л). Следует отметить,
что вектор является линейным множеством чисел, хо-
тя сами образы представляют собой двумерные мно-
жества.

Линейные векторные пространства. Под линейным
векторным пространством У1 (над действительными
числами) обычно понимается набор элементов или
векторов, над которыми определены операции век-
торного сложения (+) и скалярного умножения (•),
а также справедливы следующие соотношения: если
х, у, z е У, а а, (3 е R, то:

А1) х + у = у + х е У (коммутативность)

А2) а • (х + у) — а • х а * у ^У (дистрибутив-
АЗ) (а + Р)-х = а-х + Р-х J ность)

А4) (% + y) + z = x+(£/ + z) ) ,

А5) (а • Р) • х — а • (р • х)

(ассоциативность)

Аб) существует нулевой вектор 0 такой, что для
любого х е Ух + 0 = х,

А7) для скаляров 0 и 1: О-х —О и 1*х — х.

Примером У может быть Rn. В этом случае сум-
ма двух векторов определяется как вектор с элемен-
тами (координатами, компонентами), представляющи-
ми собой результат суммирования соответствующих
элементов слагаемых. Скалярное умножение — опе-
рация, в которой все элементы одного вектора умно-
жаются на скаляр (для простоты обозначений точку
можно опускать).

Внутреннее произведение. Понятие внутреннего произ-
ведения относится к скалярной функции двух вектор-
ных аргументов и позволяет существенно упростить
описание некоторых геометрических операций. Част-
ный случай внутреннего произведения — так назы-
ваемое скалярное произведение векторов х —
Ь, ...» £«) И у='(т)Ь Т)2, .ть), которое опреде-
ляется как

(х, у) =	+ . . . + Uln-

(1.5)

Обычно, если не делается никаких оговорок, то под
внутренним произведением понимается именно ска-


лярное произведение векторов. Следует указать, од- 4
нако, что существует бесконечное множество форм
внутренних произведений; к ним относятся,, например,
варианты, подобные (1.5), в которых элементы содер- ;
жат различные веса или входят с различными степе' 4
нями.	|

В общем случае внутреннее произведение двух ••
элементов х и у на множестве по определению обла-
дает такими свойствами; пусть правила сложения и
умножения элементов на скаляр введены. Если внут-
реннее произведение обозначить через (х, у), то
должны быть справедливы следующие соотношения:

Б1) (х, у) = (у, х)

Б2) (ах, у) = (х, у)

БЗ) (Xi 4- х2, г/) = (хь у) + (х2,у)

Б4) (х, х)^0, где знак равенства справедлив,
тогда и только тогда, когда, х — нулевой элемент.

Метрика. Обычно все наблюдаемые векторы, должны
быть представлены в пространстве, обладающем не-
которой метрикой. Последняя представляет собой
свойство любого набора элементов, характеризуемого
некоторой функцией, называемой расстоянием d(x,y)
пар элементов. При выборе конкретного вида функ-
ции расстояния следует иметь в виду, что:

Bl)	d(x, г/)^0, причем равенство имеет место
тогда и только тогда, когда х — у

В2)	d(x, y)=d(y, х)

ВЗ)d(x, y)^d(x, z)+d(z, у).

В качестве примера расстояния можно указать
евклидово расстояние в прямоугольной системе коор-
динат, которое исключительно широко используется
в данной книге. Для векторов х — (£i, §2, ««., In) и
у — (т|1, т|2, ...» Л*) оно определяется следующим об-
разом:

d (х, у) = V(^ — nt)2 + (1г “ Л2)2 + • • • + (^ ~ In)2-
+	(1.6)

Хэммингово расстояние — другой пример функции
расстояния, определяемой для бинарных векторов
(бинарный вектор имеет элементы, равные 0 и 1)ч

46
Хэммингово расстояние показывает, в каком числе
позиций (элементов) отличаются два вектора. Оче-
видно, что соотношения В1)—ВЗ) справедливы и
для хэмминговых расстояний.

Норма. Величину вектора можно определить различ-
ными способами. Для -нее используется термин нор-
ма, и вообще норма представляет собой набор эле-
ментов, для которых определены нулевой элемент, а
также операции сложения и умножения; при этом
для нормы ||х|| элемента х должны быть справедливы
следующие соотношения:

Г1) Ы^О, причем равенство имеет место тогда
и только тогда, когда х — О

Г2) ||ах|| = |а| ||х||, где |а|—абсолютное значе-
ние а

ГЗ) Iki + ХгН^ИхлИ + Ы!

Евклидова норма может быть определена как ска-
лярное произведение:

IIXII + У(ЦЦ = л/^ + ^+...+g.	(1.7)

+ +

Отметим, что евклидово расстояние d(x, у) эквива-
лентно евклидовой норме ||х—г/||. Пространство, в
котором заданы евклидовы расстояние и норма, на-
зывается евклидовым пространством.

Углы и ортогональность. Обобщение обычного поня-
тия угла между векторами на случай многомерных
пространств не представляет никаких трудностей. Так,
угол 0 между двумя евклидовыми векторами х и у
определяется как

<L8>

В соответствии с этим говорят, что два вектора х и у
ортогональны (что обозначается xJ_y), если их внут*
реннее произведение равно нулю.

Линейные многообразия. Говорят, что векторы х>,
х2, ..., Xk линейно независимы, если их взвешенная
сумма, или линейная комбинация,

СЦХх 4~ «2^2 + . . . +

(1.9)
не может оказаться равной нулю, если только не
имеет места aj =	= ... =	= 0. Иными слова'

ми, если сумма (1.9) при каком-либо выборе коэффи-
циентов «fe (все <ха> #= 0) оказывается равной нулю, 1
то векторы линейно зависимы. В этом случае неко-
торые из векторов можно выразить в виде линейной
комбинации остальных векторов. Наглядным приме-
ром линейной зависимости векторов в трехмерном .

Рис, 1.13. Пояснение линейной зависимости векторов.

пространстве R3 может быть следующий: три или бо-
лее векторов линейно зависимы, если они лежат в *
плоскости, проходящей через начало координат; в 
этом случае каждый вектор выражается в виде взве- 
Шенной суммы других векторов (как показано пунк- :
тирными линиями на рис. 1.13).

Рассмотрим все возможные комбинации векторов
.	х2, ..., хь, где k не может превышать размерности

пространства л; эти комбинации реализуются, когда
коэффициенты а* принимают все действительные зна-
чения из интервала (—оо, 4-оо). Набор всех линей- 5
ных комбинаций называется подпространством в Rn 1
и обозначается как 3?. Примерами подпространств j
являются плоскости и прямые линии в R3, проходя- |
щие через начало координат. В пространствах более j
высокой размерности очень, важными линейными под- j
48


пространствами являются такие гиперплоскости, ко-
торые определяются как линейные комбинации п — 1
линейно независимых векторов и разделяют простран-
ство Rn на два полупространства. Все линейные под-
пространства, включая Rn, называются также линей-
ными многообразиями-, при этом говорят, что множе-
ство векторов, образующих многообразие, охватывает
его. Следует отметить, что многообразие, охваченное
вышеуказанными векторами, ^-мерное, если векторы
линейно независимы. В этом случае векторы Xi, хг, ...
,.., Xk называются базисными векторами простран-
ства S?.

Ортогональные пространства. Говорят, что вектор х
ортогонален подпространству S?, если он ортогонален
каждому вектору в этом подпространстве (сокращен-
но это обозначается как	Говорят, что два

подпространства и 3?2 ортогональны между со-
бой, если каждый вектор из ортогонален каждо-
му вектору из ^2. Примером ортогональных подпро-
странств в /?3 может быть координатная ось и пло-
скость, образованная двумя другими координатными
осями прямоугольной системы координат.

Ортогональные проекции. Ниже будет показано, что
если 2 — подпространство R'\ тогда произвольный
вектор х е Rn можно однозначно разложить на сум-
му двух векторов, из которых один, Д принадлежит
2?, а другой, х, ортогонален ему.

Допустим, что существуют два разложения:

х = д + У = + г,

(1.Ю)

где д и z принадлежат 3? и у 131, гДЗ\ Далее,
г — уДЗ, однако поскольку г — у=д — Д то г —
е 3?. Следовательно, вектор z — у ортогонален са-
мому себе, т. е. (г — у, z — у) — 0, что вообще может
иметь место, если z — у. Это и доказывает, что раз-
ложение однозначное.

Доказательство существования разложения будет
дано после введения понятия ортогонального базиса.
Допустим пока, что разложение существует:

х = £ + где	(1.11)
Здесь и далее х будет называться ортогональной про-
екцией вектора х на пространство полезно ввести
также понятие пространства которое можно на-
звать ортогональным дополнением S?. Оно представ-
ляет собой множество всех векторов в Rn, которые
ортогональны S7. В этом случае х называется ортого-
нальной проекцией вектора х на S’1. Ортогональные
проекции имеют большое значение врассматриваемой
в данной книге теории оптимальных ассоциативных
преобразований.

Теорема о проекциях. При обсуждении приближений
важно одно из следующих свойств ортогональных
проекций: из всех разложений вида х = х'-\-х", где
х' ^.ST, разложение на ортогональные проекции обла-
дает тем свойством, что норма ||х,,Н минимальна. Это
утверждение получило название теоремы о проекциях.
Ее доказательство основано на определении Их' |2 =
= (х7, х') и на соотношениях: £— х7 е S’, х — х —
— x±S’, где (х— х', х — х)=0. Тогда следующее
разложение дает

|| х — х' ||2 = (х —	— х', х — £ + £ — х') —

-||х-х||2 + |^-х'||2.	(1.12)

Поскольку квадраты норм всегда положительны или
равны нулю, можно записать

11х-х'||2>||х-х||2,	(1.13)

откуда сразу же видно, что х77=х—х' минимально
при х'= х, причем х" = х.

Ортогональные проекции в трехмерном простран-
стве показаны на рис. 1.14.

Процесс ортогонализации по Граму — Шмидту. Для
вычисления ортогональных проекций (и для доказа-
тельства возможности вышеуказанного разложения
на ортогональные проекции) можно использовать
классический метод, получивший название ортогона-
лизации по Граму — Шмидту. Первоначальное на-
значение этого процесса состояло в том, чтобы по-
строить ортогональный векторный базис для любого
линейного пространства Rkt т. е. найти набор базис-
ных векторов, ортогональных между собой и охваты-
вающих пространство Rk.
Сначала рассмотрим ненулевые векторы ащ х2, ...
,.., хР, где р k, образующие пространство Rk. При
построении базиса одно направление можно выбрать
произвольно. Пусть таким новым базисным вектором
будет h\ =A'i. Если только х2 не совпадает по направ-
лению с xi, то легко видеть, что вектор

й2=х2—5^-Л,	(1.14)

ортогонален вектору h\ = xi; в самом деле,, внутрен-
нее произведение (Л2» ^i) = 0. Поэтому h2 можно вы-
брать в качестве второго базисного вектора новой си-

Рис. 1.14. Ортогональные проекции в пространстве R3.

стемы векторов. Если же х2 совпадает по направлению
с Xi, то он будет представляться с помощью и тем
самым будет игнорироваться. Рассмотрим теперь по-
следовательность векторов {hi}, в которой каждый
новый вектор строится в соответствии с рекуррент-
ным соотношением

. <1л5>

где сумма по j включает только члены с ненулевыми
векторами h,. Таким образом, можно получить набор..
hi. Для доказательства того, что все hi ортогональны
между собой, воспользуемся методом полной индук*
ции. Допустим, что соотношение (1.15) справедливо
вплоть до члена с номером i—1, т. е. что векторы
h\, h2, ..., hi-\ взаимно ортогональны; это означает,
что для всех q < i и для ненулевых hq, hj имеет ме-
сто: (hj, hq)'— ЦЛ/ll-|IMI-6/4, где 6/я — символ Кроне-
кера, равный 1 при j ~ q и 0 при / =# <7- Подстановка
дает

/д \ ___ f C^f> hq) (Х/, Xq) 0, еСЛИ hq 0,	.

h q t (xif hq) = O, если hg = Q.

Таким образом, соотношение справедливо также и
для членов, включая i-й, а следовательно, и для всех
членов.

Способ построения новой базисной системы век-
торов непосредственно показывает, что векторы h\,
h%, ..., h,: образуют то же самое пространство, что и
векторы %i, л'2, ..., Xi. Иными словами, если процесс
ортогонализации осуществляется для векторов Xi,
Х2, ..., xD, среди которых есть k линейно независимых
векторов, то они будут точно охватывать пространст-
во Rk.

Если еще один вектор х Rn, принадлежащий или
не принадлежащий Rk, будет разложен на ортого-
нальные проекции х е Rk и xl.Rk, то процесс ортого-
нализации по Граму — Шмидту просто продолжается
еще на один шаг, связанный с построением х == hp+i,
х = х~ hp+i.

Поскольку такой процесс всегда возможен, а ра-
нее было показано, что разложение на ортогональные
проекции однозначное, то можно сформулировать так
называемую теорему разложения: произвольный век-
тор х е Rk можно однозначно разложить на два век-
тора, из которых один находится в пространстве 3?
пространства Rn, а другой — ортогонален первому.

Гиперсферы. Примерами векторных множеств, не яв-
ляющихся линейными пространствами, могут быть
гиперсферы и их поверхности. Соответствующие поня-
тия важны при обсуждении проекционных преобразо-
ваний векторов-изображений. В ЛГмерном евклидо-
вом пространстве RN гиперсфера радиуса р представ-
ляет собой набор всех точек, лежащих в пределах
расстояния р от начала координат, TV-мерный объем
представляет собой очевидное обобщение понятия
трехмерного объема и рассматривается как интеграл
от произведения элементов объема, выраженных в
прямоугольной системе координат.
Гиперсферы подробно обсуждаются в статистиче-
ской механике. При этом объем TV-мерной сферы ра-
диуса р равен (см., например, работу [26]):

я№2

= —-——-	для четного N,

(4*)!

VN —---------для нечетного N. (1.17)

Эти выражения можно представить в виде Ку(р) =
= unPn, где czv — числовая константа, или записать
в рекуррентной форме:

Улг+2(Р) = -^г V„(P),	(1.18)

откуда два набора формул (соответственно для чет-
ных и нечетных N) можно построить, начиная с
У2(р) — лр2 и У3(р) = 4лр3/3. Площадь поверхности
гиперсферы получается путем дифференцирования
V/v(p) по р.

Формулы для Kv(p) при малых значениях N и
для соответствующих поверхностей даны в табл. 1.2.

Таблица 1.2

Формулы для гиперсферы

Размерность N	Объем (Р)	Площадь поверхности d VN(p)/dp
0	1 (точка)	б
1	2р (линейный сегмент)	2(две точки)
2	яр2	2 яр
3	4лр3/3	4лр2
4	л2р4/2	2л2р3
5	8я2р5/7	40л2р4/7
6	л3р6/6	л3р5

Проекция однородной гиперсферы.. (Нижеследующее
обсуждение базируется на геометрической аналогии,
которая имеет наглядный смысл только для прост-
ранств 7?, R2 и 7?3, однако оказывается довольно
усложненной для многомерных пространств. По-
этому, хотя результаты и важны для последующего

руется ив элемент d V*. Поскольку d V* — бесконечно
малый элемент. то» очевидно, справедлива запись сле-
дующей обобщенной формулы Пифагора (фактически
она содержится в соотношении 1.6):

p’-pI + pLa.	(1-10)

где обозначения памятны пз рис, 1.1 о. Здесь не дастся
точяого математического доказательства, тем не ме-
нес ясно, что вышеупомянутая область пехедчой ги-
персферы также представляет собой гиперсферу, хотя

Р«. LI&. Проекил» сфс?ы м ncuuipocrymciua

л меньшей размерности п — k (она соответствует кру.
говой плоскости па риг. 1.15, а я линейному сегмен-
ту— ня рис. 1.15,6). Следовательно, плотность про-
екций на d V*. обозначаемая через р(р»), получается
путем нспсльммння (1.17):

И (Ра) в °-о (<*• ” Pi) * A	(1.20)

Следующая задача состою в том, чтобы вычислять
срсд1«екзядрат1гчсское расстояние точеж неходкой ги-
персферы от начала ксордпкат и сравнить его с со-
ответ ствукмцнм срсдвенвадратпчссклм расстоянием
проекций масс в пространстве &. При усреднении
следует тщательно учитывать, юо все точки в прост-
раыстпе имеющие расстояние р* от иачяла коор-
динат. должны лежать на А-меряой сферически! обо-
лочке радиуса р*. После мих оценок нетрудно
вычислять среднеивадратическне расстояния а про-
странствах /?" я обозначаемые соответственно че-
рез Оя и ол-

р

||йчр*)*вх”’ч

J И(Ра)*«Х"‘<*>й

и

$ р*Нв^*’’ dp

’‘--“ГСрГ-' .	(,21>

идя после яодетамоокн £ — р»/р а некоторых упио-
шевпй:

J <*♦* (| - Л Т* <4

«г-р’т-------------гг-' <“ттт **•<*•«

({‘-' О - ltri~ «

Ч мелите ль it знаменатель в йырлжеяин для о£ можно
выразить с тьысныыо С^та-фум,цни, ыфедкляемой
следующим образом,

После этого выражение для приобретает следую-
щий вид:

(I 24)

Применяя следующую общеизвестную формулу

Г(о + »“01«. «>0. (»25)
где Г(.) {амма-фукя,цил^ получим.’

: . .. . .
И. НЛКОЖСИ.

Полученные результаты фактически обладают ложе
Сол bole Л общностью, поскольку— а это молено пока-
зать— оми справех1нвы в точности и для других сфе-
рически симметричных распределений масс, например
для сфе; -иче; ьиГт оболочки или для многоййраметрн-
ческого симметричною гауссова распределения. Так,
справедливость этих результатов для распределения,
охнородвого в гиперкубе с центром я начала коорди-
нат {несферп четкий случвй). была продемонстриро-
вана в работе |24|. Другие песферкческке распреде-
ления приводят к значениям оь/ал, которые качест-
венно согласуются е законом V*/«-

1.32. Матричные обозначения

Матрицы* ик суммы и матричные произведения По-
нятие матрицы вообще хорошо известно. Отметим,
однако, что с формальной точки .трения матрицы
представляют собой упорядоченные множества чисел
или скалярных переменны*, имеющих парный индекс.
Если индекс Л пробегает значения (I, 2, .... р). ин-
декс / значения (I. 2» .... $) я индекс «я — значе-
нии (I. 2....г), то следующие упорядоченные мно-

жества чисел а<и и fij« можно назвать матрицами.
Сумма двух матриц (той же самой размерности) есть
матрица, я которой каждый элемент представляет со-
бой сумму соответствующих элементов слагаемых.

Л1атрнчмое лрсшлгдсные равно

А-В —С,	(1-28)

где С — упорядоченное множество чисел (у*я), аа-
ла ваемых следующим образом:

Ул* = «*>₽/«-	(1.29)

Определение произведения матриц нс совсем произ-
вольное. как это кажется, оно введено таким образом,
чтобы эффективно описывать линейные преобразова-
ния с исмищью операторных произведений.
Длг краткости символ операпкп п виде тонки мож-
ио опускать. Произведение матриц определяется толь»
ко для такой пары индексов. в которой один из индек-
сов (I « вышеприведенном гримере) является обшим
для двух множителей. Умножение матрицы не скаляр
определяете* п оидс матрицы, элементы которой с>ть
произведения элсуслтпп матрицы на скаляр.

Произведения матрицы на лектор. Вектор представ-
ляет co6cii упорядоченный набор чисел и может рас-
сматриваться как матрице элементов с одним индек-
сом, Рассмотрим матрицу Л = (otw), к четыре пек*
тора 6-(Ь), с=(у4. J — (6>) и е=(е»), где k
пробегает значений (]. 2......Р).	а / — значения

(1.2,.... <). Тогда можно ©пределшь такие пронэ-
ведемня матрицы на вектор

c^ft-A, где

А	<1ЭД>

е <- А • < где еА — д а»Д.

Отметим в этих формулах совместимость внутренних
индексов.

Линейные преобразыхшия. Ос«ониоя причина введе-
ния матриц состоит  том» что это в зпач и тельной ме-
ре облегчает описание операций преобразования эск-
торсв. Преобразование лектора л в вектор у обычно
задастся функцией типа у-^Т(х). Для .iiiKrrtaoi
лреобразопанмв Т необходимо  достаточно, чтобы
для А|. - г- имели место

Т (ц + Птй = аТ (ди) + »Т (*).	(1.30

Общее лияеАное нресбрахнмние вектора х

& ... U) В вектор у — (q,. iK ...» п«) можно вы-
разить в элементной форме следующим образом;

Чт = Х<Ч^	(1.32)

где ая— параметры, определяющие преобразование.
Уравнение (1.32) можно символически лредстваит!.

я виде произведения матрацы на вектор. Если А —
5»
упорядоченны П набор параметров (<^/). тогда kJ вы*
menp пословных ооределевиИ сряду следует

у — А • х.

0-33)

Это опрелелеииа грсизоевеляя матрицы на вектор
позволяет легко гре дет л влить ппслелпаатсльмые пре-
образования траямттииыми операторами; если у —
r-A‘jr и z — о«р, то £ = В А-л.

Графическое представление матриц. Для более на-
гл яд ною представления матрицы часто записывают
в виде прямоугольных таблиц чисел. Мы будем рас*
сматривать только матрицы «в лейст ян тел иных чисел.
Размерности матрицы выражается произведением чи*
еда строк на число столбцов; так, матрица размер-
пост|.Ю тХл имеет m (горизонтальных> строк и к
(вергпкяльяых) столбим. Матрицы обозначаются
прописным и латинскими буквами, при этом, гели мат-
рицы тасисываются явно в виде таблиц, то последние
заключаются о скобки.

Операция транспонирования матрицы представ-
лвет собой замену строк па столбцы, причем матрица,
транспонированная к X, обозначается как X1. Намрк-
мер,

Векторы-строки и векторы-столбцы. Поскольку од но-
ет роковые и одностилбиопыг матрицы представляют
собоб линейные множества чисел, их можно тракто-
вать как векторы, называемые соответственно стро-
ковые и столбцовые При образовании матрпчип век*
торного проязпедеиия вектор-строка всегда стоит еле*
вд от матрицы, тогда как лектор-столбец -справа.
По причинам, которые стянут понятными при даль-
неДием обсуждения, изображения и более сложные
образы обычно кодируются векторами столбцами.
Для наглядности векторы столбцы обычно обозна-
чаются строчными букпам|г, например х, тогда как
моторы строка с помощью операции Tpaucrsorttpona-
ния можно обозначать чере-т хт. В тексте згой книги
векторычтолбжы лмтсымютои в виде £j. ...
...» £и1т. причем запятые ставятся только для кпгляд<
нос Hi.

Симметричные, диагональные и единичные патрицы.
Матрица иазыидется симметрично*, если она совпа-
дает с cucibticiByionefi транспонированной матри-
цей, т. е. она симметрична относительно главков диа-
гонали (при условии, что матрица — кпадратяяя).
Матрица называется дна гон альков, если все ее пле-
кситы, кроме стоящих на диагонали, равны нулю,
Если осе диагональные элементы дявгоидльиой мат*
рилы —единицы, то матрица называется едь-лдчлси/
и обозначается через ].

Индексироеамис а разбиение матрицы на блоки. Мат*
рнчиые элементы обозначаются греческими буквами
с двумя индексами, относящим нем соответственна к
номеру строки и столбца Иногда удобно формиро-
вать прямоугольную матрицу из некоторого числа
строк и столбцов: например. таи иазь'пэемая матрица
наблюдение X содержит векторы ж*« ха. .... кото-
рые удобно рассматривать как столбцы, при этом вся
матрица может быть записана как Х« h. а2, ...

В пбшеы случае прямоугольная матрица может
бить разделена на нрямоугалы1ие блохи. При транс-
понирования матрицы, разделенное на блохи, подмат-
рицы. иля блоки, наменяют свои места подобно ска-
лярам в обычной матрице, причем помимо этого
происходит нх тражпетнрпяаине

Г A |В у Г А7 I сЧ

I сТБ J I вт d' J

По типографским г.рччтглям пункт ирные линии
обычно опускаются a Tcxcie и часто заменяются за-
пятыми. Так. например, матрица наблюдений может
быть записана в виде X = [Ж|.Жд .... ля].

При образовании матричных произведений с уча
стием блочных матриц операции над годматрнцамн
кушествляюгся подобно тому, кек эго имеет место
иля обычных матриц. При этом подматрицы должьы
иметь размерности, для которых сивредел ено матрнч-

со
itoe грожлвелевие. Например.

ГА В1Г Е 1 Г АЕ + BF I

Ic D JL F Г [СЕ-+ DF 1’

Замечание. Матрицу «Хл можно рассматривать хак
элемент действительного пространства /?••**.

Некоторые соотношения дяя матричные операций.
В обшем случае матричное пронлнедепнп не комму-
татппкы, однако они обладают ассоциативными и
дистрибутивными свс-йствами. Нетрудно доказать сле-
дую» -две соотношения

Д11 IA —AI — A

Д2) (АП)С-А(ВС)

ЛЭ) А (В 4-С) <—АВ 4-АС

Д4) (А1)1 —А

да (А + В)’ = А’ + В'

Д6) (АВ)Т-ВТАТ.

Следует стмстптк что в произведении матриц пер-
вый множитель всегда должен иметь столько же
столбцов, сколько строк имеет второй множитель,
иначе суммирование по внутренним индексам может
Сказаться невозможным.

Адамаровы 1цюк.тоедечим, Существует еще одни тип
произведении матриц, которому свойствен более про-
стой закон перемножении элементов и моторнн «ри
меняется нрн решении некоторых иелккеймыд задач.
Адамарсм артмпюедемпе С • (v«r) матриц А — (а.,)
мВ-s <₽.?) может быть спредеарпс. кам

С = А ® В. где ум —о,Д„ (134)

Иными словами, матрнчимс элементы ироадведмкя
раплы произведению соотаетствужидях Maipinmux
элементов сомножителей.

13.3. Дополнительные снойстви матриц

Облапь значений и нулевое пространство патрицы.
Под обл лет мо значений матрицы А оосимается набор
векторов Ах для всех значений ж. Этот набор — ве
что мне* как xinieViHQC многообразие, обозначаемое
через Я {А), или подприсгрнЕстео, образованное

'•*’	I	•	• •
столбцами А Это можно показать, записав А  |<т:,
Аг. • -. o*J и х ж Нь ......|»|, и, учитывая < 1JO).

получить: Ах = ||03 4-Ь«» + • •• -* Ьо*. так что Ал
оказывается общей литейной комбпнацпед столб-
цов А.

/Лулевое пространство матрицы А предст.падяет со-
бой набор всех векторов х, для которых Ах —= б. Это
пространство содержит по крайней мере одни эле-
мент, а 1ГЫСНИ0 нулевой вектор. Нулевое пристражт-
па — лиясАнсе многообразие, обозначаемое через
>Г(А).

Ранс матрацы. Под рангом матрицы А (обозипчле-
мым через г(А)) понимается размерность линейного
многообразия ж(А). Говорят, что матрица А размер-
ностью шХл обладает лоляылг рангом, если г(А) =
» min (гл, я). Можно показать, что для любой мат*
ри цы А

г (А) = г (Ат) ж г (А ТА) - г (АД1)-	(1,35>

В чвстжхти. г (А) = г(А’А) означает, что если столб-
цы А—линейно независимы, то АТА обладает полным
рангом. Аналогично, /(Ат) — гСААО означает, что
если строки А — линейно ислав1»с1гмы, то ААТ обла-
дает полным рангом,

Сяясрллрмые матрицы Если А — мвядраткяя матри-
ца п если ее нулевое ппо-трапгтво состоит только из
нулевого вектора, тогда А называется несингулярной
матрицей. Несингулярная матрица обладает обратной
матрицей (ср, подрлзд. 1.3.4), в противном случае
квадратная матрица А — сингулярная. Если Ах ~*Ь —
векторное уравнение, соответствующее системе Л1ь
wetirux уряплетиП гы я элементов вектора х, то сингу-
лярность А означает, чтс вообще однозначное реше-
ние данной системы уравнений нс существует.

Детерминант, o6paao<uuuuaft элементами сингуляр-
ной матрицы, равен нулю. Все квадратные матрицы
пиля ab1 — сингулярные, что сразу же доказывается
путем квиой запкен детерминанта этой матрицы.

При операциях с матричными уравнениями сле-
дует проявлять особую осторожность при умножении
матричных выражений на матрицы, которые могут
стать симгулярЕммя. В последнем случае существует

63
возможность получения лишних (ошибочных) реиге»
нпЛ (подобно тому, хак такие ромииа появляются
при умножении скалярных уравнений на пули).

Собственные значения и собственные векторы матриц.

Рассмотрим векторное уравнение типа

Ах — U.	(1.36)

где А — квадратная матрица размерностью п X «-
Любые решения х называются собственными еекто-
роли матрицы А, Заметим, что «направление» соб-
сгвенного вектора нс изменяется при сто умножении
на А

Уравнение (1.36) решается следующим образом.
Обозначим детерминант, образованный элементами
квадратной матрицы М. через |М|« Если уравнение
(Л /.1)л—«О имеет нетривиальные решения X + О,
то, как известно из теории систем линейных уравне-
ний.

1А-ХЦ-0.	(1.37)

Очевидно, детерминант можно разложить во степеням
параметра Л, м (137) будет выглядеть следующим
образом:

*" + уЛ“-'+...+у.-:0.	(1.38)

где у« — параметры, зависящие от пыбира матроаыА.
Это псинномналыюе уравнение, называемое частолл-
вактермспсчваитм уравнением, имеет д корней Xt,
Хз. .... 1П, причем некоторые нз них могут быть
рапными. Эти корни продет а и л я Ют собой собственные
значении А. Методы отыскания собстяечвых вскто|хж
изложены в многочисленных учебниках по линейной
алгебре и здесь не приводятся. Для данной книги
больший интерес представляет обратная задача — по-
строения матрацы ио набору ее собственных векторов
(ср. разя. 23). Пол спектральным радиусом матрицы
понимается величина р(А)— max]X,(AJt где Xj(A) —
собственные значения матрицы А.

Л роекционные матрицы- Матрица Р называется про-
ехцноьной, если 1” == Р. Используя итерационный
процесс, можно показать* что для любого положи*
телыюгс целого п справедливо Р* и Р. Заметим, что
6 силу соотношения (I — Р)*ва|—Р мвтрнця
I — Р — также проекционная. Разумеется, единичная
матрНЦД но Определению проекционная. Примеры
приепцноиных матриц, иногда иазын.'НШЯ проекцион-
ными операторами, обсуждеются в подраэд. 13.5.
Додсхжигел»ко определение и положит моно полу-
олрейклглмма дмфШ|М. Если А —квадратная матри-
ца п для аоех ненулевых векторов ж & R* скалярное
выражение < Ат— положительно, то по определению
А — положительно опргделгнмая матрица. Если
м А» — Мктажтелкно или равно нулю, то матрица Л
ИЯзываегсн пилиХительмо полуолредслепнеА матри-
цей. Выражение *тАл наливается при этом каодра*
тычмпл формой по д

Можно утверждать (доказательство лрмеоднтсп о
роботе |1&|). что люСнх из следующих соотношений
применимо для определения положительно гюлуооре-
делениоА матрицы (ла зы пасмой также неотрицатель-
но опрел елепм1й), причем определение относятся
только К симметричным матрицам:

EI) А = ННТ для некоторой матрицы Н

Е2)	Существует симметричная матрица R. такая,
что !?' — Л, т. е. R — AW янлкстсн квадратным корнем
кл А

ЕЗ)	Собственные значения А положительны или
рваны пулю

Е4)	х’Ал > О. как уже отмечалось

Если далее. А — несшзгулярная, то она положи-
тельна определенная матрица.

Положительно иолуспределенные матрицы ветре
чаются, например, в линейных преобразованиях. Рас-
смотрим преобразование у — Мл. порождающее век-
тор. внутреннее произведение (у, у)= уту ДОЛЖНО
бить неагргг нательным, поскольку выражение
х1 М’Мж — неси рицатсльнпе н МТМ — положительно
поту определен на я матрице для любой матрицы М.

Элемгмгаркме матрицы.. Имеется класс матриц, ши-
роко нсвользуемых при реаенин систем линейных
уравнений, а также в операциях проектирования, об-
суждаемых в длиной книге. Оки называются 9ммгн-

<4
тарными матрицами и вообще имеют форму
(|—мег). где м и tr — векторы-столбцы одинаковой
размеркости. В этой книге широко используются »ле-
мснтлркые матрицы вида U = 1—адм1, где а в/?,
и е Если а ** (мти)~j, то IJ — проекцко<1кан матри-
ца и ее нулевое пространство. обозначаемое через
^*(11)	представляет собой прямую линию,

образованную вектором и. Область значений Lr^(IJ)*
(«).

Матричные нормы. Норму матрицы можно определить
по-разному. однако определение должно удовлетво-
рять некоторым общим требованиям, накладываемым
на норму в любом множестве элементов. ЕеклмЗола
матричная норма по определению выражается кплц-
ратным корнем из суммы квадратов ее элементов

След квадратной матрицы S, обозначаемый черед
tr(S>. определяется как сумма пест ее диагональных
элементов. Тогда евклидову норму любой матрицы А
можно представить в виде IAIj-VuU’a)

Другое определение нормы матрицы, отличник от
епклвдпао*. можно получить на основе любого опре-
делении нормы вектора. обозначаемой через |-|. Та-
нам Матркчпан норма, как говорят. согласуется С ВёК-
торной нормой и дается следующим определением:

IIА И = max || Ал И. |х|—L (1.39)

Заметим, что евклидова матричная норма не согла-
суется с евклидовой векторной нормой.

1.34. Матричные рраамення

Обращение матрицы. Под матрицей А“*. обратной по
отношению к квадратной матрице А. подымается мат»
рнцд, у.топдегворккмияя соотноюенню АА*‘ « А_,Лыв
* I. Для существования А 1 необходимо, чтобы А
была несингулярной матрицей.

Найти обратную матрицу можно различными мето-
дами, В элементарной матричной алгебре часто нс-
вользуется метол детерминанта Альтернативный ме
тод состоит в следующем: рассмотрим решение мат-
ричного уравнения АХ — 1, где Л — квадратная
матрица годного ранга. Если X и 1 записаны в блоч-

3 Айв ttl	[J5
иоЙ t форме X — (Х|, xj, .	, Хд| и I m <4?|,	. 4t],

то, согласно правилу матричного умножения, исход-
ное матричное ура пне и »с зклкналеит1Ю системе пск-
торных уравнений:

— к —1,2,,,., л. 0.40)

Возьмем одно из утих уравнений н запишем его н ян-
ной ферме. Для каждого фиксированного значения k
новея запись представляет собой систему линейных
уравнений для я неизвестных скалярных переменных
1р. |а»,	*>

/-1

Каждая из этих систем уравнений имеет однозначное
решение тогда и только тогда, когда детерминант ио-
Ч1рфнш*ентов аг/, иди А. не равен нулю При этом ре-
шение может быть найдено, например, методом нс* ;
кхюченпи Гаусса. В этом случае для каждого х»
реяние получается отдельно, а все они вместе обра-
зуют Maipuuy X. Этот метод дает, однако, только так
называемое лровое обращение А. Леоое обращение 
получается путем решения матричного уравнения J
ХА«1, Для несингулярной матрицы правое и левое Ш
обращения оказываются идентичными и обозначают* I
си через X -s А~‘	i

Лсклса об обращении матрицы- Следующее тожде- и
СИЮ, обычно иахылаемсс лелг.мем) об обращении мат-
риц, находит широкое применение при построении
регрессионных ззшгсимастей, п теории оценивании и
п других (мгдобяых задачах. Пусть А u С — пролэ* .
вольные матрицы, для каждой из которых существует
обратная матрица, и пусть В — такал матрица, что
ВСВ1 имеет ту же размерность. что и Матрица А. 1
Тогда имеет место следующее тождество

(А + ВСВТ)“| - А*1 - А''В(ВГА‘’В 4- С4)’1 В1 Л"1

(I 42)

Сар овеялишхть этого тождества сразу же видка при
умножении правой части нл А -у- ВСВ: и перетрупшг*
ропае членим (по типу ВО'* ВСС“*()“’), Отметим,
что обычно размерность С меньше размерности А,

Вб
так что вычисление С"* оказывается более легкие,
чей вычисление Л~*.

Псеадьобращение. Пусть А п В — общие прямоуголь-
ные матрицы. Тогда, очевидно. лрнведеммые методы
pctueium матричных уряпненпй вила Ах^с или
хЧЗ » с' непригодны, лаже если допустить. что рсим-
лкл существуют; более пхо, возможна ситуации, ко г-
да нс существует никаких решений. Все эти случит
будут обсуждены подробно применительно и матрич-
ным уравнениям вида АХ В — С. Однако перед тем,
как рассматривать такие уравнения, сначала следует
ввести молив о псеидообраыеиии или об обобщен
мои обращении по Муру — Пенроузу [27, 28).

По определению, матрица X является гсопдообра-
иеипем матрицы А (с действительными пли комп-
декскыии элементами), если сирапедлиим все следую-
щие соотношения;

Ж1) АХА с= А

Ж2) ХАХ — X

ЖЗ) АХ и ХА —эрмитовы матрицы,

причем под зрдщтсиюЛ матрицей понимается матрица,
идентичная с компмисноччитряжсниоА и траиелпкн'
романной, Комплекспосопряжслпая матрица имеет
элементы, которые комплексно сопряжены с нсходиы-
ми мвааеггамн. Для деПсгвителыеой матрицы лрмп*
1: к: СП. MNMM I DpMVQ СШИМрИКСП МЯтрицы.

Можно пс я в та т ь. что для каждой латргщи с^с-
стегнет <>дноэмачное пег^ообращекит. Хотя операция
ГЦсвдообрлщстгл очень ложна для лглыгеГыце/о из-
ложемня материала книги, доказательство упомян-
той теоремы существования икс», не приводится и
читатель отсылается либо к оригиналыюб работе
Пемроуаа [27]. либо к учебникам (19 211 Здесь мы
ю «окажем, как построить псевдообрагную мат-
рицу н как доказать, что (юстроенная матрица удпп-
летпоряет вышеорнисхенпым условиям,
А/ргдвпрыуядамый припер псеодообращеная. векгор-
уравнение. Рассмотрим векторирс уравнение

• Ах*=6.	(1.43)

ст


где ,А — матрица тХ л, алий — векторы-столбцьЛ
х g ₽" и 6 е Я**. Пусть г<А) =-:«<«. Путем пкдетаЖ
кгжкн в (I 43) можно показать, «то следующее еы-Я
рэжекне дает решенгте:	

ж - Ат (АА э*' ь+ 0 - л ' (ЛА1)-' А) у.	(I

где у— пропзппдъныП пектср той же сомой размерно-
сти,что и нектор х.

Условие НА) «г /п предполагает, что матрица ААТ
iifpiiocrir т X т имеет обратную и «то х являет
очевидным решением; тот фант, что это есть решение
общее, станет ясным при ддлымйцэеы обсуждения,
Выражение A’(AjV)”1, клк будет показппо, слепа-
дает с определением псеадообратмсй матрицы. Если
ее обозначить через X. то сразу ж» видно, что АХА =»
» А н ХАХ = Л. Поскольку АХ - I, это выражение
симметрично. Для доказательства того, что лА енм-
мстрнчыая матрица, потребуется еще одно тождество,
включдюшсс обычную обратную метрику, а именно:
(А- *)т -* где А — прпнммллъная матрица Про-
стейшее дожаэлтельгтно этого ссапспшеняя таково:
прямая нодстанома показывает, что (А“’)т яв/ястся
решением уравнения ХА1 * (АХ7)7 я- J. Применяя ато
тождество к Хг, найдем, что <ХА)Т А’Х7 зв АХ, чем
п завершается доказательство того, что X является
лсейхсоСращешК’М А при условии, конечно, что
г (А) т.

Аналогично можно тхжамтк что если г(А) -• п <
<. от, то вырпженле (АТА)_,АГ кает псеадообр «ше-
йке А Однако для ранга г (А) “= п < м, в ынгеу катан-
ное векторное уравнение (1.43) не всегда имеет ре*
Mjcnire.	।

4

Некоторые Осксдемле формула длл псеадсоСратпых i
матриц Если а — скаляр, то соотостсгьуюшам псехдо* I
обратная величина обозначается через а* н раина: 1

{«“*, если а ч* 0.	. _ Я

П	А	<1**5> 1

0, если «-*0.	1

что следует непосредственно из определения. Из зтечо
простого сисгнашення следует фундаментальнее свой-
ство операции псекдопбрвшсиня’. гсеядообратвия мат*
р та, вообще говоря, не як-тлется непрерывной фуьк*


цлей «сходной матрицы: так, для скалярного случая
намят место бесконечный скачок при а-►О.

Операция псеядообрашемия вектора о также мо-
жет быта, представлена довольно просты и о соотно*
тениями. Обозначая псевдообратный вектор через
в*, найдем:

(ат/атд, если а ненулевой вектор,
0т (нулевой вектор) в противном случае.

(Мб)

Для произвольной матрицы А псевдообраткэя м в гри-
дя. обозначаемая через А\ дается одним из следую-
щих соотношении 1крнвсдснные ниже формулы рас-
сиатрн1м»5отся как определения пссплообрятной мат.
раны |19|):

А* <= lim (АТА + б’()"' Д'* ~ 1йп АТ (ААг + 6!1)"‘

♦*о	**«	(1.47)

Длкдзатслктяо этих формул здесь не приводится.
Отметим, однако, что данные соотношения СП р л вед.
ливы, даже если А'А и ААТ не имеют обратных мат-
риц Если сто.*. С цы А линейно независимы, тогда па-
раметр 6 в верхней части выражения (1.47) можно
сразу же положить равным нулю, поскольку (Л’А)—•
при этом существует. Если строки А .тнмейпо незави-
симы, то параметр 6 мпжно положить равным нулю
в нижней части выражения (1.47).

Обозначим через diac (<ь «ь .  . ••) дпагошьль-
иую матрицу. Поскольку пряжила перемножения для
дшгоналыгых матриц особенно просты, in осределс-
пкп пссвдсобрашой матрицы срезу же следует:

r<il«g(a,. а,» .... «„)]**-<Н*Е« <•	<) (1<®)

Теорема /'детитхлл. Существуют несколько методов
тачкмама лсевдиобрггаой матрицы общего падя
|19, 2D). В некоторых случаях применяют бнблао-
течаые программы, разработанные для больших ЭВМ.
При этом эффективный компромисс между временем
вычислений и простотой программирования достигает-
ся при нспольэопамнн рекуррентного алгоритма, пз
весгмого под названпс-м теоремы Греяилля. И лея
scroro члгоритиа состоит п разбиении исходной
матрицы в» столбим так, что на каждом цикле шера
иен отделяется один столбец. я субматрица меимисп
размера осДйер.'эетсж псеадообрашенню ([23]. см. так
же (22. 74] Ь

Если матрицу Ас* столбцами обозначить через
. Ак, а рвзлслемцую ив субматрицы — через А* «
— |A-i;а*], где К*- имеет k—- I столбцов, то тео-
рема Г рев шла я формулируется слвяуюшнм образом;

гл©

Пер осла чагз.яое зияченн© А( оапмо первому столбцу
матрицы А, причем А* •=»<!, (<•><*i) 1 при условии,еедк
Л| — ненулевой вектор. Если d| — нулевой вектор, то
Ai -* 0т.

Доказательство »тЫ| тесфемы довольно сложное и
здесь ие приводится. Восбше оио может бить вывод-
wim) путем прямой подстввоокм а определение псев-
дсгобратпой матрицы.

Некоторые лолгляме тсогс1естеш Ниже приводится ле-
сколько формул, полезны .с при выполнении операций
г псеодсюбратпымп матрицами. Эти же формулы со-
эракякп силу в для комплексных матриц при условии
замены операции тряяспонировоння операцией комп-
лехского сопряжения.

3!) (Н — 0т (0— матрица, состояния мл пулей)

32)	(Л4)* —Л

33)	(Ат)*= (Л*)»

34)	(«А)* --= «’’А4, если а -^0

36) A*— (A’AIM^A^AA’)*

36)	А* *- А-’, если А — кьадратиая ц иссинтуляр*
ная матрица

37)	А» — (АТА)~|А\ если столбцы А—линейно
независимы

70
38)	A* •= AT(AAr)”*» «ели строки A — линейтюит-
зависимы

39)	#(A4) =-Я(Ат)

310)	<{АЧ =-r(A) —/(А)т

311)	A'AA4—-A1

'312) (A4)TA’A—-A

5l3) А*ЛАТ^Л’

314) AA4A*)’«A-

Решение матричного уравнения AXti^C. Рассмот-
рим приведенное n заголовке матричное уравнение,
где А. В л С имеют любые совместимые с операцией
матричного произведен и ж размерности Утверждается,
что необходимым к достаточным условием гугаестлю
ваиия решемиА моги сравнения является справедли-
вость следующего соотмошсяия:

Д*4СВ*В —С.	(1.1X1)

На первый взгляд кажется, что это соотмогиегиэе —
вес hi а серьезное ограничение. Однако ниже будет по-
мазано (ср. по др аз л. 1.3.5), что если строям любой
матрицы лииейис независимы, то ЛА4 *=»!.& если
столбцы любоД матрицы линейно независимы, то
‘»1. Справедливость этих условий уже гвраити
руст сушесиювашм» решения уравнения АХВ—»С и.
таким обраэом. условие (1.50) фактически более сла-
бое. Чтобы локаить необходимость условия, залепле-
мого соотопшсги'.ем (1.5(1). допустим, что X — реше-
ние. Нсдолшуя опрслелеиие осевдообратпой мАтртшм,
нетрудно найти, что С в AXR ~ AA*AXBBfB **
«АА4СВ*В. Существование решении, таким обра-
зом, означает справсдллпость соотносх-ння (1.50).
Чтобы показать, «по (1.50)—достаточное условие,
можно убедиться, его частное решение, а именно
А*СВ*. содержится в условии (1.50).

Болес важная задача, однако, состслгг и том. что-
бы найти решение уравнения. Из теории лииейимя
уравнений известно, что обшее решение можно пост-
р^итъ на основа: I) любого частного решения it
2) общею решения соответстпу клмего однородного
уравнения (АХВ^О). Ранее было установлеио, что
А‘СВ* — частное решение. Далее, а силу тождества
М = ММ*Л|, справедливого для любой матрицы М,
все выражения вида Y — jVAVBB4 для врсц|)пс*Л1>ной
мптрЯИы Y (*сй же размерности, что и X) ялляются
решениями одцероднопо уравнения, С другой сторо-
ны. тождество а ® X — А*АХВВ* (для АХВ =» 0)
предполагает. что, если X —любое решение охвород.
кого уравнения, оно может быть записано в &ш)е
Y - A4AYBR*. Слеловагечьнл, общее ретигчне перво-
начального уравнения должно иметь ьнд

X — А*СВ* + Y- A* AYBB*. (1.51)

Этот результат получен Пенроузом [27].

Решение i минимальной нормой ^раенения АХв - Gj
При сущгстнляадпп многих реииний иишепрпведем*
песо урякнення особый интерес нредстдденет реие-
пне, обладающее миннмдеы.'йй верной. Рассмотрим
следующее тождестве:

| А*СВ* + Y - A*AYBB4 ( -

-!а*СВ*С +1У - A*AYBB*C. (152)

Домазателхтьи соотношений (1.52) следующее. Сна-
чала обе стороны равенства записываются в матрич-
ной форме Налоынмм, что гаклндопа матричная вер-
на любой матрицы А равна VMA'AI. Для нрнмсие-
|1ки омерадмм следа к обеим частям равенства исполь-
зуем соотношении 311 и 312. Затем, ттобы облегчить
применение тождеств 313 л ЗИ, примем во ьнимялое
тождество tr(PCj) s=>tr(QP). Поскольку нормы всегда
лоложмтельмо полуолределеннме, можно залегать

I А*СВ*|в<|А*СВ* + Y - A^AYBB^U (1.53)

причем равенство имеет место при Y ~ 0 Следы»-
те-iMtu, решение с минимальной нормой имеет вид
X -= А*СВ*.

Наилу^шее приближенное решение матричного урав-
нения. Решемие какой-либо задачи может быть изп-
лучп1нм ТО.ГЛ.!. и ..гредслеяпоы смысла; Так. ес.чм
матричное ураытеиис Г(Х) •- О, где F — матричная
функияк, не имеет решений, то подстановка X Хв
дает остаток А(Х<). для которого может быть псстап-
лена задача минимнллиля. Минимум матрицы тре-
бует, конелю, определения той или Miaofl нормы мат-
с ним. РасСкстрлие два случая; 1) имеется определен-
Гос значение л>, обеспечивающее мняцмум, так что
•|F(X) 1 > f(Xo)|. прячем неравенство отвечает слу-
чаю	эта ситуация соответствует ня и лучшему

приближенному реиэеиню F(X) •*= 0; 2) существует
много (в принципе бесконечное число) зияэеннн X,
дтя которых выполняется вышеуказанное равенство:
все они могут 6чт*. ня.тпаны приближенными реше-
ниями. Тогда гэсд нпиедчшим приближенным реше-
нием X, ппн и мается г рнбляжеиное решение с мини-
малиной нормой: ] X,II>DХ‘.||.

Впилучшее приближенное решение уралненич ХА ~
— В. В работе (28| Пенроуз указал, что ианлучшее
приближенное решение уравнения АХВ «= С, есл и точ-
вид решепмй не существует вовсе, есть —
(наилуяиее в смысле евклидовой матричной нормы).
Исходя из проблем, обсуждаемых в настоящей книге,
желательно рассмотреть это утверждение для уравне-
ния ЛА — D, которое встречается в теории ассоцил-
THUHMC преобразований (см. разд. 2.3).

Задача минимизации евклидовой нормы ХЛ^В
эквивалентна задаче минимизации 1r(R), где Р —
— (ХА — В) (ХА — В)1. Чтобы решить эту задачу,
вссвсдьзуемсн следующим приемом: из основе тож-
деств 313 и 314 (см. подраад 1.3,4) можме показать,
что

R m (ВЛ4 - X) ААГ(В А* - X)f + В (1 - А*Л) Вг.

(L54)

Выражение (ВА* — Х)АА7(ВА* — X)7 положительно
пол у определенное (этот вывод следует из рассмотре-
ние его структуры), поэтому при X — В А* выражение
1г(НД* — д)ЛА*(ВА* — X)г становится равным нулю,
который и должен бить его минимумом. С другой
стороны, поскольку R всегда положительно опреде-
ленное, то и ВЦ — А*А)Вт — положительно опреде-
ленвое, н поэтому X ** ВА* минимизирует tr (R), т. е.
евклидову норму остатка ХА — В.

1^.5. Проекционные операторы

В этом разделе будет поваэаво, что разложение
пронзаольмото вентеря х ® Я" на его ортогональные
вроекимн / « S? ст А" и может быть м/рямегго
I

терминах линейных преобразований, таких. чо весе,
да существует симметричная матриц* Р, определяе-
мая соотношениями: t Рк и i — (I— Р)ж. П виц
случае Р называется оператором ортогонального про- j
сктироиапня на пространство S, а I — Р называется 
оператором ортогонального проектирования на S', 
т. е. на ортогональное догхляне.чое S'. Напомним, что я
S’1 было определено как мбор ясед пектороп п /?”.
иргогонэльиых S’.

Рассмотрим теоегь матриц)* X со столбцами хь
х>, ..., л». Л < я. Векторы л d /?". < — I. 2, ... k
образуют пространстпо S, Рдхложенме ж «= £ 4- л' —
однозначное, н х можно определить требованием его
Ортогональности всем столбцам матрицы X:

Л «О	(1.65} I

с учетом условия нормализации (ж, /)эе(/. 2), кото-
рое непосредственни следует из ортогом л ьиостн £
я Д Решение уравнения (!.5б) для вектора д’ таксию:

х’-’/О-ХХ4).	(156)

где упрокэпсльннИ вектор той же самой размер-
Мости, что и £ В силу симметрии ХХ\ а также
свойств ооероцяп nccMorfpaiiieiuiH. сразу же следует

x'-f -« *’ (1 — XX * ) у *= i’l

«/(l-XX'/g-ZO-XX’)».	(IJ57)

Можно положить г(‘ — ж. что дает

jr-0-xx*)x

Поскольку £ — однозначно, то |~Р^1—XX* и •
Р-ХХ*

Введепнис тахни сЮраэом операторы иртоюиаль' ’
мото яроектприиамля симметричны п каемпотеитиы.
В оСмдеи случае матрица называется лрпекцмомпоД
матрицей, если она цдемпотентпа (одг.жко ле обяза-
тельио снимет реки а).

£едм ввести сбозмачеяне Хт— Y, то строки мат-
рицы ¥ станмйген столбцами X. Оператор проект»*
рсеання ня пространство, образованное строками Y,

?1
можно записать следующим образом:



I-XX*-!-Y,(YT — I-VT(Y4)r-
— (l~Y*Y)T—I-Y*Y,

ч

примем тюслеянее соотношение следует из симметрии
Т*¥, Теперь можно с формул кровать следующее пра-
вило: XX* оператор ортоголадьмото проектирова-
ния ил пространство, образованное столбцами X. а
Х4Х -оператор ортогсмальмого прогктировйиия иа
грогтралгтвл, образованное строками л. Матрицы
] — XX* и I—Х*Х преостамяют собой операторы
ертогонгльноп? проектирования на пространства, ко-
тирые являются ортогональными дополнениям и соот-
ветственно пространства столбцов л пространства
строк матрицы X.

Вычислительная форма оператора* ортоеомольмогр
лроскгироаокия. Если необходимо выразить операто-
ры проектирования в явном виде, то можно исполь-
зовать любой алгоритм гкевдообряшения. Так, весь-
ма простая формула следует из теоремы Гревилла:
если X» — матрица со столбцами *>, х«, ...» х», раз-
деленная на субматрицы |Х*_i|x*). то из (1.49) сле-
дует

ХаХа - Ха-|Х/-> (| -х*/*) +	(1.И)

где —выражение, взятое in (I 49). в которою о-
вторы заменены соответствующими х-векторам к.
Если вектор (i — X»_iX.f-i)r* — нулевой, то выше*
приведенная формула лает Х»Х* *Ха.|ХЛ|* в слу-
чае неиулевсто вектора справедливо верхнее выраже-
ния для р» в 0.44) и. таким образом, для обоих еду*
чаев можно написать

i - х.хТ - ft - Х.-.Х,-,) -

_	~	. а .ед

Ю — xa-ix»-i) жа|

Следует отметить» что выражение I — Xa.iX«-i пред-
став/ист собой оператор ортогонального вроенггнро-
вяшня на пространство, ортогональное прострактпу.
обраэомжтнйу векторами jt,. ... выражение
I — XtXj лрсДетанля-ст собой гоотпсгсглующиЛ опе-
ратор проектирование с образующими его векторами
*1 ... х» Уравнение (1.60) может быть преобраюде-
ви к виду

где

П-Ъ.1*е	U.62)

и рекурсия начинается с -* I. После Л-кржтиого
применения рекуppctrrней формулы оператор ортого-
нального проектирования на &(Х*) равен Р = I фл.

Приведенный выше алгоритм следует также и id
формулы ортогоналнзацнн Грама — 111мидта, запи-
санмсл в следующем виде:

**-ч-Е	*“*• * •• над

где сумма берется по всем тем лидсксдм /, которые
отвечают Ненулевым значениям xf. Уравнения (>.63)
пегхкрехствввво приводят к (1.61) и (1.62). если вм-
ети такое обозначение.

Полезна также  другая формула: если /=- I.
2, .... h — одгакмедддяыв базисные п^кторы п про
стрвпствс <#{Х«), т.е. если оки ортогональны, имеют
oxi пнчн. ю норму и образуют пространство Л(Хл). то

|
x*x»F "• Z	(i .ее)

причем ри? cCxiTTiLliieJiac непосредственно следует кз
(ГЫ).
Разложение Фурье. Соотношение

(1.67)

позволяет записать вектор х в мне разложении до
ортогональным «функциям» д/ и остатка Л, порыл

-которого минимальна. Это — общая форма разломе-
ммл Фурм для векторной функция, а (д?, х) иазы-
ваются компонентами Фурье вектора х.

1.3.6. Матричное дифференциальное исчисление

Как было показано выше, существование решений
матричных алгебраических уравнений определить го-
раздо труднее, чем существование решений алгебраи-
ческих уравнений. Аналогично, есть основания ожи-
дай., что решения матричных дифференциал mint
уравнений будут сушесгвеидо отличны от решений
скалярных уравнений. Дли этого есть несколько при-
чин. матричные произведении, вообще говора, ие
мутативны, матрицы мог st стать сингулярными, и.
иакс.всц, иотричяпе дяфферсясшалыюе урапоскпе
представляет собой смсгсму дифференциальных урав-
нений, условия устойчивости которой оказываются
OOMI сложными. Таким образом, при анализе мат-
ричных дифференциальных уравнений следует быть
исобсино осторожны мм.

Производная от матрицы Если матричные элемен-
ты— функции скалярной переменной, например вре-
мени, то производная от матрицы песту чается путем
днффереяцвроваипл ее элсмснгток И игр им ер. для
матрицы А

f»H

°!1

daii/d/ da^/dl1
da^dl GUn/d/ J

(I.6A)

Частная производная от матрицы вычисляется путем
1МПия частных производных от ее элементов.

При дмффереацпрокаицц матричных произведений
и других матричных функций следует учитывать ие-
коммутятпаность: так. например,

d (A B)/d/	(dA/d/) В 4- А (dB/Ф).	(| .69)
ЭТО ограничение следует учитывать, ня пример. при
вмчислсянн степеней матрицы. Так, если А — квадра-
тичная матричная Функция, то (1,69) следует оычне*
ляп. так:

I’A’/dl — dfA-A-AVdl —

— (dA/«V)A»-hA(dA/d/)A + A5(dA/<Vb (J.>Uj *

при ЭТОМ выражения (| 70) уже IK может быть yn|>jJ|
темп, лосХольку члены не коммутативны,	

Нолес общую формулу производной стсг:енА<гЖ
матричной функции можно оолучлтк если учесть. чгтИ
из существования А’1 следует А А*' = V. тогда Я

<S(AA”')M — WA/dO А-’ +	Я

4-A (dA-,/d/)«-0 (нулевая матрица)' (1-71)"

В

dA“Vd^-A’’ (dAfdOA”1.

Вообще можно показать, что

дЛ7<*-Ё A'(dA/<W Ав~'-1, ос л к л> I.

<-»	-I

Л

dA^/d/^ У-А’Ч<1АМ/)А‘“’‘Л«ЛН'|>1 и|Л|чМ>. <
"1	(172) |.

Как известно, градиент скаляра — вектор, В матрич-
ном исчислении оперитор градиента представляет со-
бой вентор-етолбец операторов вида

<№Ь......Л/<Ч-Г.	(1.73) 1

л днфферсицнроваиие схадлра формально эквпвЗ'
лептно матричному лроизвелепию вектора V, к ска-
лира a	IL

₽Д«=(ЛЛЪ. да/01,. .... Л^|г.	(|.7П Ш

Пели скалярно-значная функция зависят от вектора т, я
тогда правила д>|ффгрсиинропаипн манболде легко
получить ори заяисн соотноигеннЛ в злемеитах

Г, (хтл)*1^.	....<^] г (Ц+$+... +О2Ж.

((•75)

7В
Пг<ж0Льху V, —вектор, его можно комбинировать с
любыми векторами строками с размерностью, сонме-
<тмой с матришю-векторными слерацппми, Няпрк-
»icp, V«*T " I* В некоторых случаях этот вектор мож-
но применять к произведениям векторов ним векторов
и матриц, «ели выражение имеет ту же размерность,
что к размерность скаляра пли векторе-строка. Так.
следующие примеры можно легко доказать путем ла*
пмеп в элементах: еедк а и Ь —функция г. а р и q —
^остояипие. то

V< fo ’ to * (ж)] - (V,a7 to) b to + № to) a toe	(1*76)

Vr(pto = p,	(1.77)

V,(xr<)-<.	0-7»)

Рассмотрим квадратичную форму Q — flT(x)^o(*J,
где ф — симметрична. Тогда

V^₽2|V(xylkx(xjr • (h79)

причем это соотношение нетрудна доказать, записав
ф—ф'ф*, где ♦* —симметрична.
ГЛАВА 2

Методы ассоциативного
поиска

2.1.	Адресация но содержанию

г/^мепр. гтсйы Д1^О7ТЛ1!ГНМ г,1. А?4>
ж*ы mie и Мы^лять и, такмч t«5pvu*.
обиэимагь tpi* пленумы! нем/?4*.

(АфЖТОТСЛЪ) ’!

Хотя ЭВМ стали незаменимым штструмсигом при
реоеинн самих разнообразных задач. Содержащих
логические онера пни, все же лрипиппм кд построение
далеки от гтрпнг.нпив, ларбктерных для обработки
информации человеком. Восьмо высокая эффектив-
ность ЭВМ при решении вычислительных п логине
скид задач, а также при ни пол пенни операций дегтер*
милнровамною логического выводи становится до-
вольно CKpoMwofU «им МСМШММ данные неполные илп
недостаточно четко определены. Меяиу тем биолен п-
ч ос к не системы хорошо приспособлены для мамину*
лироваипя с неполной информацией. Основная при-
чина сравнительно низкой эффективности ЭВМ при
решения плохо формалкэовянны.х задач заключается
п дискретном способе представления ммформаиин.
В большинстве случаев представляется весьма за*
труд Интел ыш и выволмение вычислительных огераммв
с помощью машинных иомвнх, если переменные не
могут бить описаны однозначно ниеплми и кодами,
при этом дпжс hc3«ib4(ctckluv*c ошибки и грсдста8-
zeirHii данных н команд мигут сушесгнеино нарушить
Весп вычислит ел илы н процесс.

Другой прииинлиальныЛ недостаток современных
ЭВМ заключается л оргатиацин их памяти. Локаль-
на п, или адресуемая, память ограничивает представ*
ленпе данных елшжамн. таблицами и элементарными
перекрестными стылкдии (адресами). Батее сложные,
так наливаемые реляционные структуры длпны.х (та-
кие, как модели опыта, хранимые в жххщ’лятнкнай
памяти) требуют разработки громоздкого ирограм*
много обеспечения, с пимоымо которого и оспиеств-
л я юте л операции над подобными реляижшнымн струн*

К)
тлрлми данных. До сих пор яе разработаны устрой-
cTfMi ассоцпэтц0»ой ilio адресуемой т> содержанию
памяти достаточно большого объема, н почти иск бан-
ки данных с частичным ассоциативным доступом к
информации реализованы в виде сиотпетств) кииих
программ.

Если кодировать содержание яифермаиин с нс-
лользовамием переменных с однозначными именами,
то последние можно хранить в ячейках ММОТЦ. адре-
са которых нмчлсляются на основе обработки имен
по денолыю простым и бысгро работающий ддгормт-
мэм. При атом лр!ч>браэопание всех имен в мэссиз
соответств>юсапх адресов памяти выполняется с по-
мюи.1>ю одного и того Же алгоритма. Иными словами,
доступ а любому элементу, а также сиплакним с ним
элементам оказываетсм возможен при применении то-
го же самого алгоритма к поисковому аргументу.
Этот принцип пригоден для систем памяти почтя не-
огрлпичеаплго размер л, и процесс поиска во многом
напоминает ассоциативное яюсмомиилиис. Такой спо-
соб кодирования данных по содержанию оказался
довольно удобным н эффективным мри уирав.венh i
большими аржноамк и базами данных, а также при
реалпдавин пргирамм-нитерпретаторев и программ-
трэнылтор^ш ДЛЯ ятыкоп высокого урежии, когда воэ-
вляаег необходимость манндулировапня с большими
таблицами символов |31—37].

2.1.1	Принципы кодирования с использованием
ключей

Методы хранения пифорынцим в обычных адрес-
ные. запомииаюшпк устройствах, обеспечивающие бы-
стрый доступ к данным на основе гим водичекних имей,
разрабатывались начиная с появления первых доста-
точно развитых ЭВМ |35|. Оспенная идея твкях ме-
тодов хранения состоит и размещении массива дан-
ных 1*о адресу, значение которого вычисляется как
функция сгютветствуюшето символического имени
или некоторой части самих данных, используемой в
качестве поискового клкча аргумента. Соответствую-
Ш1«е методы получили в литературе название кыоче-
awo кодирования, ключевой адресации, хеширования,
адресации *врлтброс» н т. д. Если возникает необхо-
димость в кодировании массиве данных несколькими
различными именами. то дли каждого ииеия нонене
негюльэо&ять свой адрес, прячем по всем таким адре-
сам следует эдиисгпъ кспяв массива информации,
Ингино таким образом осуществляется поиск дому,
ментон на ос попе альтернативных описателей — ле-
схрпптороа. Вместо .хранения большого массиве ни*
формации по нескольким адресам его можно хранить
только в одном месте, однако адрес ячейки (ркаэа-
гедб) должен содержать также адреса, соответствуй»,
щпс ра.1л.-1чным именам; в процессе поиска пря счи-
тывании указателя разметнемые всего магсипв пн фор-
мации становится, таким образом, известным.

Серьезный целостатом, свойственный всем програм*
мио-реал нзуемым методам адресации на основе со-
держания, связан с проблемой конфликтов. Пусть х(
II я> — два различных поисковых аргумента, и пусть
/(xt) и /(л?) -* соответгтпутсыитс адреса Желательно,
чтобы f(si) >((з>), в это в самом деле часто имеет
место, если функция распределяет вычисляемые ад-
реса по случайному икону, а число ячеек памяти
много больше числа всех поисковых аргументов.
В принимав, однако, всегда ееп. определенная вероят-
ность того» что f(st) »— fUa) (имеют место конфлик-
ты). В этом случае одни из путей преодоления отме-
ченной выше трудности состоит в том, чтобы хранить
один из конкурирующих массивов, обычно последний,
в резервной области памяти, адрес которой опреде-
ляется некоторым правилом (<угнос1ггельно рассчи-
танного адреса); часто используется просто следую-
щий (стиосителыто рассчитанного) адрес Если п ре-
зервной области уже записан элемент, тп пыбнраеття
следующий адрес н г. * вплоть до отыскания нерпой
свободней ячейки. В ряде случаен удобно иметь свое-
образный маркер, ндпрнмер лишний разряд в ячей-
ках памяти, который устанавливается при записи в
данную ячейку информации Пики память нс заппт-
иена. процесс егтискячня свободных ячеек лсвюлицп
прсстой. Следует кг к им-то образом пометить также
последнюю свободную ячейку. Новап проблема пот-
никает при осушествлежпн поиска: кек определить
массив, хранящийся по вычисленному адресу, и что
находится п свободных ячейкех? Простейшее рейте*
вне состоит в том, чтобы в каждой ячейке памяти
иметь дополнительное воле, в котором можно было
£2
бы записывать копии требуемых поисковых аргу**и-
тмп St, s2. • ., называемых л/иамалсищ Виа теперь
массив храпите а по ничнслсшюыу адресу, то по это.
му адресу выбирается признак, совпадающий с попе
кивым аргументом; в противном случае сред» свобод*
имя ячеек ищется признак, сигласукхинпся с поисчо*
ьым аргументом, или стискивается конечный млркер.

Эффективность алгоритма расчета адресной функ-
ции зависит от двух факторов: простоты вычислений
(особепп ' cv.ru иронсходлг частые обращения к па-
мятп| и равномерности распределения адресов во
всем диаг.яюне запоминающей среди. Оба указанных
фактора п свою очередь зависят от тмил поисковых
вргум! пгп, грилем едва ли мож»о указать какой*
либо общий критерий яоиышечмя эф^шктквмостн ал*
гор и тиа.

Оден ю наиболее ранних к остающийся до сих
вор иростейщим алгоритм расчета адресов оснопан
на фирм ирг. saими ключа путем енаделеимя разряда.
Допустим, что память состоит из 2* ячеек, адреса
которых определяются А1 рязргдными лпаичпымичис-
лами. Тогда и качестве инфрезых представлений по
Ш ковых аргументов можно использовать строки
длиной М разрядив. Желательно выбирать имена слу-
чайным образом, причем М должно быть много боль-
Ue N. Затем вичвсхсмныЛ ялрег формируется путем
виделемпя значений V разрядов М-разрядного пред-
сгавлекня и заранее ямбранлык позициях и после-
дующего слияния этих разрядов и едите двоичное
число — N разрядный адрес. После этого соответст-
вующий массив зав1«сываетсм по ИВЙденному адресу
нлп и свободные ячейки, откоси нпмк-м к данному
массиву. Алгоритм расчета адреса на основе вылслс-
Ппя разрядке настолько прост, что нс представляет
никакого трудя добавить к обычноП ЭВМ сосгтветст'
вующее оборудование расчета адресов. Его медосга-
ток cocroeiT в том, что раслредслемве вычисли них
адресов имегда сказывается не очень равномерным.
Примеры аяесратиов расчета адресов

Имея в пнду практическую полеаиость алгоритме»
расчета адресов, в дянноы разделе представлен обзор
намбллее часто используемых алгоритмов и особей
костей ик применения.
Алгоритм L Он пред стам я ст собой не «по иное, как
одни кз на ри гитов метода и ы дел гни я разрядов. До.
пустим, программист использует для идеип1ф«1ияим1с
массивов «естественные» лмема. Тогда статистическое
распределен нс длин поисковых аргументов, как мож-
но ожидать, будет довольно неоднородным. При за-
мстит алфавитного представления сеответн lyKMUNK
кодами и слиянии их п единую двоичную строку раз-
ряды. выбираемые для образования адреса, должны
выделяться из средней части строен.

Алгоритм 2. Если поисковые аргументы состоят п>
нескольких слов, то лучший (по сравнению с лрелы-
душим) алгоритм основан кл так мнзываемом муль-
1IHL1 и кати пни м подобии. Допустим, «по каждое слово
и ее котором представлении имеет определенное чис-
ленное значение; образуем сначала пройти eat ин я этих
чисел. Тогда маиксньший положительный остаток по
модулю 2* лронзнедеякя используется как /V-разряд-
иыП адрес Эгог метод можно применить также и в
случае, когда пипсксвиД аргумент состосгг только из
одного слова; тесла умножают его на бниыяую, долж-
ным образом выбранную константу, и выдели ют опрс-
дслаяиые разряды из прпнлведспия. Иногда эта опе-
рация улучшается, если сначала прибавить чне-теп-
ную константу, а затем «шлолиьть умножение.

Алгоритм 3. Чтобы получить Л'-рвзрхдкий адрес для
строки-а ргу мент в переменной длины, последякя сна-
чала подразделяется на Л'-рвэрядиые поля и сумму
(по модулю 2*) этих полей п используется в каче-
стве вычисленного адреса.

Алгоритм 4. Нефроме представление иснсконюго ар-
гумента. рассматриваемое как целое, сначала делятся
на число л ячеек в массиве памгти, причем остаток —
целое нз интервала [0, л — I] —  иежхткгугтся как
оичнсленвыА адрес. Этот метод не ограничен таблн-
нами, размер которых кратен 2, и может быть эф-
фективно реалнэояпн в машинах, снабженных быст-
рым алгоритмом деления чисел в фиксированном
прсдстапленим.

Случай конкуренции В условиях конкуренция между
вычисленными адресами для одною нз них пеобко-

84
янми найти другую ячейку, для платка можно вое-
дельэоватъея методом проб и ошибок Так, если иер-
BiiH проба tie по з вол нет найти свободную ячейку,
ikidck следует (мвторшь, и т. д. Эта операция нано-
мняает экспериментnpoeatitle, причем первая. вторая
и т. д свободные ячейки для выч печенного адреса
стыскиоаются с помощью единою алгоритма, приме-
няемого как на стадии лапой икания, так и при по-
иске. Эф’|*<ткв»юс1 ъ ключевого кадприванпя заносит
вс только от алгоритма расчета адреса, но и от алго-
ритма проб и ошибок при поиске соответсшпя между
адресом н свободной ячейкой памяти Нетрудно пока-
зать, что для нетолст рятрешения конфликтов, рас-
систреяных я настоящей главе, среднее число про-
смотров данных (для памяти, .таполнеипоА не более
чем на половину) нс превышает 1.6 (включая нерпый
просмотр по ямчмслг|пт(1му адресу).

Что касается пояска свободной вчсАкн. то обычно
гримрияются два основных алгоритма. Для первого
алгоритма, называемого алгоритмом линейного пе-
нсия. а качестве свободной ячейки используется сле-
дующая (по отношению к вычисленному япрссу), а
осле она оказывается занятой, рвссматрмпастся паз-
можиссть иег.алитоаання следующей ячейки. и т. Д-
Вторсй алгоритм, называемый алгоритмом случайно-
го поиска, основам на применении случайных чисел,
добавляемы* а вычисленному адресу. Такне случай-
ные числа порождаются специальным и аряфметиче-
сними алгоритмами и распределены почти равномерно
по заданному диапазону чисел, так что последователь-
ность чисел оказыиаегся вполне случайной Свойство
псевдослучайных чисел состоит в том, что сколько бы
раз ни oevi епнлялся процесс порождения случай-
ной последовательности, она будет той же самой, если
исходное число—фиксированное Таким образом, по-
рядок (мотто) числа в последовательности однознач-
на определяет само число.

Обозначим (целое) псевдослучайное число, гтме-
рируемос ня А-м шаге, через Я***, Следующая фор-
мула порождает почти равномерное распределение та-
ких чисел и Н1ггеркале (0, с]

«‘‘♦“-(ef’+Dmod*.

Я

(2-1>
где а л Ь — должным образом выбранные постоян-
ные. В более слабой формуле постоянную b можно
опустить вовсе.

Другая моднф|цщровянвая формула позволяет
улучшить равномерность распределения

*1! =. integer ((<f (пХ?*и -J- b) mod erf), (2 2)
где постоянная с является степенью 2 и d— постояв*
нал, являющаяся низкой степенью 2 (например, d^4J.

Нслсдюеение элементом из памяти

Процесс поиска в памяти можно значительно уско-
рить, применив организацию массива свободных
ячеек, известную под названием ебязагиюео списка;
при этой требуется лишь незначительное расшире-
ние памяти н несколько вспомогательных операций
при записи. Каждая ячейка памяти снабжается до-
полнительным полем, называемым внешним указате-
лем В нем па ходится адрес, по которому можно
найти следунхдяй хтемент цепи денных, При записи
элементов в память поисковая программа формирует
указатели и записывает их в соответствующие поля
ячеек. Таким обрядом, пмсстп использования всякий
раз алгоритм я поиска адрес первой свободной ячейки»
как только он вычисляется, записывается п nixie ука-
затель. Адрес второй свободной ячейки становится
указателем, записанным я первой снободной ячейке. И
т. д. При считывании элемента список просматри-
вается указатель за указателем, начиная с первого
вычисленного адреса, до тех пор ггжа га писанный
ключ-признак не совпадет с поисковым аргументом.
Тогда элемент считывается. Если все проверни безус-
пешны, то элемента вег а списке. Последний элемент
в списке Должен быть снабжен специальным укаэп-
тилем (например, адресом самого элемента).

Если при эаиисн яоэмнкает конкуренция. то при
поиске свободной ячейки для нового элемента можно
использовать любой из алгоритмов. Этот элемент
должен стать частью конкурирующего списка, Сле-
. довательмр, указатель, найденный по адресу, где име-
ла место конкуренция, берется в качестве указателя
и новом элементе, а найденный адрес заменит старый

ьб

указатель. Эта нерестановкп указателей псказака на
рис. 2.1.

Чтобы избежать попскл, п списксвоА памяти обы<4
во нс поль? уют область переполнения, которая спецм
ддыю отводится для записи юмкурярутоших элемеж
тов. Последние записываются л область перелолнД
пня oimi за другим, а указатели формируют । Я
цепы, с.хпатывпющую эту область переполнения 1

Исключенпе элементов из списка — быстрая опе-
рация. При этом очередной элемент сдвигается из
место 1мжлЮ']ен1юго элемента, а спа собстпсппын ука-
затель автоматически следует за мим. Оспсбодпзихсе-
ся место помечается как пустое, а остальная часть
списка остается без каюн либо нлнененн!.

Сопоставление среднего числа поисковых шагов для
различных методов поиска. Число шагов, необходи-
мых для отыскания свободного места для нового эле-
мента, за рве мт главным образом от степени заполне-
ния памяти, т. е. от доли занятых н\еек памяти.
Помимо этого число шагов зависит также от распре-
деления запятых адресов, которое в свою очередь за-
висит от алгоритмов поиска, а также от алгоритма
управления всей структурой д я иных Среднее число
поисковых ивТОВ (внаючпп первый шаг) приведено В
табл. 2.1 (данные заимствованы пл работ [32- 36]).

ГаОмща 3.1

Сродде. маслэ eiroi

Слож-нь т—иг км	ССйИМ!	S1MWTV	Сляи» И
	Л давним Г ими	ПдоОВяЛЬВЫ)	
0.1		|Пб	1.«в	|
од	I.M	1,39	
Ц75	здо	J.K5	IJH
0.®	5.Б0	2Д6	М3

Удивительно малое увеличение числа поисковых ша-
гом в списковой памяти с ростом степени эаподвеннл
связано с наличием области переполнения.
Тоблыцс признаков и таблица индексов прютнаков.
Призпаксвая память может бить организована дау.
мн различными способами В первом случае как
признаки, так и ссотвстгтпукмцне элементы записаны
в той же симой области памяти. Эта обзасп. кязы*
влетел таблицей признаков. Лльтеонлгивний способ —
х мнить элементы в отделысо* области памяти, а ука-
затезн — в признаковой iibmbhi. Такав оргамдааиля
памяти получила название таблицы индексов призна-
ков Первый метод отличается упрощенным унрволе-
пнем доступом, однако втирай метод обладает мно-
гими преимуществами перед первым и рекомендуется
везде, где только это тпмож1М). По трудности про-
срл>гммроьая;.'я оба способа кркблизигс.тино одпда*
кивы.

Разумеется, если гаиятъ upraMiLsouatia по ирияин-
ну связяшюго списка, следует использовать внешние
уквздтглп, соязымющне элементы списка.

2.J2. Пример кодирования по признакам; логегк
по нескольким ключевым слоес.и

Применение методов признакового кодирования
обеспечивает удивительную эффективность при камг-
кс ДОК) Нентив. Следующий иллюстративный пример
был запрограммирован для мннмЭВМ с кассеткой
дисковой памятью, однако те же приикипы примени-
мы н для больших ЭВМ Задача заключается в тра-
пеции и быстром поиске приблизительно 5000 доку-
ментов. например массивпп потребителей, при ттг.м
каждый массив имел максимальную длину 6с симво-
лов к снабжен 1—10 ал краевыми словам и-дескрипто-
ра Мп Следует указать, что применение этого же ме-
"°Дв к более длинным дркумеггтлы не представляет
м|м»б.ае>мы. поскольку нт можно лракить э эр типе,
например на магнитной ленте, где поиск легко ocvuie-
f твить с гхнигицью соответствукюшх указателей. Клю-
чевые слова представляли собой произвольные строки
'полов, прячем во внимание принимахпсь только
первые шесть символов. Поиск осуществлялся в ре-
жиме ди пл го (в реальном мдсыиабе времени} по
так наливаемой комбиниционноЛ схеме, когда поль-
>опатедь печатал на телетайпе коибмиаиию ключевых
с-юв iilui отлельвгае слова), система выдавала псе те
документы (или нк коды), которые содержали задан-
ные ключевые слова. Пинск на иском более слож-
ных ключевых функия.А осуществлялся за несколько
комбмиаиионных этапов. В откив«сио* примере
поиск требовал менее 200 нс- При этом время поиска
едва ли стало бы существенно большим, если бы
объем ив мято увелачмлек даже па порядок.

Струхтура памяти представлена на рис. 22. Таб-
лица Л представляет собой индексную таблицу при-
знаков для ключевых слои, адрес которых (относи-
тельно начального адреса Гд) задастся алгоритмом 4
расчета адресов, опиелкныи ранее в этой главе. Для
ключевого слова с содержанием к вычислении Л лдрвс
равен гл | f(x), где f — функция, заданная о алго-
ритме расчета адресов. Индекс, сосланный с ключе-
вым словом в таблице Л, представляет собой указа-
тель на таблицу D. которая образует область памяти
для хранения документов. Каждый документ снабжен
ключевыми едоками (на рисунке показаны только че-
тыре). Указатель в таблице >1 показывает адрес в
таблице D, с которого Начинается соогэстствуюсия
запись. Поскольку все документы должны быть до-
ступны с нимошью любого из их ключей, указатель
ма документ я таблице Л должен быть записан столь-
ко раз, сколько документов содержат сиот Детству ю-
шмй ключ. Следовательно. поскольку тот же самый
ключ может встречаться во многих документах, ЭС-
роятопсть конкуренции при вычислении адреса До-
вольно высока. Поттом у желательно, чтобы степс и ь
заполнения грнзиаковоб памяти была небольшой. Это
нетрулко сделать, зарезервирован очень большую об-
ласть памяти (в данном примере 2й слов на диске)
для индексной таблицы признаков В соответствии с
используемой пперацне'нкзй системой дяскопая па-
мять разделена на страницы размером 256 слов. По-
этому на каждом шаге поиска и таблице Л вен стра-
ница с вычисленным адресом пересылается в опера-
тивную память, где и производитси сравнение
признаков. Для получения большой вероягносттт оты-
скания свободных ячеек по вычислен ному адресу на
тей же самой странице применяется алгоритм линей-
ного поиска Казалось бы, искомые адреса (отрсхв-
твлыто Гн) могли бы быть числами по модулю 266; то-
гда свободные ячеПкм будут находиться на той же

м
Таблица
fA)

Г

Put. 22. O&uctu лажлен a
И «ШИМ I»?	Мл.ия
самой странице. Однако, поскольку нежелательно
устянхвлижвтъ ограничения ня частоту «опадении спе-
щтфпчсского прнзпяка в документах, следует преду-
смотреть возможность продолжения цепочки свобод-
ных ячеек я на следующие стрвннпы В нашем при-
мере время просмотра страницы составляло только
180 мс и во многих случаях свободные ячейки окалы-
вались в пределах той же самой страницы.

Многие ЭВМ имеют операционную систему, кото-
рая позволяет работать с енргуйяоьс-Д памя1ыо 7а- *
кая память позволяет хранят* набор наиболее часто ’ !
требуемых страниц, в быстрой памяти, при этом под- Л
качка цооых страниц из внешней (мзерпыер, диско- 3
вой) памяти необходима только в тех случаях, когда I
требуемля стрпицца оперативкой памяти не найдена. "

Помимо индексной таблицы признаков и области,
где хранятся документы, необходимы еще грн табтн-
им. Две и них. таблицы В и С, соответстпеивс пред-
ставляют собой спеем ал иные области памяти, отве-
дении е дли хранения промежуточных результатов
грн кьм6:п1аЦ||пц]1ом г-опске; они адресуются путем
расчета вдресгл но othoilcii ню к указателям следую-
щим образом. Сначала отыскивается множество всех
указателей в таблице Л, признаки которых совпадают
с первым ключевых словом. Эти указатели записы-
ваются в таблицу В по адресу, вычисляемому с по*
мощью алгоритма расчета адресов, исходя из значе-
нии самого указателя. Аналогично обрабатывается
второе ключ с пос слово с выборкой состветстпующсго
набора указателей из твблвцы А (казовмеимо от то-
го. соответствуют ли они тем же документам, кото-
рые были найдены на первом этапе поиска. пли пет).
Благодаря признаковому кодированию, используемо-
му дли ядрвсвим таблицы В, теперь пструлпо просе
рнть, находится ли указатель, выбранный пторым сло-
вом. в таблице В или нет; п первом случае оба клю-
чевых слова встречаются в документе. В таблицу С
записываются (на основе признакового кодирования)
только такие уивзятели. которые совпадают на об: н\
вгапах поиска При испалиэовзмяи третьего ключевого
слова проверяется, находятся хи указатели, пяПлен-
ные для этого ключа, в таблице С. и если да, то укя
автол и снова записываются в таблицу В (которая
была очищена перед третьим этапом оомскл), Таким

9Q
образом. набор кдр&кдатов в указатели, хранящихся
л таблицах В или С, уменьшается, и соспнстстпующие
документы считываются, как только заканчивается
последняя операция поиска. Для предварительной
мнацни маЛдепиых упмТСМ* удоГим) испсльзо-
Пать сгекоаую память, кеггпрфя представляет собой
синеок чисел, заполняемый н порядке их появления.

Ж что последнее число оклзыплепя в вершине стека
В может быть выбрано первым.

В машем примере таблицы В. С м стек находятся
В оперативной памяти. Поэтому полный процесс по-
иска (бел учета времени печати документов] всегда
донимал менее 200 Мс.

2.1.3. Ямк сбрпботки осссцнагнеки! структур
данных

Для всс.1сдоваки11 п области искусственного интел-
лекта было разработано много языков высокого уров-
ня |30|. Это позволяет не только бистро создавать
сложные и аффт итныше программы (иапрпмер, пу-
тем использования неявно определяемых локдлмых
переменных), мо также оптвищнревать сам процесс
выполнения программы (т. е. решения задачи). При
этом во многих языках высокого уровня пред ус мат-
рнвгются средства угравлеимя реляммоимымн струк-
турами данных.

Одни из первых языков, предназначенных алл мл-
ниьу.1мроанн11я ассоииятнянымн структурами данных,
бю назван LEAP (3). В его огиоис лежит гредшхло-
женне о том. что миенмальноц единицей Для построе-
ния произвольных структур данных может быть реля-
ционная упорядоченная тройка (А. О. V-w (признак.
<6ъежт. злаченые). При этом один на элементов V
। менует само отнемаеннс или дает его значение, тогда
ьлк два других являются аргументами.

Каждой тройке может быть присвоено семантиче-
ское содержание. Так, конструкция тина тройки ЭЯПМ-
валентна следующему утверждению:

(А. О. V) <лдиаках объекта есть лядчалмеэ. на
пример *цает яблоко есть красный»

Опыт показал, что такая довольно ограниченная
4”рма утверждений может быть успешно кспользо-
ьаиа в интерактивном решении машинного просинь
ровэнпя (причем это оказывается лаже более удпб.
мым, чем применение утверждений, сформулирован*
нм* с помощью классических алгоритмически*
языков). Тем »е менее простые отношения могут ок.ь
зггьсн медсстнточиымп при анализе утвержделки,
сформулзрсеанмыл на естественном языке.

Из отаоиеим* формируются структуры, если один
идя несколько элементов отношения лах’емиются дру-
гими отношениями. В этом случае под значением
тройки можно понимать жюеалемт пары аргумента
(А, О); подстлноикй просто означает, что любой нэ
иих может быть заменяемым элементом. Для объяс-
ення этой onepauiMi рассмотрим следующую двуН|
уровневую структуру:	л

«отец (отец Cn/ea w Билл) есть Джои*.

глс лла ясности глягол <яаляется> ламеяеи символом
тождества, показывающим, что лБияя» и »отсц Сле-
ва» — альтернативы. Принцип образования еще более
сложных. ммтгоуроАиевых структур, таким образом,
очевиден

При автоматическом поиске основная проблема
состгигг я том. «гтобы ияйтм именно ту информацию,
которая согласуется с Хаданнилы Ключами поиска;
следовательно, одна из меме1гтврпых задач заклю-
чается в просмотре памяти и отысклнпн псе* тех эля-
ментов, которые удовлетворяют характеристикам пт»
кошения. Допустим, например, что в памяти залиса|
ны следующие гроЯкм:	j

<oreq Пита есть Джа»

ъотец Джока есть Джим»
Энн есть Дмо».

Допустим, что критерий поиске задан с исясньэооя*
моем переменноЯ X. например, в виде: «oirq X ecru
Джа». Тогда память можно просматривать пссоциа*
тикаю, путем комбинационного поиске с нсаользова-
инеи символов «отец» и я Джо» в качестве аргумен-
тов псиаскь, причем должны быть выбраны яге
решений Tfifia Х-/7нг нл i Энк. Нэ сказанного выше не-
трудно видеть, что миболсе эффснг1глкый прминнл
ассоивативиой организация базы данных состоит в
применения признакового кодирования, как это было

В4
сделок при реалтшш поктгя ни основе многих
ключевых слое. Итак, (кюбхоянмо кодировать кож*
дик- стиохиеммг всеми его элементами отдельно и эя*
писинап. соответствующие конин otholuckhA п при-
маковую таблицу (Т. е. копировать указателя в нм*
дсксную признаковую таблниу).

Результаты олнсаимсй опер а ни и поиска влп знаке-
нал X, уловлетдеряюшие критерию поиска, образуют,
таким образом. неупорядоченные! набор, в котором
X — перемыкая набора. Огтпееммля система лаыи>
•яяет определять наборы злемеитпя и итерационно из-
менять программы для ЭВМ на олюве значений па-
раметров, соответствующих переменной набора.

При поиске можно также иссммъзовать комбина-
ции частично заданных признаков; следующий пример
иллюстрирует ixjwcK всех братьев Стиве, определяе-
мых векено:

«|рМ<мох (отец Стина) есть А’) А (поя X есть
лдопаяО)»

В языке LEAP можно осуществить помех па «сло-
ве набора следующих илегачных признаков млн их
произвольных комбинаций (табл. 2.2).

Тобдкул l.i
Частички? яадание 1>1»еи«ниА

	Hfaiwcp	Им*ЯИВ*МРЯ
IA. О, X)	чемч Дмтм*»г Дл есть А»	ЛгСпй гмм Лиона До
(А. X. V>	«тин I сеть >7<w Д<^	(йен Дена Ди
<х, О, V)	<Х Д.«го** Д/> ест» /2<w Ла»	Л»)6ос отеошемие н*жхт  Джемом Дои Дснпч JU
ГА, X. Г)	«un X есть >»	Ла>щм{о9еи -еьн> —ш
(X. V. И	<Л У-кл ееа До* До»	Лл61н AceaniMnt е До  >« Ло UK Ь431Ч"||Ю
<х, а п	♦X Ичгяа Дс есть У»	ЛмЮаи ассенивиня е Джемом До ПК сбЫгат

2.2. Устройства памяти, адресуемые
по содержанию

Проблема быстрого поиска всех элементов, удов-
летворяющих эадаьмому критерию поиска, вызывает
неизменный интерес исследователей, работающих как
п области комструнровэипя самой вычнслнтелын^
техники, так к в различных областях сс применения
При этом часто задача состоит н том. чтобы сначала
найти и памяти все хтемспты с зядаикым поисковым
аргументом в определенных полях. Прнменмтедыю д
«ксловым данным возникает задача отыскания гкех
элементен, удовлетворяющих заданным отвпше1нгяч
между их величинам я Например, мекоторые члслгвые
параметры элементов могут лежат», в сиргдслепных
пределах. Если имеется соответствуюиигс электрон-
ное оборудавняие или какие-лмбэ виые (иалрпчер,
оптические) устройства, операции сравнения М’хут
осущостпл^.ться одновременно иди параллельно по всех
ячейках пвмятн. Такие устройства в вычислительной
технике лолучнлн натпднпе ассоциативной памяти, ц
п дал1«мей1ьем этот термин нсгххльзустся именно пта-
ком огралмченипм смысле. Полдмге. при ебсуждеиии
свойств биологичеекий памяти мы отметим Сюлее ши-
рокие аспекты ассодия гид ноте аоступа к пиформашги.

Для сравнения поискового аргумента со всеми сло-
вами ивмягн необходимы три типа операций: I) <шн
роковсшатс.тънвя» передача аргумента ясен словам
памяти, 2) индивидуальное сравнение каждого аргу-
мент с Каждым словом памяти н 3) сбор и сбработ
ка информация о совпадении аргумента со словами
памяти.

При (издания электронных устройств асеоимэтни-
и А памитн единственная возможность широновс«нв-
тельной передачи аргумента связана с применением
параллельных сигнальных линий (для аргумента), и
которым нсгтос редсгпеинп подключаются все слива па-
мяти. Сравнение сигналов, поступающих по линиям,
С содержимым всех ячеек памяти осушествляетси с
помощью встроенных в ячейки логических схем (это
подробно рассматривается в подразд. 2-2.2 к 2.2 3).
Сигналы гоппадсяия передаются по другому набору
линии, связакных с выходными буферными схемами.
Подобное рецденне проблемы параллельного Сравне-
ния. разумеется, аегьма дорого; кроме того, если ко
лпчсстмо ячеек, подключенных к глрз.ътельиым ли-
вням, велико (например, порядка нескольких тысяч),
гояышается вераггцг»гть вл <ннк»*ъвения электрических
помех. Поттиму бплыНаР интерес высылает сюаханм
новых методов запоминания информации- Песомнен*

%
интерес представляют тая нпуыплемыс итерапгв-
ные схемы памжп», в которых ииформаиля осрсдпстся
от ячейки ж ячейке; другая возможность —• жриммх-
кле MMCTpOBianiirniMX полей для щпрсжовещателыюм
передач н информ ваяй; нечто подобное пглплдеуется
о новейших экспериментальных оптических заооми-
НЯЮ1ШИ устройствах, однако такие устройства >ко-
вомпческм неприемлемы

U./. Ассоциат пиная выборка на основе частичном
сиеппдегпл

*

Начиная с 1956 г. предпринимались попытки со-
здания запоминающих устройств, п которых поиско-
вый аргумент параллельно сравнивается со всеми
ячейками памяти; для этого применялись обычно
электронные логические схемы или какая-либо дру-
гая техника сравнения. На эту таку опубликованы
подробные обзоры (например, 110. 39 и 14|).

Для гохдаиия упомянутых запоминающих уст-
ройств, адресуемых по содержанию, применились
различные технические средства криогенные н мягнн-
Т.(1 ютнчсскиг «лекч-шы, МвГМтШВ I ер.-счгпкй, тоики-
нлепочпые магнитные* элементы. а также лолупрооод*
tiBKiiiiue схемы Создается впечатление, что а бли-
жайшие годы основным техническим средством спада-
ния устройств ассоивативной памяти будут большие
нктегряльные схемы (БИС). Наиболее емкие устрой-
ства всспциативнаА памяти, построенные п настоящее
время, содержат и* более нескольких тысяч слп« дли-
ной к наг ал до нескольких сотен бит, Появление в по-
следние годи БИС большой емкости покязывает, что
в ближайшие годы устройства асс1М1иэтнтк>Й памяти
будут широко яримеиггьег п универсальных ЭПЦ по
крийпей мерс в качестве буферной нямгуц * процес-
сорах, а также в микропрограммных схемах управле-
ния. Что касается ссзлзння больших баз данных па
основе вссог.иятнпиой гамятя, то это представляется
пока 1»елостиж11мым (вследствие возристаиня ясрпят-
носги отказа при увеличении емкости памяти и слож-
ности схем, а также из-за проблем адресации; tx>
кряПней мере в с) шествующих электронных уетрЫкт^
вак ассошитненоА памяти каждая ячейка должна
иметь собственную адресную линию).

4 Эек »	97
Чтобы дать представление о сложности «острее,
ния вссоцнатмп1ЮЙ яамвтн, достаточно рассмотреть
две схемы ячеек вссоапапииюЛ памгги. ОсипеилJ
операция, выполняем а я на уровне ячейки асооииатим
•юА памяти, — сравнение рсзрлАм». Обозначим буле!
пы значения двух двоичных переменных через X и и
соответственно; тогда булева функция, имеющая энв|
чевие 1 (мегоме) для логической лклшюлентностц
(совпадения) X и У и значение 0 (ложа) в врстаияом
случае, будет иметь следующий мд;

(X  У) (X & Г) V (П У),	(13)

где £ —симки» логической операции И, .V.— символ
огкграцлг. ИЛИ, а X — логическое отрицание X. Ана-
логично, лссоиваденяе X и У задастся функцией
Исключающее ИЛИ:

хеГ = (Л&Р) У#*/)-	(2<)1

При маскированном поиске для сравнения всполм
зуются только некоторые разряды поискового Аргу-
мента, которые сравниваются с соответствующими
разрядами слов памяти. Ирм этом считываются толь*
ко тс елппа, для которых имело место совпадение ука-J
Ванных разрядов. Для осуществлении перечисленный
логических операций каждый разряд ассоциат ни ш.Л
памяти имеет логическую схему, реализующую фуши
цпи (2,3) или (2.4), а также иидикмор маскировав
uni, указывающим, участвует или нет данный разряд
в операции сравнения. Так, если й-е слова памяти]
(5.1. s(]..51,). где 5,»,--булевы значения разряд

дев, совпадает с булевым поисковым аргументом (At,
А|....А„) по всем разрядам, в которых ММ (Ст,

С|, ...» С4) имеет булево значение О, то функции,
указывающая этот тип совпадения с помоиыо буле-
вых значений I, такова:

М< =. ((у,. - Sa) V Cd & . - • & ИА. « $<) V CJ. (2.5)

Отметим, что, если / й разряд маскирован (Cj«- I).
Ссютвстстбуюшнй множитель (А/ = ЗД V Cj тожде-
ственно равен 1. Диалогично этому несовпадение г го
слоях задастся следующей булевой функцией:

Ч - [(AiGSii) Л ?i] V ... V М„ф$й) & CJ. (2-6)
И
Техническая реализация ассоциативной памяти

I In рис 2.3 показа ил логлчсская структура, обычно
применяемая при сотне* различных полупровоыш-
кпаых схем аосоЕпатлвной памяти (леоолкуухяем
стандартные обпзмачемня). Для залеси и считывания
данных предназначена торнзоитпльнам линия С сиг-
налом А/ —так иазиваемап адресная лилия. Если
Д ], го значение В) показывает состояние адресуе-
мого бита (разряда) ламлто (емгнал отрицания). От-
метим, что выходи разряда памяти показывают знз-
ченне разряда и его отрицания (бпетабмльаня схема);
поскольку омет мне сигналы управления (и соответ*
ствуюшме лтрнцдл'кя) можно связать с такой схемой
с помощью двойных дикий. то оказывается возмож-
ным реализовать логику поиска с минимальным чис-
лом операций. Другая особенность рассматриваемой
схемы iceouHaTiisHoR памяти состоит в способе рея-
лнээцни функции ИЛИ с очень большим (порядка
тысяч) числом переменных. Дело в том, что парал-
лельные- соединения логических пмгтклей па ЛМЯИКД
Ми В эн ни валентны так называемой схемно-реализо*
ванной операции ИЛИ: соотэетсгяуюгцля электриче-
ская схема обладает тем свойством, что выходы логи-
ческих схем действуют аналогично к а бору параллель-
ных переюночателеб между даивой линией и общим
епнналом со значением 0. В этом случае электри-
ческий потенциал линии через резмстор R прноб|мь
тает значение «1», если любой из выходов схем, езя-
эаииых с этой лнииай, не имеет булстсго значение |
(иначе линия приобретает потенциал <D»). Двойные
ллмик управления С/(0) п СД1) сочетают поиск и
маскирование: если нужно выбрать разряд со значе-
нием 0. то Cj(O) устаиаваиваетск равным |, a C/(|)w
—0. Если, наоборот, гтз ячейки памяти ну жж вы-
брать разряд со знамением I, тогда берется Cz(0)«* О
л <?,(!) — I. Наконец, если данный разряд не участ-
вует в операции поиска (замаскирован). тогда соот-
ветствующие сигналы управления таковы: С<(0) —
-*• С,(!)“• 0. Таким образом, Л!, м ) тогда п только
тогда, когда в разрядах слова обнаружено совпа-
дение.

Для записи информации и разрядную ячейку при-
меняются разрядные линии управлеиця V/(0) и
Otter cenui*M««.
UT (I), которые ЯВЛЯЮТСЯ общими для всех слов па-
мятй, Слово выбирается с помощью я .трест) 6 лмиип.
п, если нужно записать «I». тогда Ж/(О)***0и	=

1, Аналогично, для запоен «О» следует прииигь
1РД0) »• I •• ^(1) =0- Во всех других случаях ли-
И1 ЙМ0) И •/< I) имеют значения и

Паралжелыщя орглинзаиив ассовиятнвной памяти
показан» на рис. 2.4. Как видно, основной массив
памяти образовал ячейками, тня которых показан на
пре. 2.3 Поисковый аргумент записывается и регистр
п слово маскнрованпп — в регистр М. Двойные ли-
ши управления Cj(O) и С,(!) устанавливаются в си-
стемном устройстве, иялючающем регистры А и А).
Сврзпа па рисунке покатано другое системное устрой
стно- сналимгтор д|яглтократноео (Овладения (неод-
нозначного ответа), роль которого описана ниже. По-
скольжу несколько ячеек памяти могут дать сигнал
совгаденся. это устройство последовательно сняты-
цвет соответствующие с.то®а. Анализатор многократ-
ного совпадения имеет одинаковое число входных и
пыходиых линий л с помощью .эсм нческяд схем управ-
ления может выбрать одну кз активных выходных ли-
ний (затем эта операция вогторяется для всех актив-
ных линий). Когда выход анализатора с п ялы поется
с соответствующей адресной линией А матрицы песо*
апотмвй аамята, на выходных линиях послглиеП
п виде двоичного дополнения (Я| ... £«) считывается
слово по адресу Ал

Приоритетная эогнкд анализа многократного совпа-
дении. Простая схема анализа, выделяющая самый
верхний из активных сигналов, показана па рис. 2.5.
Сигналы Aft. соответствующие сомашипы сливам,
представляют собой выходы вспомигательмых биста-
впаыаых схем, устанавливаемых в 1 с помощью актив-
ных М-лнннЛ. Ocuoanax лдея состоит в том, чтобы
отделить все сигналы, расположенные на рисунке пи-
ле рассматриваемого, тая кто только один выход бу-
дет активным в течение диикос» такта. После считы-
вания соответствующего слова паяйте бистабильная
схема уствиавливается в нуль, в результате чего на
выходных линнях появляется новый активный ситкал,
и т . д.


P* /4 OprnixMcui* саигти. nnjvcyr^oi i>o солгржиима

Рк, 2Jk Амглкмгтор ммегс«р1тдес содешшши

J(rPU«j teMCMUt; /|~СМ1Л	C-pIhxn.lM С1Г<-.’

•О «*>•«•• но.
Недостаток этой весьма простой схемы состоит
том, что выходные сигналы принимают сс.отнетст
аукхяое значения последовгтельяо. каскад ла каска-
дом. Тан. если задержка па каскад составляет 10 нс,
т0 для достижения стационарных логических. урсвпеЙ
ь памяти емкостью около 1000 слое потребуется
jO мкс. Хотя >то время кажется не столь большим,
можно иногда использовать и более быстрые схемы.
<тобы избежать значительного замедления поиска и
целим 138|.

Существующие устройггпл яссошглтпвпоП памяти
построены на основе так кахипаемого логлгчМлотель-
ном гюралрядном сравнения. В этом случае срапис
и и с c.iOD памяти осуществляется параллельно, однако
пос.эедовательмо по разрядам внутри слова. Принтом
к»амогате ibHUil регистр в анализаторе многократно*
го совпадения собирают результаты глследотатслывдго
сорозрпдиого сравнения. Такие методы могут быть ин-
тересны яри поиске с длинными числовыми аргумен-
тами, однако поскольку их логика не отличается су*
ыествемдо от лоемки полностью параллельных опе-
раций, инн здесь по рмемагрнепются

2.2.3, Параллельное сравнение ас.гачин

Поиск на пемоее неравенство. Еше одна важная оде*
рниия. выполняемая с поносимо •ссоииатпяпай пеня*
тн. состоит и отыскании веет слов, численное эияче-
г. не которых Ткимое млн Меньше пояскового аргу-
мента. Можно также выполнить комбпнироеэнкый
поиск, при котором выделяются все те эдем и зад*
мения которых заключены между двумя заданными
границами Упрюшая кэложемие, б)дем считать, что
псе значения представлены положительны и и двоич-
ными числами.

Для иллюстрации сравнения по величине рассмот-
рим тэк называемую однородную, нлн итеративную.
v-ггчсгцул 1Л.-.1С, |ЖЯ«|З.М1Т1)И-. и* р н. 2.6. В рсикт-
ре А находится поисковый аргумент. С келью .юстп
жеипя бсльшой наглядности средства маскирюваипн
ври поиске исключены. Дотаскается, что значение
каждого разряда представлено в двоичном Дополни-
тельном коде, что типично при использовании бпета
Сильных электронных схем. Пусть регистр В модели-
РУ*т. например, одму лл «лее* памяти. Помимо этсщ
имеется однородная, т. с. повторяющаяся, иля итгр*.
тнвиля, схема, расиоложеяняя между каждой пар^ф
разрядил (А/, В.) регистров А и В соотнетственч^
причем информация передается ит одной схемы к дру.
ГОв парой сигнальных линий Со  £* Основная ид^
HTtpai нвного сравнения состоит в следующем: дофу,
CTMU, что гипотетический процесс сравнения начпкаеь
ся на левом («старшем») конце регистров  посте*
испою распространяется направо к i-й птшти (ртъ
ряду). Если можно было бы генерировать сигпадц

Рис. 2Д Схгча ер««иеммя млмчим.	$

G; и Li, однозначна кодировавшие iictiiiihocti. cJ
дующих утверждений: А белите D, А меньше В ж
результат пока неопределенный (поскольку все cod
ьстстрсипые разряди слева от ЛА позиции лопая
равны), тогда па основе значений A, Bi, 0t it L moi
no было бы лапгчсски иолу^ггь ответ м передать С
отвстствующую информацию к (i—1)-му разряд
с помощью Сигналов (Fm и £; • В самом деле, оч
видна, что. если дна числа поразрядно на совпала»
слева от Лго разряда, одно пл них является опрод
лгнно Оольсуны, жякнмп бы пи были младшие раэр
ды. Отсюда можно вокалать, что если тератнвн»
схемы удовлетворяют следующим уравнениям, то 4
дача сравнения решается для всех i:

O.-.-G.V (А. Л В, & I,),	.

L<-i~Lt V(A,&B^X	J

где начальные зчачеиня G, — L» 0 Если, в честя
стн. Лл“ I и Ва = 0, то очевидно, что А больше,

108
В, м нз (2.7) мажвс аычяслггг, что для всех г < п
О, — 1,	— О Если, с другой сторомы, Л."0 к Ви»

& I, то для всех I < П Gt «* О II L. —» I. Но если Лл-а
г- Вл, то <?«-! = /-л-i = 0 к результат сравнения сле-
дует вычислять на основе более мллдшнх разрядов.
В последнем случае те же самые правила вывода
применимы и к разрядом Л»_|  8^-1 •• т. д. вплоть
до самой правой (младшей) позиции, где формируют*
ся онончатсльиые выходные сигналы <7»  U- Если
теперь Gt — I и £<> — 0. то Л болыпсь чем 8; если

0 и 1л ~ I, то В больше. ВсЛЯ £с — 0,
числа равны.

Поиск хаксим(иью>ео (минимального) числа. При
поиске максимального числа среди заннслиных в ассо-
циативной памяти можно использовать организацию,
доказанную на рос. 2.4. При этом поиск осуществ-
ляется за несколько этапов путем последовательного
аидлнзл разрядов двоичных чисел, начиная с левого
разряда. Идея метода состоит натиски ни л подмноже-
ства чисел, пл которого на каждом этапе выбрасы-
ваются мевьшве числа до тех пор, пока не останется
с л мое большое. Для уироттмя процессом иоосжа
каждая ячейка памяти снабжается дополнительным
разрядом совладения, выходы которого связаны с
иизлиэатором многократного совпадения. Существует
также возможность маскирования любых разрпдм
мр.-у мента.

С г 848.।« вое разряды совпадения у стана вливаются
в I. Зятем крайний девий разряд аргумента устанаг.-
ямвлется в а все другое разряды справа mockit-
руютеж, причем и >шестп.иктся поиск пс критерию
логический эквивалентности с замяскпропанпым аргу-
ментом. Если все слова памяти имеют 1 в первом
разряде, то любое из них может быть искомым макси*
малыми числом, г.оэтоиу оин снебжачтя пиднкято-
рамп Dt  I Все остальные слова Выбрасываются ил
ЭТОГО множества путем уста поя к и разрядов совпаде-
ния в куль. На следующих этапах разряд аргумента
принимает значение I. Есдм, однако, поиск показы-
вает, что в памяти нет слов с I в этом разе яде, то
первый разряд аргумента угтя и вал пвяется в 6. После
формирования первого разряда аргумента на первом
этапе следующий разряд устанавливается в I, л все
разряды спрэпа маскируются и осуществляется но-
вы h поиск на равенство. Таким образом, процесс про*
должагтим, а кндло. что если поиск кпндидлтое па
малснмалмюе число рримен1ггвльно к /му разряду
успешен, то разряды слева от него сохраняют значе-
ния, скорми роил ниме на предыдущих этапах пснска,
а лй разряд аргумента устлпаалпаается в I при оты-
скании кандидатов с 1 я данном разряде. Если таких ,
кандппатов нет, разряд аргумента устзпавливается в0 !
и анализируется следукхнпй разряд. Процесс продол*
хается вплоть до исчерпания всех разрядов поиске-1
яопо аргумента, пока разряды о анализаторе много- '
кратного соппаденпа, имеющие значение I. ве уста по- •
дат найденное мэкспмд.«ы*сс висло.

Поиск минимального числа и ассоциативной па- 1
мягп аналогичен гивску максимального. Ом начинает-!
ся с разрядного значения о в поисковом аргументе, и,.|
если кандидатов не найдено, ряэрлд устшыплномтсяЯ
л I. Затем следующий разряд пропер кетон со зппче-1
пнем 0 и т. д.	|

Рсигск числа, ближайшею снизу (сверху) к аргрдеяту.!
Сочетание поноса слое Памяти, меньших аргумента, 1
с последующим выбором яз этого поцмиожсствяТ
максимального числа позволяет вайтм все те елпаа £
л памяти, которые наиболее близка снизу к аргу-1
менту.	«

2.3. Ошнмальмые ассоциативные преобразования j

I

I

Ранее уже отмечалось что цифровые ЭВМ осо-
бенно эффективны при вы полнен нн численных н ди-
скретных вычислений. Одилкх) при обработке изобра-
жений представляющие их данные обычно бывают
1эсгослкымп пли недостаточно определенными (хотя
объем нс1юльэ}смой информации весьма велик). Дли
таких вычислений представляется Ounce целесообраз-
ным применение многопроцессорных ЭВМ, основан-
ных. возможно. на аналоговых методах, Природа, ви-
димо, предпочитает амалеговде методы заиомииання
и обработки информации, которые реализуются в
больших адаптяппых сетях (ср. гл. 4). Весьма всроят-
। , что биологическая память Ф. ккцвоаирует как
одо/1тилнм<2 фильтр, главная задача которого состоит
в коррекции случайных ошибок, появляющихся в сен*
106
сорной информации. Поскольку выборка информации*
и биологических запоминающих устройстплх. по-вн-
> и ми му, производится на ассоциативной «тюле, пред-
станляютс* вполне оправданными пеелсдопаннг. функ-
иоаяльных принципов такой памяти.

I тедуст отметить также, что псвосприммчииые К
помехам •сгонит г-гас системы оаиптп могут бить
реалнзомпы с поисш-ю простых физических систем,
преобразующих сигналы без всякого применения ка-
хнх*лвбо логических схем млн операций. Матеиaui>
«сипе ледшнц о и еммвщт пнув «мадлг-.г-<•.
соцпатнвиую память», обладают удивительным сход-
ством с моделями теории оценок и регрессионного
•И&ЛНМ. Как будет видно далее, ептпмяльиое оцени*
aaiNie и оптимальные ассоиилтивные преобразования
стохастический информаинн могут быть рассмотрены
единообразно, на основе одного к того же формально
го подходя. Другое интересное свойство оптимальных
ассоциативных преобразований заключается в том,
что они имеют место только и пространственно рас-
пределенной памм-ги

23.1 Системна я модель амалгмооой ассоциативной
памяти

Рассмотрим модель пп рис. 2.7, которая списывает
линейную физическую систему обработки параллель-
ных сигналов образов. Линейная система — простей-
шая на класса аналоговых физических систем, Мето-
ды анализа нелинейных систем будут кратко раесмот*
ремы а подразд. 23.6

2-7. ClCtri|l>n ЧОЛМ» КСОЦНИТЙШйП ЭЗМйТК.

Пусть Bxoxiruc сигналы представлены векторами
<« в пространстве R1* (зти векторы кодируют изобра-
жения, или образы), м пусть выходные сигналы у*
лежат в пространстве Я”. Предполагается также,
что ситнэлы ебралы преобразуются лннейдо в соот-
ретствнк с передлточным отношением

У» М-г».	(2 8)

гм М матрица оаэмерои рХл. Наша задача —
найти решения этой задачи аггог<пд^ы« пор: сумеет*
ever ЛИ матрица М, та кг», «по дли конечного набора
произвольно выбранных пар {(**, р»>), к = 1,2.

,... т, всегда справедливо соагномеиос (26). Эта
задача будет пыфобвй рассматриваться а падраэд.
*3.5. я пока предположим, что ом решена. В этом
случае гг* можно рассматривать нвк записанные а
мято данные. а дц как поисковые орту ленты (ключи),
которые помогают кодировать и пыбпрять данные
р». Подача на вход физической системы х» и яяб.чю-
детище на выходе у» напоминает просмотр таб uri j
в опер линях, выполняемых с ломоть» ЭВМ.

Теперь пазникяет вопрос о том, что произойдет,
если рассмлтрмвлгмяя система будет обрлбатыплть
ошибочный или непалки й поисковый аргумент. В под*
разд. 2.35 будет показано, что существуют решения
задачи вссоинашнн пар, которые оптимальны, если
прпмепптть оценочный метод нлнмскьшпх квадратов-
Это означает, что если входной сигнал напоминает
какей-лнбо из записанных образов, то выходной сиг*
мал будет ск< третированным пр|гблн*оянем н ассо-
циированной части пары

К.стсствеиио возникает вопрос, можно ли описать
с помощью модели огггнм а лыюй ассоциативной вы-
борки как автоассоцигтпаную, так и гетероасссхиы-
тявную память. Напомним, что в аптпассоцивтнэн1'Л
плмгтн элемент cTMCKirnarrn» ил его части, т. с. объект
поиска представляет собой набор элементов данных,
час г к которых используются в качестве ключей при
записи. В тх-тсроассоцнатинлой памяти устанавливают-
ся соответстиик между прошве ль и о выбранными клю-
чами м Г-ронзвольио пыбраикымн данными. Оба типа
памяти будут подробно рассмотрены в далыкйигсм

Накопеги можно отметить, что упомянутые выше
системы можно охарактеризовать как жтло4»«мсли<<не
устройства тогда и только тогда, когда зиачеапте иере-
датоздой операции М формируется в шЭалгдемом
процлтс* под прямым влияинам поступающих сигна-
лов Возможности адаптивного формирования гнало
голой эссх)цивтмн«юб памяти обсуждаются более под*

W	J
р»био в гл. 3 При этом пн взывается, что асимптота*
четкие передаточные свойства Таких адаптивных СИ*
стем часто вквиеа.тентни деПствию орлмояиленыл
прасхциокмм* операторов. Поэтому было би интерес*
нс узнать, может ли оптнмальмам аеггоэсс(М111атниняя
вьГк'рка также описываться с помощью ортогонали*
ных проекционных операторов Таким образом, имея
ь виду возмом весть разработки новых методов спи*
свила аосоишатнвпых операций, следующие ртлслы
прежде всего лпсвяшены моделям лссоцнлтппмых пре*
образований. построенным на основе г.роекцнонных
операторов,

2.32 Лвтоасгоциптшпая выборка кок ортогональная

проекция

| Ряссматриы т различных евклидовых игкторгхя xt,
Ly, xm е R*. образующих под п ростр а »с г no	с R*.

Ь.аК отмечалось в поДрахд. 13.1, можно Показать, что
г ропзеольный вектор x^R* можно однозначно пред*
ранить в виде суммы двух векторов Л и х, ю кг и
 цх Ж орелстяктяст собой линейную киздбмиаипю Яд;
L частности, х есть ироттаг опальна я проекция х на
пространство Д’, тогда кан i— остаточныЛ вектор *.
ортогональный пространству Р. Таким образом, к
является млилучюей линейной комбипяопей векторов
.г», аппроксимирующей г ва Основе xpirrepun нанмеоь*
Unix ккалрыов. Обозначим

л Е т*х*.

<2.0)

где у»—скалярные множителе, представляющие со-
бой линейные рггрессмоилые коэффнцвепты х относи-
тельно <>.

Отсюда вилм. что вектор х» можмо рассматривать
*ак представления гн рахс1гчкыя записанных в намят
элемекгоа, называем их также зтлсикыми образами,
9 х является (воззюжко, неполным) ключевым обра-
зпм, с немощью которого информация ассоциативно
еыбнрастгя нз пампи. Ес.ти ключ к обнаруживает
близкую корреляцию с одним вз заласаплых а памяти
здементои. скажем хг, то есть оснювдмия ожидать, что
член у<х. будет в сумме Я ломивпрукитш. В этом
случае можно сказать, что х, — один из эталонкых об-
разов, деснсаппых и памяти. Остальные члены в лк-
небной комбинации х представляют собой «остаток»,
ля шум, структура которого зависит от перепрел
имя корреляций, возшгкэюшдх от других зяписанных
в памяти обрауж.

Классической пычислптсльмой процедурой для
расчета ортогональных проекций является метод Гра.
ма — Шмидта, при атом для подпространства 2, об.
разованнюго векторами к», новый ортогональный век-
торный базис определяется таким рекуррентный соот-
ношением

f|=X,

й-1

Х«-х.- Г Ь (* — 2. 3..............т).	(2.10)

I•гГ
11 11

где (ж», Х>) — внутреннее произведен не и Л, а сум-
ма берется тольКи по тем ч.темам, для которых i, ч* 0.
Разложение ключевого вектора к на проекции X и X
можно получить путем продолжения /казацкого ям*
ше рекуррентного процесс и на один шаг дальше,
когда х » хпы. f — г —

Корректирующие ctxricito орго.'онплъкых проекций.
В этом разделе будет показано. что операции с орто-
тональными проекциями обладают свойством коррек-
тен и стандартизации неполных ключевых морвзлн по
отношению к записанным в памяти эталонным обра-
зам. Эго свойство можно нсноакзопать в практических
разработках. например при коррекции искажений эле-
ментам при считыапхпи символов, фмльтрашш сооб-
щений. передлпаемых в условиях шума, и т. а. Так,
если ключ х представляет собой вариант одного из
эталонных образов к», рассматриваемый и условиях
шумп:

ж-л,4».	(2-11)

где v — стохастическая ошибка, то воебше Jt будет
улучшенной версией л>. Это можно продемонстриро-
вать лмхл|гтпческл п простом случае, когда о имеет
постое.иную длину |v| » Ор я мапиавлеммя, однородно
распределенные в пространстве Я4. Не представляет
труда обобщить этот результат на случай, когда ь*

но
I

9

пмсет прсязвольвюе радиальное распределение п ₽•
рапримср явлеетсн симметричный мнпгсвлриангным
гауссовым распределением. Отметим сначала, что ор*
товальная проекция ъ ия пространство ¥ равна хг.
С другой стороны. в разд. 1.3 I было показвло. что
проекция С вектора v мэ пространство 5? имеет рас*
врелележм.' с лясперснеЙ, раиной т/п, ум пожен ной
на квадрат нормы и, где т — число сбраапв. а и —
пх размерность. Другими словами, н1ум. встречаю-
тпйся в ключевом образе, ослабляете» ори ор гото-
вальном проецировании, если л» < л; прк этом стам.

дарпюс отклонение ряндо

var^ Н f — х, П = ytu/ii |х — х, f.

(2.12)

выборка ысуггтбующих ф^агмечгов. Ло определению
оперзмлн ассоциатшмюй выборки Искаженные юн
оттешу кмине элементы (массиве данных, который в
елом полный) могут быть восстановлены по осталь-
ным жмеятвм мяссивл, Если теперь испольэсгкдтъ а
качестве ключа х вскажеквый верна иг одного «з эта-
лонных образов, скажем х,, тогда ь — х можно рас-
сматривать как етохлстпческпО шум Его статист ин а,
однако, зависит от структуры х, и поэтому трудно
определима. Селя опип. допустить, что фактор ослаб-
леиия шума меньше единицы, то л? г.редСтаилВет со-
бой улучшение* пр|»б.ц|жеиие к ъ В этом случае по-
Шфит, что имеет место аитпяссоцплтивное восстаиоа-
ленис иска жен ной части.

Пример, Нс посредстаекняя деиоистраимл корректи-
руюших сипйств оптимального accouiiaiomoro прсоб-
рхэомлмя может быть осуществлена путем модели.
Г"вания па ЭВМ с применением реяльлих образов —
ИлпбражениП. В эксперименте была исоолвлооана иы-
числатсльмня система» подробно описанная в работе
12-1). Оптические лэобрджепие. состоящее из иесколъ-
к«х тысяч злеменгол. пмеюшпх б-уровневую дпекре-
ти •ami», с п- .мощью слс<1яалыи)го сканирующего г-
роПства фирмироп.алск'Ъ в цифровую 4»орму и пере-
дуваюсь в ЭВМ. Выли псполъэопамы прямоугольные
HaoOpajKMiitM формата 54X60 МПММПь ори МШ
иэцбражемия коднрпвялпсь векторами-образами с
Л004 компонентами. Для изготовления репродукций
п ал утовсоых (А-урдонеаих) картин применялась бо.
тинабсрнам Mauirjit:i С овальными пятыми соответ ст.
яукимсй игепспьиостя, Результаты. показывающие
л ода :м си не шума и пвтоассодиатквмое посети исжлен и?
картин, показаны но рнс 2.8 Первая пара изображе-
ний па рис. 2 8.0 состоит из ключевого изображения
и результата пыборкк по ключу; л клчестно ключа
исэсльюг.алоо. osoo кэ исходных изображений, на

ГИС. 2. И. Кл.'Ю «рП||М .'TTOittOL'IIATHbaCu «ЫбОрЫН * Пй*»м»к»я
i*}ii • apl мшшмгам «-oepiuith ир<шинл.шмоги орогк гм ром мм я

каждую точку котсрого был наложен белый шум. Нор-
ма зашумленного вектора была я 1.6 раза больше
нормы ucxnuinru цензора; Шум создавался на ociinnc
однородного распределения. (Фактически шум имел
не «ОДИтам •>. •.  кубическое распределение.) Воеста-
монлси1спе нюСраженме иллюстрирует эффект под ге-
ле и иг. шумпв с иимишыо авгоассоилаттцого преобра-
зования, причем и памяти было записано 100 атжлом*
мых изибряжетшй.

В другом опыте ключ был сформирован на сеном
эталонного пм»бражелия, замэскирсяаняого на 25%;
результат показан па рис. 2 8 Inapa изображен нА
ключ — вогста поп лепное аэображение).

2J.3 Фидотр молпэны

Составляющую f вектора х, сртогокалы1ую прлег-,
ранетку Sf, можж> рассматривать как результат «ина*,
рвами. обладлющсЛ довольно нптерссиым|г спойстпв-
ми. Если вспомнить, что i можно трактовать как
«лстаттж» после формирования нэмлучшсА линейной

111
дембрнашсм «старых* образов, оиисынаюте!* входные
«лиаие я» то можно надсят^я, «по i будет как риз
«мэкспиалыво Н(лмм*1» частью в х. Есть основания ил-
звать эту составляющую «ловиз1к>Ь» и. таким обпп-
эсм. термин фгмегр яодгтям можно ттсгтолмолап.
для системы, выделяющей х из идодмых данных х и
птт>б|«|Жаюые1| его на пыхоле без составляющей <
В гл. 3 расойатриваетгя адпптиьиая схема, псямп.то*
тнчвекне свойстве которой напоминают свойства
фильтра новизны.

Д<ги примера Фмлыра новизны Возможности Фильт-
ра цпвжэни nrjiiu из слсдуюмкл двух црм.мсрое. От-
метим, ЧТО Для ЭН1НОМЫХ входных обрээоп фильтр ЯВ-
л нетей как Он матовым, |итфоэрММЖ В псрым
примере а некоторых входных образах имелись де-
фекты. Г Гетто му отфильтрованные выходные обрвлы
обнаруживают эти дефекты в виде дополни тельных
образен. Для простоты я ясности предел явления вы-
ЖЦные образы преобразовывались и двоичную фор-
му. Во «тором примере аномалии в образах были по-
ложггг сльиы мп. и я соотпстстжнп с этим они отсбра*
Жалясь п виде положительных сигналов на выходе.

На ркс. 2.9 ипказа и к 10 двумерных образов, каж-
дый |,з которых состоят П 35 гонок (светлые области
соответствуют значениям 0, черные • - I). Эти образы
можно рассматривать как 35-компонентные векторы
х> (ср. ьодразд 1.3.1). Ортогональный оператор про-
ектирования МОЖНО ВЫЧИСЛИТЬ, жаоммуя Ха КЯК
«старые» образы. Затем ряд старых и полых образон
тюхи Ют мп вход фильтра к nyrev их ум пожен ли» на
проекционный оператор вычисляют выходы 5. Для
удобства графического выводR образы i npeicraи-
ляются в дополните,! 1.ПОМ ном как атрнчательмые,
причем дпончные ддипые различаются аа уровне 0.4,
Коиечяо, а деЛствительиостм аылоямые илибрамсп|гя
на лвемчмые. Примеры нледмых и соответствующих
им выходных изображен нм характермзующих новп>
«У первых, показаны в двух 1МЖ1ШХ строках рас. 2.9,

В хругоя примере вппцпся иовыП метод обрабог
апг рйявогрвфнческях изображений, получаемых с ПО-
mgiumo специального )%тробсгва. палыялеыогп гамма*
фтгпжамерой На рис 2 1(1 показаны карты распреле-
лсмин рвдпопкгиваюго изотопа Тс” в мешу больмии

fan. в верхней части рисунка представлены боковые
..^фражевня момв; соответстнуюише распределения
.jcrvf быть также получены с помощью гам ыи-яп меры
п о шкфрлвоА форме. Наиболее питерссял лситудлляп-
гжкскмя облвс** мам*, которая снача.-.л имена от-
^ст.шсне конггуры. причем различные изображения
бил» ствндвртвэомвм так, что требуемая для ана-
лиза область всегда приводилась к переделенному
размеру н форме. Затем для векторного гредстаилс-

Рис. дю. Уоменп. ьтялояешпА irr м&^мы о апгррсл^г^лрг^г-
СК Их КМ^рпжСННАв НОЖ1.

juiim это/.' области выбирались спяики мозга в числи»
bofi форме (иКило 1300 точек). Ня iirpacii сталии
мссяер и мента было выбра» 30 кзображеипп (не по-
казанных на ркс. 2.10). соответствующих иормальмо-
му мозгу. Несмотря на то что юображсиця внешне
авметво отличались между собоП. (Ыиищескн все пик
классифицировались как нормальные. Эти норыдлъ-
nие з1эобр»*синя it (hlflll 1«С|юльэоваиы в качестве
гстарык», Или эталонных, образов Хц. необходимых
JL3R построения на их основе фильтра iwoinMw. (При
численно)! построении следует пел ил ыоватъ процесс
ортогоналнлацкк по Грому —»11)мнхгу ) На второй
ст а дли эксперимента анализируемые изображения ис-
иользуются а качестве входных изображений ж, при
этом все садя подвергаются вышеуказанной ст вид ар,
ТМЯИНМ. Rmxoiwwc мзюбражешнг х, гсясркруемме
фильтром но виз и и, затем преобразовывались к мер.
ыммачзльным фермам и размерам м отображались на
экранном пулi.tс; при атом некажевия, обуслиплсянм»
дпекрегжзаиисА данных, должным образом сглаж*.
। и.тнсъ. Нижний ряд на рис. ‘2.10 дает примеры ано.
мал иных случае и. Интенсивность точен о соседней
анализируемо*!) области оставлена той же самой (ис-
ключая, меж с г быть, 11сзпач1гтелыш<* аффекты, се*.
S3 иные с двойным маенгтибяроланмем), а внутри
анализируемой области волны только компоненты
мовцдиы. Например, рисунок /I дает картину артерио-
венозного парушенпя, рясу нон Б показывает сосуд*,
стую глнему, а рисунок в — менингиому обонятель-
иого ядра. Рисунки Г, Д и Е аютястстмузат изображе-
ниям А, Б и Б, протушенным через фильтр напцзиы
НМ-

Фильтр ксеизмтл как охготгсси(иогиияал память. Из
рис 2 9 авдно, что искаженные части образов можно
росстяноьмть с поыоиью фильтра «ют i пни, используя
>тн образы и качестве входов яри шмхтаисад.эении.
При этом ости», ни* отличие ирт1хи1шдьлоП лроехишб
£ от £ состоит п том, что векзжепные илп целостное
пню части посстаижалмьзютсп в хмтачнителмюм к» ла
кик отрниатслышс, в клютсвая часть плдяадястсл .

2.3.4	. Аптоасссчиатилчос кодировамти

Определенно образов нэк наборов седельных э.эе-
ментов кдртипи 1Юзполмет придать различным компе*
Mirra м образа тст imh иной смысл. Так. вектор неко-
торого образа можно образовать путем комбинации
VCKTXipCB меныисй размерности, каждый из которых
представляет собой некоторый образ. В чэстиостя.
некоторый структурный элемент образа можно пс*4
пользе лить а качестве кода, или празкакд, оста.зьмо|]
части обреза.	I

Рассмотрим сначала случай, когда изображен и
л. м сммнатнчсскпе образы ул скомбинированы в т'К-^
геры ч —[<{.	|а*,,м образом,что все компонент*3|

объединенного вектора рассматриваются как равно-
правные. Если попытаться найти какую-либо энало*^
116
ritr с явлениями бво-
цошнсской мамятч то
^жли> заметить, что
обм-акнеиме компо-
нентой	и я поминает

комбинацию сигналов
ог рдлнчных сенсор
иьв входе© и одном и
том же ялре модтя.
Виталиям теперь про-
цесс ортонмаллзэинн
вал векторами х». пс-
розг та юти 0 новые ба-
зисные	вс кт г, ри it.

Ee.nr ДЛЯ восстампкле-
ни» п качестве ключа
использовать Изобра-
жение л, ти клкувеииА
век тер приобретает
форму х' » [хт, 04-
Теперь есть все осно-
вания предполагать,
его оргсгииалымя про-
екции вектира ** со-
держит медаствюшнб
вод; так, вели х было
прпблмметгем, ска-
жем, х,, то восстанов-
Лепная часть у,, как
ожидается. будет при-
ближением к цсктс.р ко-
му коду у г, ассоцииро-
ванному с Лг.

Fwr. ГП. n»fu •аи«ем«чмх им)-
Премг.ш» • Kjyjbtn-I выДсрси.
р 1UMNTW MUIKAho КО юоСеи-
жммй. .«(им) |*яц *x<pxewT
нсппмзуетс* в алмктае ыючеаы*..
ПреЛкаМн imacutnte nje.WFMU м
мижигЬстргас («ачсстао аизохвыл
иы>йр>ж*«иь хуже, «хи нв р«е. 1.11.
ногж-чч-Kf пиммгго г^ллрр‘'Г*-и
ш)Ь опрабитхи ив проемоамось).

Пример (г(ггоассоциа-
тытлсео кодирования.
В качестве прмхилмт-
dux векторов у* мож-
но, кяпрпмер, деполь-
^оогггь единичные век-
тори, т, е. ортоипрми-
Ронанные координат
ьие пектори, у ксто-
одни комлежент
имеет единичное значение, «се остальные — нулевые >
Обатначпм едивячмм* вектор, соответствующий >-му
вектору-образу, через и*. Рассмотрим теперь резуль,
тати маип(И1»ого миделнроиакин, в котором к кэждо.
му образу х» было добавлено признаковое поле, соот-
ветстэуюшсе «*. тяж что полученные векторы «ИМ!
структуру х' ™[xf. м’у. В качестве самих сбрп.зоа
были использованы онтическпе изображен и я в дос-
жретнзовднноА форме, содержащей 53 X 56 элемен-
тен. Значения самих злемемтов мэсбрэ женин ходнро.
палпсь плехцплью «точечного» роля, прячем значение О
соответствовало минимальной площади поля (всего
нслользовались в уровней, т е. размеров полей), При
отображении образа на экране дпеплел дополиитель-
нах горизонтальная строка указывает первые 56 вле-
Muinufj UMNHWrt* L-o.n-|:i, ->гII I Ы i-e М ПМ1ММЦ
на рисункам. Точка, соответствупщяя численному зна-
чению I, ММВВЛСНТШ1 идентификатору картины При
посети ное Лемин картоны кодовый вектор п ключеппм
образе устгназлнзастся  0; после образовапкя орто
П нальиой проекции дсгтс.лрекного образа д'происхо-
дят также и впсстакоелсине кедеясЛ частя. При успеш-
ной ндентпфиклцпи картин ожидается, что соогпет-
стжуЮв|ЯЙ элемент в признаковом воле хартнвы-ре-
зулыата будет «меть «мнительно большую ннтенсив-
иостъ по срахнсжию с остальными. Часть результатов
этих опытов показана иа рис. 2,И; левый ряд нэобрв-
жепий был нс1пхчьж1нли в качестве ключей, при этом
была пролемонстрирсвана успешная нленгификаипя ,
одного из IOO кзображекий; стрелка показывает по*
ложеппе г.рнзлаковохо (юля, где ев Аден вл смект с
наибольшим значением признака.

Надсжность такого ассоииатпвню(х> метола наентп-
фнкаиии была проверена также численно. Значения,

Голица f,9

CfN^we От1юшс*т xirji нйиболжшмм элем*rot icriofa Л
0	с «мбо|лсо4

r JTOXMMI Uafiic*	MO tftMewui c6e>j«?

K iVI 50%	Кмж 10%	50% Клкт IC %

ГМ	<56	],B8


nnimMCBin/e в табл. 23, свидетельствуют о качестве
десстан|«л<!*">я (мдеитнфикаини). кода ключ спстав-
: li'r‘,1. ц.пгыпд! 11 р г и. | ЧКМ I	 I IM | МП*

ртёмых нэобряжелнй било соотостгтпеино 10 и 100.

2.3.5	Оптил'.аА иные лингнлмс огссч^иатианиг
прюСразоианм

Асашнатннизя выборке вообще может быть опрс-
делена как преобрахнааипе, в котором каиечзое число
деоднык нектаров преобразуется м влдлккос число вы*
.тпхиы.ч вс* горой, ten и процесс вогстанивлеиин лол-
мен битв помехоустойчивым, то все векторы. лежв-
щде в окрестности входных векторов (в пространстве
идаюгой размерности), преобразуются в окрестность
гоотетстцующпх выходных векторов, В ппдралд. 2.3 2
при анллнле оосраций ертогонплыкшо гроектпроваиия
би,во показано, что случайпые отклонения от зталон*
лых обрежнт елгтимзлнж? корректируются в процессе
осстимоеленнч, есть основания предполагать. что об*
тче мнеАмм ассош'ятнаные прсобрамжпиия также
обладают этим свойством

Обиде лвме^мог (деоф1ативмое преобразование. Ос-
ИОнссля лякейн як да дача восстановления была сформу-
лнроваяв в подразд. 23.1 следующим образом: каким
дсижев матричный оператор М. преобразующий об-
разы х«в /?' 8 образы yt Я /?*. Л *• I» 2, ...,

Ук^Мхя V k с (I. 2. .... л»)?	(2.13)

Вь.1дя прямоугольные матрицы X и Y со столбцами
А и yt соответственно

— (х«. А'Ь	1 •”* (i/|. р;> *•••	(2.14)

м^жно записать соотношение (2.13) в матричной
Спрме

MX-Y.	(2.1$

Формален*, релгелие этого уравнения с нектвесгной
матриисй М м известными матрицеын X п Y можно
получить метолом Пемроуча (подрвзд. 1.3.4), при
эт«м приближенное (на осяоне методя няимакыиих
кцадраасе) решение дается гоотноюемнем

M-YX4	(2.16)
При произвольном V достаточное услоеме сущестьсед.
нпя точного матричного решения такого.

|	XfX-I.	(2.17)

что означает лилейную независимость векторов хь,

В разд 3 3 будут построены различные численные
процедуры лл* расчета YX*

Корректирующие свойства лпнейжхо tccouпятна-
жжо преобразив л имя очевидны из следующего акали*
за. Допустим, что х» линейно пета пискни, что тараи*
тирует существование точного рсшепин YX*, обозна-
чаемого через М. Если х — векторный образ, являю-
ишАся приближением в х., г = 1, 2........./п,	теги

й — Мл, как ожидается, является приближением к рг.
Теперь можно преобразовать в форму, которая ясно
ПГКН.1ЫВВСТ кичегтво процесса восс1аноллсяия. Па»
помним, что X* —X* XX* тогда 0—.УХ+х=УХ-(ХХ*х),
Однако, ХХ*х =-i, поскольку XX*—- оператор ерго-
Тинальмсхо проектирования на пространство ^.Взтсм
случае из соотношений (2.16), (2.9) и (2.13) следует,
что:

(2.119

*-i	е«1

Тем самым отигхятелъныс величины членов в комбм-
и вили fi соотпстччвуют сттмос«1тель41ым величинам
члемое в комбинации х. Статистический яилдиз, вы-
полненный п мирная. 2.3.2 с целью определений две-
перс ли проекции сферически распределенного случай-
ного вектора на под пространство S', теперь MCNMt
быть ясремёсем. на пространство, в котором опредс./е-
ИМ Да Поскольку коэффициенты в образах i я 6
пдеитмчпы, нетрудно заметит!., что если один in чле-
нов ру. дает правильный результат восстанаплсзитя.
а остальные члены y*w* вместе рассматриваются ка*
Ш)и, то закон (rw/'>P для осявблсиия, обуслоалегь
мото шумами, применим также с мезивчнтельнымн
нэмсясяиямм и к выходным образам.

С?лтил1(1.сь,ыиц льмезЗмоя идентификация. Если смысл
ассоциативной выборки состоит только в нденпффикв*
цнн залясалвссп алсыемта (и не направлен на восстя-
мовлеям записанного изображениеj|. то для порож*
дсп ня признаков идентификации каждого образа мож-
|«
ро нсгюсре дет веяло сгмммэоаат» линейное аесоцнл»
гай** преобразование (подобно тему, как это дела-
лись при адтоассоилдткплох ксдмроначмг/). ПростсЛ-
nine признаки идентифг.кацпи — единичны* векторы.
Пусть Ui -* (I. 0. .... Of и пь <= |0. I.Of w т.л

Введем матрицу U «= |wi. и». .... ми] Тогда задача
оптим ал мюй плен гифнжацнм образа состоят а огыска-
паи решен их уравнений

пд<=Мл* для всех k	(2.19)

или решения матричного уравнения	4

U = MX.	(2.20)

Решеянс At, голучеипое методом наименьших квадра-
тов. таксню

М « их*.	(2.21)

Теперь, если х> — линейно независимы и йесб.тоднмо
вычислить 1»е11лвестиый вектор х, то на основе (2.21)
м (2.18) можно накисать

»»<= Е У*гч —IVi. Ть .... YmlT.

(2.22)

Значении т* в результате восстаиоыснпя соответст-
вуют отниентельмы.м интенсивностям образл х* в вен-
тере х, который является ортотональной нроскиней
Ключежто векторв х па пространство, образовлинос
векторами хд.

Д мвериммспювание п(юцедури ндетификлциц ядтод
г?ростроиггаеиного дифференцирования. Нужно отме-
тит и, что приведенные методы идептлфикзиип можно
|1мсматримть как оптимальные только по отношений
к случайным ошибкам, встречающемся в ключевых
обржме. Воам типичной для ассоциативной выборки
является ситуация, грн которой образ должен быть
Н1сит11ф||инрг.«ап по	содержащему еще на-

ложенный на него случайный шум.

Вообще представляется очевидным, что избира-
тельность ассоциативных преобразований тем пыие,
чем больше стсстеиь взаимной ортосспальносто клю-
чевых образов. Это позволяет высказать соображение,
в соответствии £ которым качество ассоинативлоА вы-
борки и целом улучшается, если произвольные фраг-
менты эталонных образов выбраны гю япзмажност1г
ортогональными по ипчяисзшю к ссютветстнукхилм
фрагментам всех других образов. Вероятность улуч-
шения выборки попы шлется с упелпчекнем доли аы<-
lunx пространственных частот н образах. Дня сбейте-
ченкн 31 их условий как зталомзые образы, так н
ключи могут быть должной» образом обработки true
до выяолнеини преобраэовамяЛ. Пс выше и не доли вы
сонях частот, т. с. увеличение степени ортогонально-
сти, достигается, например, с помощью операторов
лвфференцирлпаипн пли рлхлсстных операторов раз-
личного лирлдки.

Рассмотрим вример с оптическими нзображсиия-
мя. Для улучшения ортсмона.т^остн применим грн
р. 1Л 1ЧЦЫЛ .’.i-Ti'i? г'ГЛ ил |: ctl.i i.H’i1' • p.i ।	! м J| ti.j-

чипидне среднего значение их элементов ггвжмкык
обрлаоа и ключа х, 2) образование а беси потного зна-
Чечня двумерного градиента обреза п 3) днффсрся-
цнретвиие образа с пом<миьк> двумерного спервторв
Лапласа («лапласиана»)	где

гор|»м)ятял1.11 ие и вертикальные координаты з плоско-
сти изображении соответственно.

Поскольку изображения заданы лишь п дискрет-
них точках решетин, оператор лронлводяой следует
заменить соответствующим развести нм оператором.
Допустим. что интервал в решетке равен I как в го-
ризонтальном. тек и в вертикальном направлениях
(хотя это доиушелне не очень точное, но ово яезнэ-
читслыю сказывается ил окончательных результатах).
Тогда градиент можно пичнеллтъ. например, с iki-
мощью следующей формулы. Обозначим исходные
элементы изображения че|>ез V?. < ДГ i н / изменяются
соответственно в горнам талыюм и перт и калькой из
правлениях, а соответствуюсине элементы преобразо-
ванного н-тобряжспия через >|л/- Тогда первая лрогм*
водная изображения деется следующим соотниизе-
М1«см;
Мгжио также Использовать диагональные разности
для разности» усредненные по большей части ре-
PCTXIL

Лапласиан получается в у тем вычисления вторых
разностей

—	+	+	+ !»-!./• (2.24)

Лаплясяан можно также предстпыгп», рассматривая
его как двумерную коиволюцию лсходькхо изображе-
ния с 5 точечной решеючной фуикшвей. определенной
мн рис. 212.

Качество или степень ортогональности предвари-
тельно обработанных об р алое можно и ри Верши мето-
дой Грама — Шмидта путем построения графика

Рас. 2.12. Рсшеточваж фуигош.

зависимости относ1пельных норм «компонентов но-
Вилмы» f* or порядкового номере обраля Л; нормы
при этом уменьшаются с увеличением к тем медлен-
ней, чем больше степень ортогоилльиости образов.
Эксперимент, ироне лепным с 100 оптическими пэобра
жекпямя (каждое из которых состояла из 3(124 то-
чек), наглядно покалывает влияние рпзлкчних мето-
дой предплрнтсл1.ко(| обработки изображений. Вилко,
что прпыемелме лапллгмаил оказывается наиболее
эффективным ио сравнению с другими кспольэовян-
пымн методами (рис. 2.13).

Результаты экспериментов с распознаванием юа-
брлжеинй по их фрагментам представлены в табл. 2.4.
В качестве метода предваригс.тыгой обработки был
1ъспольюваи лапласиан. Распознавание было основа-
ло на сравнении коэффициентов уд в выражении (2 22)
В качестве притер не Пргвмльжио риспозпаалиия
было ислслизоалко отэдмиеяне ксэфф1Ш*е»гга Y>
соотоегспяуютего яра пилимому тобряжению, к слс-

дг-

Ф ’
- —I —i	4»	1  1  1	1	1.1 1_.

ю*е**к*п* дг w
л

Рце. 2JJ- Ffcpwu гнмсяомк члнх блмклгг дгт*ок №*tj
клин» п прмдос* сфКгемкАолиим по Гр< чу — Шимдту фон
гр4фичоекк1 itfrityaxeuiitl

... fcwdpM'rwei ofйг< мскдММ'КльмИ c£p*O??vi
-- At «< forties л »jAumi n% immto	м*Лн"ги»1 вимстдаа
<^>Wrc хэм^еме. — дг сгтсгввинмАви <в«кч**есж ^>тд»де*с< mj
•«Mrt гржаммге нш4<мж*ам<	м«.ж •«•-«еггееме г^змАе-г»» irr*

тл>С«4. ч*>*лжэ жаЧленм. —* Л» ФМег«еел»им>м	MMwpr

хмсъ йс^емеп джплмиал

дующему нпябслииему коэффмилеиту (ср. с данным
тдбл. 2.3).

r«6.«rtqd 1.4

Средне* •тложе»ие льнболыдег* aqevwiti* Тг • awrxtpre
* смА)*а»»я> по амячла* »лс»»ежту ук: имел* wefo
ярслюрггедъмки oCfMCota* с а«жсщ» лапласиана

М i4*bow<	1И »-г*4с«мы* «С*з>с»

Ключ SC5t	Ключ 10'1 K.*xi< ЬО% Ключ 101

3<Ив	Л.<б	17.00	K0S
2J.6. Оптимальные нелинейные ассоцпапмные
црепСроэомни.ч

Линейные ясссигтлгпвгше преобразие-апия можно
ркемагривятъ как нряблютсюп низшего порядка к
ГрсЛтеме ксошмяима преобразований. тек ороб-
дем* отыскания мера-гора, ncpcoonaiuero прото«хть.
дне оходныс образы а промлпгиы1не выходные обра-
зы. Исходя пэ результатов подраад. 1,3,4, очевидно,
что вопрос гунхествопанпп такого преобразования
ахппввлеятец лрабдеме cytKcxrtjonziriin решении «юг*
юггствукхгетп матричного уравнения. Если выходные
образы — :i|>cTt3BCi.iiiNtM>, то необходимое условие су-
;исстпо«1Янпя точного решения состоит в том, чтобы
ст»:./'Ии матрицы X. или векторные образы ж», были
лпкепно независимы Тогда, когда число образов
6»иыис, чем их размерность, векторы должны был»
.TikJcftuo з.тялгммь’ми. it в этом сл) чае точное реше-
инс нс существует. Поэтому оохникает необходимость
обобщения класса ассгииатипяых преобразований.
Так, например, при псполиюллинп нелинейных преоб-
раюоаниЛ можно реализовать селективные ассонна-
тмпиые преобразования тех образов, которые из-за
Линейной зависимости нельзя било бы различить в
л чияйяом юр1тбл(!жемшг. Задача в целом может быть
«-формулирована следующим образом: необходимо
влйтн преобразование Т. устанавливающее соответ-
СНЯВ между набором яекторов-столбиоо (хе), пред-
гтпилякицнх входные образы, и набором векторов*
столбцов (хг*). (треастхвлчюнигх выходные образы,
accGtriHipceoHiiwc с х*. такое, что имеет место сглтио-
шепме	—либо точное, либо приближенное

<сиеьнваемое методом иаимекыних квадратов). Сле-
дует отметить, что я СМЯПЛМКП1 оучао можно
отождествить с едпничными векторами.

Поскольку cv-jircrnyeT бесконечно? множество яе-
аинейлыл ореобрл.товаинй, ед»э л» будет ярльндмю
говорит», о г.сл1гнеПяых ппвебраземпкяд. оптимальных
* абсолютном смысле. Выражение «оптимальное не-
ляиейиое ассоциативнос пррсбраэлпаиие», используе-
мое а нестоящем контексте, относится талька к та-
кому случаю. НОГДЯ аютвегетвле между входными и
*ыхолмы мп векторами задается некоторюб иелпнеАиой
Формой с конечным числом параметров, подлежащих
оптммизаипв!. Расмотрпм, например, полиномиальные
Преобразования |47|

Р,(Х) = и+МХ>4-Ц(Х,Х)+ ... + Lr(X........X),

С2.25*

г ле X — метрика со столбцами xb a U <? = 0 ... г^.
мультипликативная форма степени q. Выражение
Рг(Х) можно явно зависеть так:

(р. <х))„ - (и„ + е a +...

где

1*4. •••» Ц*1Т«

Если через Y обозначить матрицу со столбцами
то скалярные коэффициенты

^*Л.я...в,

следует определить таким образам, что Р.(Х) ainipoit-
енмируст Y, если использовать метод наименьших
кял дратгда,

Только что рассмотренный случай относится к
классу регрессионных, эалач, линейных пр парамет-
рам. но нелинейных пп нхг.дыым векторам. Нетрудно
показать, однако, что полиномиальный случай можно
применить и к более обшей постановке задачи. До*
пустим, что существует пекоторие предварительное
пресбразованне исходных входных образов х*, теме,
«то каждый хд« преобразуется в новый вектор-
столбец ft е R*. Теперь нетрудно определять матрп*
Цу F, с гол G ними которой палию гея векторы /л. В этом
Случае

/» = [h Si*- ••••	^4* ?*• ••••	4,'j •

(2-27)

Задача состоит в отысканий линейной формы LF,
аппроксимирующей матрицу Y выходных нектаров У»
и смысле метода наименьших хвидратоа, млн. может
быть, равной этой матрице Y Здесь L — матрица, д.™
которой ре темне (в смысле метода наименьших квад-
12fi
ртсе) можно записать в виде L = YFt Наиболее
важный результат, достигаем и Л за счет применения
прсльэрмтсям1от пелинсЛппго преобразования, со-
стоит » том, что размерность вектора f» е Я* увелпчн-
аается: соответственно повыигается вероятность до-
стиа>ешан линейкой независимости преобразованных
pe-wpuft.

Чи£лг*мый пример Нелинейное предварительное пре-
образование особенно эффектней), если исходный век-
торный образ оказывается низкой размерности. Так,
и следующем орп.чере исходные образы состояли ю

МОТЛМлпД,

Рас. 2.14. flpevep яфетического с«*ч.тра, исномауимдео » мщ»-
рютше по плеитпфимиг».

якустп*сс»;цх спектров. получскных с помовыо про-
мышленного спектроанализатора, частотный днаяэ.мж
разделен на ИХ) каналов между 0 и 2 кГц. при этом
в качестве элементов образов выбраны интенсивности
выходных сигналов в каналах, проинтегрированных
(в каждом канале) с некоторой временной постояп-
ИпХ На рис. 2.14 показан одни тивпчний гример
спектра, исследованною в мсяернмемте |49|.

Если фуктит предваритсдьийА обращении пред-
ставляет собой однородный полином по с,а, то легко
ьпдетъ. что умкожеяяс исходного вектора на скаляр
приводит к вовии востер гм f», умноженным на дру-
гой скаляр; иными словами, отпоемтельмые величины
элементов /» не изменяются. Это весьма ценвое свой
Ст Вс пря ндегтпфнкэцнд. В рассматриваемом примере
и и брл пэ следующая Форма функции вредвэрптельис4
обработки:

/*аКмШ< •«•• Li-J.b !•.•!*•	<2-284

Этот иектор имел н(л — 1)/2—4950 элемснгоо —
радмершзсть, которая вполне приемлема при испать-
Meaiiiiti ^ыикукаланьего опгпмалыюго преобраэива.
ННН.

Осмоаииг цель примера состоит в том, чтобы про-
демонстрировать следующим эффект. В 1»сдр8зд.232
и 23.5 было отмечено, что при ассоциативном преоб-
разоизнцн случаАпмП шум ослабляется в рат»

Pw 2 11 Палмер ултчжсчыи арооесс» н.1счтг>|«глпп» прк »г-
ММИШМ n«.«iwchaoA врслы^пеммсЯ* с<*^0сть4.



тле Л1— число вталппмых образен, а л —их размер*
мостъ, Если п можно было бы искусе i мимо увели-
чить, например, с помощью только что рассмотрен-
ного пелннеймего ассоциативного прсобразгвя'И'Я.тле
овс увеличено с 100 до 4950. то следовало бы ожи-
дать 341эч(пе.пьього улучшения фактора ослабления
шумоп Поскольку элементы /* заеиеммы между со*
бей, теоретический аиалпл» проведенный в «одрвлд

I 2, не лртмшш в полной мере к лэяпему случаю;
тем не менее численные эксперименты показялк, <то
ос кое нас нде» иполне корректна. На рпс. 2.15 пред*
с'йлдсны результаты аьспернмен!а по идептнфикиикн
с искомым? и предварительно обработанными пек
торами.

В качестве эталонных образов непсыьэомлмск
спектров, 8 ключевые образы формировались <уте

128
де.эажсипя белого Шума различной ннтеэтсявиости ив
0стгзнм* спектры. Надежность рлспозивпаиия итмс-
«елась в терминах отнистагслькыл величин злелентпо
эыхалпого вектора А, Поскольку огмошенле двух пая-
домин* злемешов приблизительно ироеоримонкльни
tcTCHciiDiiocni шума, в кяэестне ординаты па рис. 2.15
оГп11(11гм^пгпя обратная величин я этого отношения,

। Приведенные результаты показывают. что надеж*
лесть ндеитпфикяцмм зашумленного спектра улуч-
шаете» п 1X2—6.9 раж Хотя это значение несколько
отлучается от теоретической Величины. обратной
оеллблениэо шума, мятереегю отметить, что сип все
же довольно бли:жк между собой:

1.3.7. Проблема инва риал гного распознала них

При разработке исишх теорий яссоилативной лв-
krtii исследователи часто сталкиваются с проблемой,
ИСгтсспя долго оставалась oxikjS чз центральных проб-
лем растихмавзмия образов. Обычно пре диола тали
(всаможио, чисто субъективно), что ассоциативные
или распознаются схемы нельзя рассматривать как
лолианснииа, если они не обладают способностью
ядентнфикаиил объектп на ослопе его преобразован-
ных «иаий. Так. например, считалось, что визуальный
образ должен быть пдентмфмиироевн независимо от
его положения или размера ироекпик на сетчатку
глаза В пенхгмогни лнялогичцгя явление паэияагтсн
^ппчалеитпостмо стимулов; если различимо ст им у-
лыобрахы аредстак.1 ижтг тот же самый объект или
имеют тот же самый смысл, они должны с<ютмстсгж>.
пять тому же самому опыту.

При разработке схем раслоэняваии». устойчивых
к paMiMKOTo типа преобразованиям образов, было
Обваружеко. что алгоритмы аналитической нденгмфп-
fcaiutii легко сделать ягчувстыпельяымн к какой-либо
одной группе преобразований, например труп tic пере-
носа aiAir сдвига образа • пдоаксстм ялобрвжелив,
озпвко гэооыткн обеспечить инвариантность отмосн-
телъно нескольких групп преобразований, не пример
йрмиения, сдвига, изменений размеров и Т. Д. ока за-
пись безуспешными. С этой точки зрения ервдетавля-
*тся. его арежпие соображения сб янвериантпостн
бы in чрезмерно категоричными. С другой стороны,
следует иметь а виду, что даже биологические снеге*
мы м пдеа.п.ни п этом отпммми: так, рпслсэвааа.
ШИ объектов станоаптся довольно трудным, если 0(]
повернут более чем на 45*.

Может быть, ирыммьнее было бы задать всчтрсс
о том, существуют лн слепы распознаяаиия. пригод-
вие для экстраполяции пли интерполяции образов ьэ
отношению к нескольким эталонным образам, прел*
стаиляющим объект в различных модификациях. А*-
тор придерживается мнения, что линейные лрвобраэо*
меня, вообще говоря, обладают удин гвлымщ
нигер пол пру юсцпми или экстраполирующими свой-
ствамм про услоимл, что сами образы достаточка
«гладкие» и совокупность их вариаций применяется п
качестве эталон пыл образов. Эта точка зрения кашле
подтверждение п ряде эхесернмслтпв по пдеитнфека*
цип голоса, я которых небольшое (обычно пять пли
шесть) количество незначительно отличающихся па-
рплций образов ИВШМОМДОСЬ в качестве втадова.
Аналогично этому можно разработан, схемы рассю>
нлвамик оптических изображений, пригодные дли
экстраиаляцпп н пнтерпи.шияп по othoiucihik) к ятя*
лонным образам со случайными трансляционными,
вращательными и другими вариациями.

На практике обычно встречаются задачи, где, как
правило, требуется эивчнтслыия степень траасляии*
онной инварнаятжссти. Ниже приводятся две такие
схемы. Однако сначала рассмотрим типичную струк-
туру и организацию схемы рвстознлммня и идснпфМ-
кдц:ц| оврагов.

Оргонизиц-ил смстелы /адглозмааанмя. Дпа ракес рас-
смотренных tipiiMepe, а именно дсфсрсреицпроваиме
Апумсрпых изибражений с иомощмо лапласиана и
полм|»омиилыюе преобразование спектров, убедлтсль*
ею показывают, ^то довольно часто образы содержат
инфсомяиню, которая с гомощьЮ лретЬарггтельной
оброботкш может быть выделена и усилена Отсюда
можно сделать вывод, что в общем случае для
каждой задачи распознавания существует канбо-
лое подходящий способ п редка ригельной обработки,
который можно найти эвристически, методом проб и
ошибок. Иногда требуемая функция оредварлтелыаов
рврлботкл очевидна in мрансе известных чрсбюквнкй
х рехдеяню, нигрнмср тогда, когда рьспозла ад кие
должно быть иииариянтяым относительно некоторой
Ф) ИНЫ Преобразований нс колких образов.
Классическая организация системы расяознавлнпп

,.£ч ...п । .'КвММ на рис. 2.16. ОгМвПШ| ЧТО ОМКСМ
де сбязателыю, чтобы предварительное вресбражлти-
нпе схнкывадссь простым аналитическим алгорит-
мом. Так, предо является весьма ьерситиым. что в
сенсорных системах биологических организмов одно*
временно дсйсгпуют несколько типов анализаторов.

Рйс. 2.1Ь- О^-апн1ып><»< гметчим рьспшяааекмк обрк«.

использующих различные принципы фунхциокировл*
ихя п пршшмаюшмх участие в форшврпминп вектора
fla, который в этом случае может обладать очень
бсаьикй размерностью.

ПptdaapuTcAbtuia обработка на оснопе анализа ча-
стот. Если образ представляет собой временную по-
слсдзаательносгь, няпример набор гюс.тедоаагельных
«тсчстгл акустического сигнала, то дотюлыю часто
грн его распознавания ставится условие инвариант-
wktk по отеюшенню к произвольному слвагу времеи-
•6tn образа во времени. Аяалсгячво при рвакпнава-
Нч,| двумерных изображений ставится условие
’»"мрй1лятй<кпс атмосигелыю произвольных слингов
^эображемия в плоскости последнего. П этом с/учле
ecTtcTDChHofi операцией ирадварнтсльноА обработки
’’влясп-и вычисление члетоткого спектра неходкого
образа: классического частотного ссектра акустике*
«з-его енгмвла или даумернаго спеитра е ростра нс тв-ен-
нм,\ частот огтгкчесм1го изображения.

Частотные спектры получаются с ветошью хоро*
известят о преобразования Фурье, мащи1гныА

3'	L3I .
вариант которого, известим П кик дискретное лреобрд.
зоминс Фурье (ДПФ), для врсменибго ряда (x>)*-j
можно спрсдсдт. следуккдим образом:

М-1

f(p)—Ад»-*.	<2.29)

»-4

где

w “ exp &u/N), i • V—!•

Днскретпий спектр ампмтух И(р)1 и дискретны*
спектр MOUUHXTH /(р) I’ II являются функциями пред,
вармтелького преобразования образа л*, которые
аснил । отпарен и (для достаточно длинных рядов) об-
ладают требуемым свойством трансляционной инва-
риант ноет к.

ДПФ можно реализовать н в двумерной модифи-
кации, Известен «быстродействующий» вариант рас*
чета ДПФ я одном пли более измерениях, который
получил пазвавпе быстрого греобразопяниж Фурье
(БЛФ) |<1|.

Анализ aoftftxwiux свойств. Одни из способов обеспе-
чения трансляционной инвариантности распознавания
состоит в анализе «локальных саойстп» изображений.
Соответствуют и П вектор Д можно определить ТЯКПМ
образом, что каждый кз его элементов будет зада-
вать статистическую час юту появлении некоторой ,ю-
квлькоб оссбениоспв изображения Поскольку прост*
pawcTueiince положение тгнх локальных особе»!местей,
или свойств, имкиккм образом не задается, вектор /*
получается аатоматичсскм пнвярваптпыи относитель-
но произвольного сленга исходного образа в плоско-
сти изображу» ни. а также по отиошеипю к переста-
новкам некоторых его фрагментов |*2)

Эту млею можно проиллюстрнроаать не преете**
примере, показанном ьи рис. 2.1/, где исходный образ
задам на квадрдтжой решетке, причем элементы об-
ряда — двоичные числа. Значения в окрест мости лю-
бого элементе образа можно рассмятрмвй!ь как за*
рактсристнкп локальных свойств, заданные в двоич-
ном ходе. Если окрестность включает 8 точек, то ее
локальные свойства можно дожать 256 признаками,
uui нолями (см. двоичные веса указанные на рос 2.17
д^х злемеота, обозначенного через Af). Затаи гющчп-
fU^’0ICH частоты линвдеиня различных признаков
(кодов) в образе и строится гистограмма. Такне ги-
стограммы можно рассматривать как аналоги декго-
ртв Можно исследовать ц другие типы локальных

сопЛСТО. например значения
нпибинхцяй признаки», задаю
пыл в большем числе окрест*
ных точек. Этот метод ан ала*
за .тональных сьийегв тесно
связан с окрестностями Голи
(401 определенными на гекса-
гональных решетках.

Рнс 217, Ддогчмме веса
vu.»nimi кмммгпш, »л-
елга/мпугог** лжа*ь-
име сюйгтча опр>ла
I Д’ — paccMirrp«iMcywi
жисп о'рцзаХ

Истюльзомние лилейной эовм-
сииосги Линейные преобразо-
вания обладают одним псиным
свойством, которое обычно м
учитывается п схемах распо-
звпеангя сбраайп. Если, на-

npiwep, дал образа дают одни и тот же результат по-

сле линейного ассоииатямого преобразования, тогда
и линейная комбинация образов лапт аналогичный ре-
зультат, Подобие результатов греобрязовамнй озна-
чает, что от1иклтсльиыг величины злемсотса образов
остаются иенлменпымк. Так, если Х| и х» — два обра-
за, порождающие выходкой образ у при воздействия
нптрнцей М, то

М (а,х, 4- о»х,) — (а, 4- аД у.

(2.30)

где а» к а, — скаляры.

Это свойство удобно использовать, когда спект-
ральные разложения образов имеют несколько гиков,
т. е. клгда образы могут быть описаны с помощью
йесколькнх частотных соствпляю<из1Х.

Для демонстрации трансляционной ляварнантис-
сти рассмотрим сначала одномерный образ. Пусть
имеется гипотетическая сигнальная ось, определяю-
щая ксордннату i. н пусть на этой оси задана одно-
мерная функция Образ создается с лоиошми
втоП функцки следующим образом: в качестве эле-
ментов образа выбираются отсчеты иа оси С. не обя-
зательно расположенные на равных расстихикях друг
от друга — они могут быть распределены и случайно.
Другие образы формируются путем выбора отсчетов
функции /{>) с сохранением относительного положе*
иия координат отсчетов. Пусть сначала фупктшя f(t)
I I-гр: э з МЛН сшусоццммк» фунщм I'pr.iniu-.IZI,-
мая синусоидальная функция является результатом
слежения двух ссноппы.х колебаний одной и той же
частоты, сдвинутых по физе (линейная камбннешн).

Рис. 2.1В. Дг/ЖХЛ**	1CWTC5U (их ИОМШ ГК-МСЧГНЫ

жфрямп I — bj, м*амям)шн« прмггмвганма|11 обрел Область
ос;«пп\саыя г)пхтир»«м*»: линпиим, Gd-ж подроСис прслстаыеиа
па р«к. 2.10 н Г.2О

Если теперь функция /(С) состоит из конечного числа
m частотных компонентов и по крайней мере 2m
эталон них образов построены на основе Д5), взятой
в различных течках на оси k то линейное nccomra-
тпвНОе преибр а лопание. построенное ня основе ука*
данных эталонных образов, становится мечувстшгтель-
ным к произвольному смешению образа по осн £.Эло
свойство обусловлено тем, что смешенный образ мож-
но представить в виде линейной комбинации 2m эта*
лздеых образов.

Пример. Поскольку рассмотренный выше припили
применим также и к двумерным пространственным
частотам, исходный образ был построен на основе
пяти пространственных частот, полковые векторы ко-
торых покалгны на рис. 2.18 |&0] .
Нот образ бил записан в лесяги произвольно сме-
щеяных MMVMNMS плоскости МовраЖспая, и кпж-
дый из таких смещенных образов бил пре •_•«'[• л.-» > i
х try левому элементу. Теперь «ли исходный образ
оказывается и ярснзпп.т1.коы полижеют ва плоско-
сти ммбмжетя. го результат «о препбраэпилняк
должен бить нулевым. Чтобы проверить это, был вы*
пеннее члетотний анализ. Результат ллмнУплго пре-
образования плисссм на график 1п логарифмическим

Рис. 11*. Ре>уД|Л*т лмнгин<к-« ясхоемтвмого rpeo6;,i‘оипми
lAn.lHUi Ю.МК>1МЧ ммтоц«:п. WThCXTHMilUl 7ОЧИ4> ЦДО.Ш
лиыи « —rt п» рк. 2.1Я

масштабе) как функция монохромампческого проб-
uorn сигнала, волмояоб вектор которого изменялся и
плоскости (ьц, »ь), где л—ГОр1иоКТЯ.1ЬНиЙ иг —
вертикальный индексы. На рос. 2.19 представлен
усредненный по фазе результат (вдоль сечения в —а
»1а рнс. 2.1В. где м» -= 1Д), а па рис 2.20 — увеличен
Чая часть плосксстн (ыл, Км), отмеченная на рис. 2.19
точечным ьоитуром. •

Следует отмстить, что разложение образа по ко-
чнгло частот» их ЙОШК>неМГГ>Ь i fe.u г -,в.м ст
собой частный случай иппракспиацпп образов функ-
ЦЯШ1Г| порождаемыми дифференциальными система-
ми конечвого порядка |41]. и такое приближение ив-
ляетсд стандартным в линейной теории систем,
Лингвистический подход к инвариантному распозна-
ванию. Трудности рвалнзвияя инвариантных ирелбря-
аовлний прииели в последим годы к развитию нового
иаг-рлялсппл псслехованпн в теории расиоэиаваипа
образов. Новый подход основан на допущении о той,
что распознающая схема лоджия принимать актив-
ное участие в проиессс распознавания. Одни из при-
меняемых в последнее время методов получил плава*

Где. 2.Х. Гиультйг* дннеЛного ксоипмиоамо гассброшмцм
жимины* жктирс'». ем’гветстг'ушшы обмети ил ptr. 2.I&, «яр*-
итгачеВ аункп«рнмм£ ламямн Иыхешяые данные жр>дстэнда»ы
п пвд» pr.v<4*ar** нар’нпм лвчаВ равного ypntxa, пртгн мое-
туры и — t пхттвгттуюг «лед у кил я логарариичегнни (!«<•
инам уреогкП; о) от —10 до —I; б\ от —0.30 до -Ц45< в) иг О
до ОДД г) or 0,30 ио ЦЮ



и не анализа сцеп и связан в какай-то мере с гнали*
эом н упорядочением вдмуальнон информмиш; в рам*
хах этого подхода задача рагпозмдвакпл рмядется
лякгвктгчеенпмн методами. Идея метода, вероятно,
оснанаиа на тачке зрении, в соответствии с кстороА
естественный (визуальный) процесс раелолневаимя
аивлогнчеи процессу мышления к включает элементы,
связанные а семантическую структуру. Хотя, возмож-
но. ага точка зрелся н яравпльла, аг.а не исключает
важности фундаментальных понятий теории ассоинд*
тип него преобразования, поскольку следует иметь в
виду, что сложные информационные процессы могут

аЭБ
jiunKi'iiTb последовательные ассоциативные пртобра*
эовлп'ПЯ Подобно году, как сложные грограммы ЭВМ
состоят ял элементарных логических операций.

Вполне естественно предооложнть. что ассомиат ив*
||Ые преобразования можно встроить в очень сложные
лрицессы, однако роль этого подхода еще не совсем
ясна, поскольку нет развитых технических средств
для выполнения указанных аналоговых вычислений;
инфр<жые ЭВМ» в силу самой их природы, ее очень
эффективны пря реал плаун и требуемых круляомас*
штлСоых пмра.мелькых вычислений.

2.3.8. Сняли между ассоциа-гииными
нрдебризечга’тиялш. линейной регрессией
и линейным оцениванием

Рассмотрим снов* лнмсйнос прсобраэопаинс у»—
чв Мх*. 4  I. 2, ..., т, гм х» с Я*. ул ₽. Яр. Случай,
когда гп меньше л, бил подробил рассмотрен ранее;
при этом точное pctucMNc для М существовало по
крайней мерс тогда, когда векторы х* была линейно
внепмы. Имея а виду это ограничение, следует
указать, что х» н у» можно, вообще говоря, выбирать
caecwicHHO шъшшеммо друг от друга.

Теория всоог4яагнви1/х прсобралоааяпй обладает
большим сходством с нскптсрымн статистическими
Задачами регрессии, в которых допускается линейная
зависимость между стохьстическнии векторвимп пе-
ременными х и у. Отметим, ома ко, для осторожно*
*ти, что линейная статистическая модель априорно
Осяовака ив зоеисыиссти у ап х ап типу, например,
V = ftx, где Q — матрица, ог.нсипаюшая некоторый
физический, экодомячееннй или какой-либо иной про-
цесс. Любые отклонения от этой 3aiuickmgct:i приян-
Сьпаюгся исключительно статистическим ошибкам
или шумам, и если (а*, у») — ларе реализаций ж и у
осот потаен но. то у* — Q*k 4- v>, где v» —остаток,
•мемхдчй нежотерсе статистическое распределение.
Такдм образом. х« и у» нельзя выбрать независимо.
•*Ьгсматячесжан задаче регрессии, следовательно, со-
стг-вгг в том, чтобы найти наклучшее значение Q, для
“Опорото среднее с* для большого числа иаблюдае»
11 их редлиэлцнй х* а у» мнннмалыи) в смысле неко-
*орой статистической меры; ь простейшем случая
используется сумма ||ut|rf. Таким образом, число пар
(Хл, ц») может бить мкого больше, чем размерность
X*. Формально, однако, проблему можно сформуЛн>
ропать а налог к чио нышссказакному: обозначим

Х«|Я|. х,.....xj. Y — |plt №.......М. <2 31)

тогда задача заключается а минимизации нормы мат-
ричного выражения у— О]

Поскольку формализм Пенроуза применим к мат.
рпчхым ура имениям любой рл^мер кости. г.а и лучшее
приближенное решение вышеприведенной задачи
кожи •	। lu <гъ следующим лбралсш;

□ = YX*.	(2.32)

Отмстим, что столбцы X теперь являются линейно за-
ниенмымн. Если х» — стохастические переменные,ска-
жем, с нормальным распределением. то строки X тем
не менее можно считать линейно независимыми. По-
этому регрессионное решен де для матрицы 12 такини:

— YXT (ХХ1)"1*	€2.331

Для сравнения напомним, что матрица вида ВЛ*,
п которой столбцы А линейно независимы, может
быть представлена в плдс В(АТА)“,АГ.

Различие между этими двумя случаям» более лол*
робно рассматривается в разд. 3.3. где отысьивак I
рекуррентные численные решения матричного уряюне*
НИЯ.

Связь регрессионного решения с лммебныл оцениеа-
TC.1C3I Оптимальное решение матричного уравнения
V ~ СХ. полученное методом нагысньших квадрате*»
тесно связано с так нлзмвасмым каплуны i.m линей*
иым оиетшаатглсм Сели, в частности. допустить ли-
нейную статистическую зависимость между сто\яст!»’
чески мн векторами х и у. а х рассматривать как и»*
мереное, на основе которого следует пленить у, то
проблема заключается в лсстроеннл оператора О (мэ*
зывмемого опеямвате.гем), с помощью которого полу*
чается наилучнтсс приближение к век гору у, осно-
ванное на методе наименьших квадратии: у = С»*
В задачах оценки априорная статистическая инфор*
мЯйпя о вентерных переменных х н г/ пожег бить
1’рсд«твменл с гюыошью теоретических хорреляинон*
RMX МКТрИЦ

Е^г^вСдд it Е (ухт) = Сгх, <2.54)

^вторые предоолвгаются 7i:iB«-ruuMiT. Тогда игмлуч*
mm линейная оценки у на основе наблюдения х
дается следующим сссптюшеплем;

д =» G3ICLlx -= Ох.	(2.35)

Прп этой допускается, что обратная матрица С? ‘
cysiecrnyer, что имеет место, если ж — стохастическая
переменная, для которой ранг См — полный.

С другой стороны, регрессионное решение лея □
дежво записать па основе (2.34) после разложения
ж-4 следующим гбрвэсм;

й~ухт(ххтГ* “

Отсюда пегое родственно следует, что И соответствует
оператору С#>См с той елмнствсмноЛ разницей,
что теоретические корреляционные матрицы С** и Сг,
Зпмелены приближениями к Сут соответственно,
ряссчлтлшшмп ил основе конечного набора наблюде*
лий; таким образом, установлена простая ерям, меж*
Лу регрессией п ионлучшим линейным осени u j тс .тем.

2.4.	Связь ассоциативных преобразований
с теорией кдассмфмкацин образов

Промесс распознавания образов можно ряссмат*
Рняпть как частный случай ассоциативных лреобраэо
ланий, а именно г.рсиесса, в котором классы образов
ляпосредсгвенно преобразуются в набор дискретных
Элементов. Бплыиплсгвс методов распали а па лця об'
Рилов можпе применить п в качестве схем ндентмфн*
каштн: пра зтом, однако, проблема относится к облв-
стн математической стятнетпкк и совсем не иредпе*
лдглег физической рсаллзуемоеттг схемы Поскольку
леталыод обсуждение принципов рашхмма наций
обряхи) можно вайтм по многих прекрасных рукоьид.
ЙШ (см., например, |Ы— 64)), то пет никлклй моб.
ходимостн прииоднтъ их п пинге. Ниже будут кратко
рассмотрены лишь некоторые попроси, имеющие bq.
гикредстнепнюр отвошеяпе к системно-теоретическим
моделям ассоккатшжой памяти.

2.4.1.	ДигкрнНинимтмьи! функции

Рассмотрим обрлэы, представляемые пенторимп •
многомерном евклидовом пространстве R' Панн из
наиболее. лажных методой рмпозиаиапня связен с
кдэоспфикинпей образов с помощью дискриминант*
кии. функций. Допустим, что представляющие векторы
(жди их киниезые точки л лространсгее /?”) сгруппи-
рованы э коясчиое число кластеров (плотны* мио.
Жест течек), каждый Из которых соответствует оп-
ределенному классу. Тогда задача состоит и том, что-
бы нпйтк уравнения гиперповерхностей, оптимально
разделяющих кластеры между собой. Прежде всего
следует отмстить, что существует множество матема-
тических приемов выполнения этой осеряцнв: можао.
«апрпмер, искать пргктейшиЛ способ разделения, По-
• иерх|к>сть низшего порядка —гиперплоскость; если с
Помощью ля1н*нных форм не удается удовлепюрнтель'
по разделить кластеры, можно попытаться сделать
уто с помошью гиперповерхностей постепенно возрас-
та юшето порядка, Разумеете!!, еелн данные распреде-
лены каким-либо спсйнфпнескпм образом, целесопб-
рлэьн> использовать разложения во другим (не
полипомнальяым) элемсвтармым или епгцнальлым
функциям. Следует отмвтять» однако, чю разделение
точек может быть оптимальным для определенного
критерии, учитывающего» пример, расстояния всех
точек от разделяющих поверхиостеЛ. Так, один яэ ча-
сто мсгользуемых критериев осмовян на сумме кжаД*
ратов спи; ri. in.л расстояний.

Разделяющая поверхность между двумя клпссаит
может быть оорвделена с помощью дискриаика^гнШ
функций «»(<). 4^—1, 2......т, которые суть непре-

рывные, скалярно-значные функции образа х. Напри-
мер, разделяющая поверхность между классами
Я задается урпвнемнем

=	(2-37)

140
j i.ifl x e Зл тогда для occx j ¥> i должно иметь место
,% (Г) >6, (ж) или

4l(x)c=mjx(^(r)).	(2J8)

Линейный класс41финатор. В качестве примера приме-
няй пя дискриминантных функций можно рассмотреть
линейный ш’ясспфнквтср. В этом случае двскрнмц-
иантлыс функции имеют вид

в* W ". Wk X KV

<2.39)

где Va — М весовой вектор, а х> —скаляр. Гидер-
плоскость, разделяющая классы 5г и 5/, описывается
ур;|Внея1»гм

еч.с » х •
где

af' — ст, — а । н к' — хг —	(2.40)

Если х' можно положить равным нулю, г с. если при-
нимать во внимание только относительные величины
Жчемевтсю (или если нэ всех образно всегда вычитать
среамее по элементам), то дискриминантные функции
лноеЛного классификатора оказываются смэаииыми
с оптимальным линейным преобразованием В атом
случаи задняя закяючястся п отысжяннн матрицы М.
Преобразующей образ к в набор линейных дискримм-
Нивтных функций

Mr-foOr). 6, (ж)....*-МГ*	(2 41)

Причем последние разделяют заданные образы, имея
। и яду оценки по металу илнменьданх квадратов. За-
дачу можно решить. приняв, что для всех эталонных
образе*, грн надлежащих i-му классу, функция б^л)
Лил ж и л иметь вид 6j* (дельты Кронекера). Оесвидво,
Уравнение (2.41) энвнвалвитно матричному уравне-
нию

MX и,Х- [т„ ..........X(J\ и — (М|. и„ ..ы Jr,

(2.42)

где ц/ — единичные векторы с единицей Л-й позиции,
осла х/ принадлежит классу S*. Как и обычно, реие-
иие дастся сиоткоеиеиисм

M-UX*. .г


2.4-2. Методы сравнения

Наиболее простой из всех методов классификации
состоит О тем. чтобы Сравнить Неизвестный Образ CQ
всем» изцесгпымн яталоикыми обрата им. пыбрлн не.
котг.рый критерий «степени сходства», определяющий,
к какому класс)’ принадлежит обраэ. Одни из Крите*
рмев сходства между образами х и *л задается, п>.
пример, взаимным расстоянием (х. х»), пичисляемым
с помощью определенной метрики, Micro оказывает*
ся удобной евктпдова метрика. Очевидно, что для
окончательной класепфикаипи следует выполнить
бМЬПМ)Й С'бЪСМ вычислений, есм наборы ЭТАЛОН них
образе® для каждого класса достаточно предстдвп*
тсльиы. Так । ри использовании яетода Сяамайшпх
соседей расстояние л1 (г, х») вычисли* гея JU™ «иже
эталонных образов н образ х классифпцпрустся по
мпнп.мэлымму значению расстояния Для ноиышення
яллежлостм результатов иногда решсппс о привад»
нежности тему или иному классу пр л ним а ют на осно-
ве МКШМыиа ближайших расстояний d\x, ж») [52|.
Метел ближайших соседе* обычно длят разделяющие
поверхности, которые окалываются кусочно-ликейны- 
мм, т «. состоят ил еегме*гоя гплсрглоскостеА.

ЕСЛИ Используется евклидова метрики и ДЛЯ ерпя*
некий берется во одному эталонному образу от каж-
дого класса <нлц средний по классу образ), то метод
ближайших соседей просто эквивалентен формаЛИЗ*
му ЬеррелЯМИОННиА матрицы. упомянут ому в под*
разд. I 2.5.

Нден1нф акация обраэпа по углам. При поиске инфеф*
MUUlii в ыассипах часто применяют следующий про-
стой критерий блнхюга, сляздлмы* с истодом бли-
жайших соседей. Поскольку предпапленпя образов
могут иметь различные нормы, а корма ключевого
образа зависит также и от числа используемых в нем
элементов данных, часто окалывается удобяии оы-
брать в качестве стелены соответешмя между к.тн>чс
вым образом и записанными и памяти образами ргол
между соответствутошммн векторами. Е к мерном про-
странстве угол между вектор «у и х я х* дается cwt*
мощением

(<« <а>
И’ИМ

&А — arccue

(2*4

142
jia эвристически иаЛденпяя мера близости, конечно,
К оптимальна. одна ко orirr показал, «по опа даст
довольно хорошие результаты при большом число об»
пазов, если они достаточно ортогональны. В этом
сясшгалы1пм случае впутрсивсе произведение (л, ъ)
ик.1 гывяется значительна большим для образа, с ко*
торым ключ коррелирует больше. чем с остальными
образами Поскольку в обшем случае нет оснований
надеяться па такую ортогональность образов, хтя по-
ылпспия степсы орто гома л ыэосгп можно пспольэо-
влть гредварюгг.'лмпто ибрабегтку образов. В случае
двумерных обраэпв доиолыю прсстыД и зффскгнтшый
метод предварительной обработки состоит в прост-
ровствевпом джМсрмиироваинн. уже sпомянутом 
оолролд. 23 5. Так. предварительна* обработка обра-
зов с помошыо операторов пространственного диффс-
репияроапния пысыссо порядка, непрямо?. лиу мер-
ным лапласианом -Ьо3/сЦ^ или. может быть, пле»
ратором	где Лио — горизонтальная и

вертикальная координаты в плоскости изображения
с« •ответственно, оказалась весьма эффективной при
идентификации фотографических изображений. Влпя-
ыне диффсргицколм1их операторов заключается в по-
ла млении более маках пргхтраяствеииы.т частот. так
что ортогон алы!есть любой выбранной части образа
• тноситсльно гий же самой части в других образах
освещается.

Было пропсдсип сопоставление ептпмалымжо мсо-
шыпгвкпго преобразования и метла идентификации
по углам Цель состояли в дсмомстрация свойства ’
пссицнатппвой выборки, и поэтому п качестве ключе-
ного сбраза был выбран фрагмеегт. составляющий
М)% изображения (левая половина изображения).
В качестве показателя селем run мости в методе окти»
мольного оссоннативпопо преобразования нс «гиль зо-
на но отпогиспис двух наибольших элементов пм.ходпо-
><•' не к гор л й. В методе идсятгтфикашгн по углам в
качестве меры было выбрано откошенке двух паа-
бгхтыпнх значений со*Ом. Сопоставление проао.тплосг.
* двух экспериментах с 10 м с 100 изображениями.

-‘Гения, приведенные в табл. 2.5. — средние, вичпе»
ленные по первым 10 образам, Результаты для 1000
эталонных образов были получены методом идептп-
Факацпи по углам; ь этом случае вычислительные
Га(1.1Ш|Л J.5

Смюет&ваеякС роульштоо пчтииам^М ид»атндн«1нжи
 «демпфныинм по >г*«я <»чам»Рногт>—Л*4<»)

Аямтпд	м>		1ГИ
ОппЯ1и«ыглй RAM-	2B.S		ЯМЫ
			
ИЛ11Ул4*ММ|Я< м> У<А1Ж|	2£5	я»	Т.Э
			
			
ресурсы оказались	еяосточпиыи	дл»	сравнения С

методом оптимв.,ы*о<х> яСОишглгавного прсобрлэоая-
ним. Прниеиительно и обоим методам лла улучшения
стеяг^л ортогоябльмосгл применялся оператор

Корреляцмс^ная матричная памяти. При модслиром*
пин фйфНмгсКмя лдлптнп1ймл fiCcnmturilsiiuJi гетей ча*
сто ь кгчест*е решения системны* ypiioneuitfi мсполь*
втется корреляционная мят il.j |ср. разд. U  4.2).
В этом случае матрица памяти может в меть следую-
щий pmju

М-Д jvJ-YX’, й-4»

где X и Y — две премоуголмиде матрицы с ключевыми
пектсрамн ж» и еооттстлуюшкмм данными у« (в ка-
честве некторонстолбцоп). Результат выборки по
ключевому обр-взу ж описывается следующим соцттну
iuchhcm:

po.AU--У (х. xjb. (2«)

так что у представлен л иней и nA комбинацией обра-
зов ц» с спнхтиельиымн 1М1Тенсз1Ы10Стяым. нргхнлр-
цнонллм1ымн внутренним пронлнеденням (х. д«).Г.сли
г.фрлты ж» и ключ ж имеют равшае нормы, этот метод
совпадает с методом Ицетняфиклиии по углам.

Если £аписанное в память векторы ж«—^ортонор-
мпроза иные, то можно утмерждвтк что корреляципм-
мая матрица экьнаилентма оператору оптимального
«41
,1ССО11Г«711П»Г>Г0 ПрсибрЖ^ПРЗПЦЯ. При этом преобразо-
вание с помощью М^СШНОКИНО* матрицы Мтвот
«VII ЖС КЛрре|ГП:руЮ4Ц1!М11 (ВлПСГВЙМИ, что и опти-
мальные опердтпрч. Это свойство слтимипыюсгн вы-
текает, например. из следующего очевидного вымыв:
ж>скильку л* — npioHopMiinonriiw, то ХТХ — I. Тогда
оптимальное редок нс для М тлмдю.

YX* —Y (ХТХ)“‘ X’-YX’-

Таким образом, проведенный анализ указыгиае! на то,
что физические модели иссоикатпнной памяти. описы-
ваемые с помощью норрсляциоиноП матрицы, полез-
нее тогда, когда входные образы ж* можно ортогона-
лнзировать тем или мым мотодом. Эта идея получи-
ла развитие в некоторых пол ходя к к моделированию
распределенной бнодоп1чсскоб памяти (ср. разд 4.2).

2.4.3. Статистическая формулировка теории
классификации оброзои

В предыдущих примерах дискриминантные функ-
ции пилиссгью определял ik-ь эталонными данными.
Однако эффективность класптфикащгп можно зллчм*
тедьио улучшить» если использовать все доступные
априорные данные. Так, во мшмп.ч случаях на основе *
ф|гзичс*скгм (или других соображен нА} можно при-
нять, что наб.хюлеси!Я распределены по тону млн
иному заранее известному закону. В угон случае до-
статочно определить несколько параметров и распре-
делеииях, чтобы оптимально сконструировать класси-
фикатор Такой метод нвэымстся пара метрамкоА
класс чфикаиигЛ

Класгнфпк/.цин образов- процесс, связанный с
орсигятисм решений, теорией обнаружения и т. X. и
поэтому может быть рассмотрен ь соотпстгтвующеГ|
постановке. Единственная исль дальнейшего изложе-
ния— указать, что некоторые формы разделякиашх
Ж»оерхностсй, например линейные н квадратичные, мо-
гут быть выбраны ня статистической основе.

Заластим? о жраятпостмыл обозначениях. Рассмот-
рим процесс с колечлы.м числом событий Хь Хг, ...
»--, Х« и обозначим отноентелмше частоты их появ-
ления через P(Xt). k I, 2, .... *. где Р(.) означает
обычную функцию оероятмсти. Если <— непрсрыв-
молиачпая стохастическая переменная с распределе-
нием р(х), тогда р(.) имеет спобстпа плотности и ча-
сто наливается плотностью вероятности. Если область
задания а. будучи подмыожестяом <*пхлид<1вл прост*
ргнетаа Я“. разделена на прилегающие друг к другу
элементы объема d Vx, то, очевнлю, />(x)d V, п ред-
еть в.1 нет собой вероятность попадания значения *
внутрь элемента объема d Vr. В дальнейшем вероят-
ности дискретных событий обозначаются большой
буквой ₽(), а вероятность событии X при условии,
что имеет место событие Y, обозначается через
P(X|Y). n.TOTwocru вероятности обозначаются стром*
ними буквами р(), а плотность вероятности перемен-
ной х при условии, wto происходит событие Y, — через
р(х| Y), Вполне естественно, через ₽(Y|x) обозначить
вероятность события У при условии, что непрерывная
переменная х получает определенное значение.

Статистическое определение дискриминантных функ-
тЛ, Если данные заменены условными рас л ре деле-
ниями образов, то априорная плит кость вероятности
наблюдения непрерывно-значного вектора х может
быть о6о.м1ачена через р(х), Вероятность прняаалеж-
1ЮСТ» любого реально наблюдаемого образа к классу
S* обозначается через P(Sr) Распределение векто-
ров образов, принадлежащих к классу St, тогда за-
дается формулой p(x|Sb). Это выражение не что иное,
кок обычипя условная вероятность к, пли его апри-
орная вероятность при (ккотором условия, обозна-
чаемом как S*. Во многих случаях можно выбрать то
ИЛИ инее теоретическое вырвжеяпе хзя p(.t|S*) пли
уточнить его на основе некоторых предъпрителъных
нзмеречий.

Теории процессов принятия рензекий мбычтво осно-
ваны на концепции функции потерь (функции стои-
мости), структура которой зависит от внешних Дикто-
ров. например от ка ж нести обнаруженияопределеипоб
гослеловател’ьностя или неяо.зможкостп ее обна-
ружения. Пусть С (Si, St) — единичная стоимость ©д-
•чмо решения, которпя показывает степень поощрения
пли наказания при отнесении ©брала к классу S, (если
© па самом деле относится х §»). Если ясе образы
рассхгтрнввются как одинаково важные, а стоимость
правильней кдасснф41каш1м считать за 0, то вое не-

J46
t

правильные классификации могут иметь сдпничиую
стемнкхть. Следовательно. в простейшем случае мож-
но выбрать такую функцию единичной стоимости:
QS«. Sa) — I — б,». Тогда рсховнол средняя потеря.
л.и1 стоимость отнесения образов в класс S.. если они
в действительности статистически распределены но
классам Sj, i «• I. 2.m, задается следующим вы-

ражением:

L U. Я.) - Z P(S, I *> С( S,).	(2.47)

Г®1

где P(S;|x) — пероятжхть образа со значением х,
принадлежащего классу Sa Это условная перонтиисгь
связана с р(х! Sr), что можно рассматривать как то,
что распределения р(х|5ч) перекрываются в прост-
ранстве /?*. т е. существует конечная вероятность
принадлежности х к любому классу. В теории вероят-
ности имеется фундаментальное тождество, угеерж-
д аю шее, что если Р(Х, Y)—комбинированная ве-
роятность насттленяя событий X и Y, то

Р(Х, Y)-P(XlY)P(Y) —P(Y|X}P|X) (2.48)
Это —основа так называемой байесовой концепции
мроитмостн, зависящей от новых наблюдений. Приме-
нительно к рассматриваемому случаю вышеприведен-
ная формула дает

-L(i. SU =з max, (- Lfx. SJ). (2.49)
Далее будет показано, что отрицательная функция
удовлетворяет требованиям, налагаемым на дискрп-
м itiiaimiue функции; поскольку стоп месть классифи-
кации х п любой класс Si, отличный ст S», Выше, то
— L (v, S>) = max {— L (л» SJ С друтой стороны, при
рассмотрении возможных выражений для дискрима-
иаитных функций любые факторы или аддитивные
млени, общие для всех классов, можно опустить; это
означает, что подходящим будет следуюшттй выбор
Дискриминантных функций:

М*)~“£ P(xl S|)P(SJ С (S>, Si). (2.50)
Один важный случай будет иметь место, если вы-
брать С(St, S#) -= I — бы; тогда

HMS«)P(SJ+f>MSUP(SU. (2.51)
Лосколысу теперь все возможные классы находятся
средн 5., I— I, 2» ..., т, то тождественно имеет мв-
сто

f ₽UISJP(SJ-P«.

прячем п сиду независимости этого члена от h его
можно вообще опустить. Новую дяскркминвптпую
Функмкю можно теперь переопределит!, следующим
образом:

<Ч(х)-р(х |S*} P<SO-	(2.52)

Следует иметь в визу, что в соегтпетствкн с определе-
нием дискриминантной функции форма разделяюыиВ
поверхности не изменяется при выборе б»(*) в виде'
любой моииго«1по уьелнчнваихисйся Функци»
p(*|St)P(S»).

Пример параметрической классификации Пусть об-
разы каждою класса обладают нормальными распре-
делениями с иеолппаковой статистикой

Р (ж (S.) - Ч «Р (- т (> • р,)’с;' (ж - ч)). (2-53)
где Х> — нормировочная комстаитв, зависящая от С».
Дискриминантная функция выбрана в виде

\ (х) - fog А. - 7 (X - pj’c;' (х - pt) 4- fog Р (SJ.

(2.54)

т с. как квадратичная функция ж. Слслопатсльно, раз-
деляющее поверхности являются пооерхкеегя.чи отс-
роео порядка-

Кик частный случай можно рассмотреть распреде-
ления с рпоными ксварнаиirtiuiuмп матрицами Q—• >
— С н X» = X. Это может иметь место, нэлрпмс-p. при
выборе образов из однекомпонентой временной no- I
следовптелыюсти. Теперь все члены уравне-ння. нс эя-
впсдшяе or k, опускаются. Для упрощения формул
пелользусгея также симметрия коварма«пюм1гых мат-
риц. что даст

в. W - и;с-'ж - у м’.С-'р, + log Р (S,). (2.S5)

Удивительно, но это выражеине линейки по х даже
для произвольных априорных ьеродткистей классов и
яриаэвилькых средних по классу.
ГЛАВА 3

Адаптивное формирование оптимальных
ассоциативных
преобразований

3.1. О реализации условных ответов
I	в и рос tux физм-ческнх системах

•

Идея обучения машины первсн1яч0Л1.но был* ос по*
вана на применении мсмсмтм с переменной структу-
рой, изменявши I с ион параметры под влиянием про-
ХОДЯШНД через эти элсмекты сигналов. Затем процес-
сы обучения рассматрппались на более формальном
уровне, причем главки» образом егпольховглись ме-
тоды математической статистики- Тем не менее по
сисей природе процесс обучения, нетимиенно, физи-
ческий.

Применяемые для создания обучаемых машин
a.iamitUHwe сети, кяк прлвило, кпнстрт|груются из
так пязывясмих пороговых элементов. которые могут
п и пол п кт и элементарные операции классификации.
Однако этот подход, видимо, не нашел пост я точно
широкого распространения при построении UI гпктя-
зс оитимольных линейных или нелинейных иссоцни-
тмвны.ч преобразовании п адаптивных сетях, Поэтому
о данной главе сначала дается обзор основных поня-
тий ядаптиамосо процесса и его простейшей форме.
Затем а разд. 3.2 оСсгждается новый матемлтпчесанй
аппарат, позеолянминй использовать довольно эффек-
тивные физическае принципы для построения опти-
мальной ассоциативной памяти В аыыовитшыЫ
час и» главы рассматриваются математически идеала*
ные рекуррентные алгоритмы построения оятнмаль*
них ассоциативных преобразований иа основе вычне*
Лительмых методов.

J Л/. Простая адмтаская яннг^ая система

Известны несколько тиков адаптивных систем, ос-
иоианиых (по меньшей мере частично) на нсполыо*
накид лннйвых операций. Основкым |142J блоком
таких систем является линейное адаптивное усгргй»
ство. подробно рассматриваемое ниже. В простейшем
случае оио состоит из ряда переменных резисторов,
связанных в сеть, которая может суммировать токи,
лорежхаемре напряжениями на входе (рис. 3.1).

Хоте в данном примере рассматривается устрой-
ство только с одним выходом, очевнд что ив основе
таких устройстп можно ппстрогль систему с многими
параллельно мл выходными капалам1т.

Pte. 3J. Аяогттпткм] лпмЛ1к< уггроЯстро.

Если входные проводимости обозначить через jv,
т — О, J, 2»..., п, а входной и вмходпой сигналы со-
ответственно через и т|, та системная оергдатичная
фл'ккдля может быть записана следуюиим образом:

П — Е йХ + **о-
1-1

(XI)

Рассматриваемое устройство должно порождать за-
данный выходной сигнал п>, <сля «* входах л ри.то
жены напряжения (;.*), 1 — 0, 1, 2, .. . л. Таким об-
разом, задача состоит в том. чтобы определить
коэффициенты цг. i — 0» I. .. -. п. считая, что соотно-
шение (31) СПрДОСДЛПВО ДЛЯ большого числе произ-
вольно выбранных нэОорс® входных сигналов Оче-
видно. что поста идейная задача иепосредствснио
связана с проблемой построения лссоцяатпа1Мго пре-
образования для одного выходиото сигнала. Если том-
ное построение преобразования н* нг .-можно, то п

ISO
; должно »ппрокспмп|м1вап. ту». например, по метолу
паиисныинт квадратов. Адаптивность аперацлп пред*
полегает, что имеется механизм, с помощью которого,
обычно путем последовательных приближений, мож-
। ло полупить векш ые значения коэффициентов. Иыо*
г ха системы, обладающие таким cooflcrauu, иаэыадют
обучаемЫМН МВЮЛ1ЫВП1 jGti. 67)

। В следующем разделе будет подробно обсуждена
хвлаха, связанная с представлением отрицательных
значений коэффициентов ц. Одно пэ решений этой
задачи ют линейных сетей с постоянной структурой
рассматривалось в йолратд, J.2JJ. лдотпякостъ сети
(Микнт ряд (клпжменнй

Адаптивную перестройку коэффициентов р? можно
рассматривать как процесс, происходящий в дисж|Ю-
них временных тонких. ^го означает. его сигналы и
параметры анализируются в моменты прем спи (/*),
й —с I, 2, .... причем тот же самый индекс нсяодв*
эуется н Для переменных. В этих обозначениях про*
цесс изменения параметрон можно задать следующим
рекуррентным соотношением:

।	Мд л-ю " Ра* -)-<•* (Ч>	La, Р-2)

тле си— достаточно малая воложотельцая константа.
В йолее простои случае, а именно, если г» — жвпдя-
стлгты, го постоянные а» можно выбрать пднмвкп-
выми. т. с. а* — а. Соотношение <3.2) представляет
собой пример корректирующего процесса, о котором
значенг.н ц, выбираются так, чтобы уменьшать ошиб-
ку И — Ча-

Как отмечалось, аддитивные системы часто вклю-
чают мел инейные (днекрнмошфу кмине) операции, вы-
пплняемые обычно устройствами пороговой логики
)67]. Другой класс адаптивных устройств, называе-
мых периесттроиами, содержит мскалько устройств
пороговой логикя, объедмгкемяы.т и систему, мри мел яе-
vvh) для адаптмаппр классифнкашш образов. Хоти
)тн гетрейстм весьма важны грн решеивн простых
задач классификащм1 образов, они длесь рассматри-
ваться не будут.

Омцсание процесса адаптации с полощью сгсхастичб-
скаго приближения. В этом разделе процесс аудита-
Uh и рассматривается с позиций теории регрессионных
задач, Напомним, что решение уравнения линейной
регрессии задастся соотношениями (233) и (2.36)
разд. 2.3.8, однако вычисление обратных матриц мо-
жет оказаться пссьиа сложным, особенно если их
размерность яслиья. Метод решения, кзаестнын как
стохастическое ариблмжен1И*, особсшю полезен при
анализе усложненных регрессионных задач, когда
другие подходи неприменимы из-за пслипсйиостеЛ.ме-
изжесткЫ) структуры стптистпчссхого распределения
и т. а. Точный анализ стохастнческссо приближения и
задач нелинейной регрессии можно найти в роботах
[G5. 68-70).

5еэ потерн общности щ можно опустить, посколь-
ку соответствумжпй вход (равный единице) экпппг-
лентсн постоянному элементу образа. Обозначим на-
бор входных сигналов вектором ж « |Ь» &*>•>• ^>Г*
а пусть mT — (щ,д». .... щ], Если хе/?” к цей-
стохастические переменные, причем между ними име-
ется линейная связь ц —? /лтх 4- в. гдя а — стохасти-
ческля ошибка с кулевым математическим ожида-
нием, то критерий маадратичмей ошибка определяется
функционалом

/~£(Ь|-лГлИ,	0-3)

ш

где £(•) —енмпол м тематического ожидании. Зада-
ча заключается а том, чтобы отыскать значение пГ,
мнмнмпэнрукидее функционал /; условие экстремаль-
ности можно записать следующим образом

vu~-f£- ж.............<TL.-°- <*•«

Локальны fl экстремум функционала можно найти гра-
ДМГ1ГТНЫИ методом, при этом последовательность ди-
скретных значений (*/[} (начинающаяся с произволь-
ного начального значения ал0) определяется таким
образом:

«;—«Ui - WJ	f3-5*

где G» — ксФффпциентмяя матрица. Можно показать,
что условно сходимости !к>следавательностп тп» со-
стоит а том, чтобы матрняа G» была положительно
определенной. Норма G* также имеет некоторые гра-
ницы. Одни из важных частных случаев соответствует
соотношению G» — а»1 (этот частный случай сонпа-
даст с методом скорейшего спуска, если параметры
а* пыбрэиы латным образом).

Если заранее отказаться от предположения. что
статистика линейкой мол ели известна, то оптималь-
ное (сели иметь п инлу о и си к у метолом наименьших
жпадратов) значение следует вычислить на основе ря-
да реализаций х и г>- Основ мая идея стохастического
приближения состоит в том, чтобы заменить его
приближенным значением, т. е. градиентом подыкте-
(||дл!.напо выражения (л— тЪ)1. которое оказывает-
сн стохастическим вектором со эиячепнем. эаопсяшнм
от реализаций ж «ж* и п« и» Таким образом, но-
вое значение г«< вычисляется всякий раз при наблю-
дении пьры (х>, и*):

«• — ««I., + о» (П* - "»L, *4) 4-	<3б>

Это cooihouicmhc, как видно, совпадает с правилом
ппдкреллемия (3.2), записанным в векторной форме.
Как было показано, прицеленная DUuie последова-
тельногть сходится (с вероятностью, равной единице)
к оптимальному значению (г«Г)т, соответствующему
минимуму /, при условии, что для псследоеательмсстн
{*») справедливо следующее соотиоюенпе:

Так, иапоимер. «* — 4г‘ удовлетворяет этому соотно-
шению. Во многих конкретных случаях было устлиоп-
леио, что следующий выбор а* обеспечивает весьма
быструю сходимость [70J

<4— (£||ЪГ) .	(3-8)

Результаты, полученные с помощью метода стохасти-
ческого приближения, непосредственна неприменимы
к простым физическим системам, которые характери-
зуются постоянством параметров а*. Новые данные,
обсуждаемые в згой книге, состоят в том, чгто при
больших значениях параметрон а* все еще ухается
достичь оптимальных асимптотических свойств при
условии, что обралы да линейно независимы. Соответ-
ствующий анализ вы пол вс к в подразд, 3.2 2.
3.1.2. О физической реализуемости адаптивных
злемсктаа

Для создания простых и деиевыл амалагоеых
адаптивных устройств необходимо решить три фуцда.
ментальные проблемы. Одна из них — представление
огтрниатглм1ых весов такими физическими жзсмситл-
мя, как рсзт»сторы, которые обладают существенно
положительными паряметрамщ Вторая проблема —
разработка простейшего ыехмшзма перемножения
двух сигналов Третья проблема — механизм измене-
ния значений параметров о адаптивной схеме.

До сил пор адаптивные устройства создавались пл
основе вебольиыги числа элементов с переменными
свойствами, однако успехи технологии в последние
годы могут иметь решающее значение яри создании
будущего автоматизированного производства ада и
тмпмых сетей В данной книге отдастся предпочтение
математическим лггектям проблемы лдаптяимп н нс
обсуждаются успехи D области тсхмологпм произвол*
стал адаптивных устройств

Представление отрицательных весов. Казалось бы,
прямой метод реализации отрицательных экачейпй
параметров состоит о простом сдвиге шкалы значе-
ний параметров так, чтобы положительное значение й
соитпетсгвапало нулю. Тогда значении, мсньшнс н«
рассматривались бы как отрицательные. Однако
недостаток этого способа заключается в серьезном
усложнения операции умножения параметров. Поэто-
му следует предпочесть гак называемое антагонисти-
ческое кодирование отрицательных сигналов, схема
которого показана на рис. I 9. Другая возможность
состоит в том. чтобы грнЛЛЖНТ!. входной сигнал м
его отрицательный аквпвалемт к протнисшоаижным
жлечам питепцлпметрл и использовать я качестве вы*
хода сигнал с д bum к а последнего; в результате ОвамВ*
дается возможной непрерывна* нормировка парамет-
ров во всем диапазоне значений (как подожитель*
них. так и отрнивтельных). Такне потенциометры уже
нашла применение в адаптивных системах с несколь-
кими параметрами, однако едва дм они могут быть
простым и дешевым решением для адаптивной ассо-
циативной памяти с большим числом переменных Э.те-
ментов.
Еще одни метод представления отрицательных ве-
сов б)д»т рассмотрен в следующем разделе примени-
только к памяти. мсстроемкой на асконе конденсато-
ров.

Дм«ис.мми* произведений еиенолов. Допустим, что
проблема отрииатсльлых яссов так пли иначе разре-
шено; тогда везапнает задача пострсеппя умножите-
ля. в котором алии из сомножителей может иметь
произвольный знак.

Решение оказывается особенно простым, если оы-
ходной сигнал поступает затем на парковое устрой-
ство, осуществляющее дискретизаинк> пыхала т| до
уровня 6 пли 1. Хотя при этом адаптивный ярсмесс *
снизывается совсем иным, чем рассмотренный выше,
тем не менее можно г-окахятъ, что оя также сходится.
Если теперь л> к I.». как и рапы ле, принимают толь-
ко бнкаркые значения, тогда один мз множителей в
выражении (3-2) имеет значение О или I. а другой —
одно из значений — 1, 0 и I. Теперь не представляет
никакого труда разработать па основе электронных
логических схем устройство умножения дли указан-
ных сшеракдов.

Вариант атого метода для непрерывных сигналов
может быть основан ня импульсно-частотной модули-
ч in Даиустпм, что все синили можно представить
в ваде последсввтельиастей импульсов, а их нитсмсив-
тихть — в виде частоты следования импульсов. Если
дне нексгсрстные (асинхронные) последопатслыюстп
НМ пульсов проходят через простое логическое устрой-
ство, образующее их произведение или aui'CXiiiiciuse,
то скорость выходной коследдеателымгст:! импульсов,
очевидно. пропорциональна произведению частот
входных последовательностей.

Наконец. следует упомянуть» что всегда можно ис-
пользовать обычное цифровое представление сигна-
лов п соответствующие цифровые схемы умножения.
Хотя этг| иногда кажется дорогим решением пробле-
мы, следует напомнить» что в послеаинс годы стали
доступны бозьшне интегральные схемы (БИС), содер-
жа шпе на одном кристалле кремния десятки тысяч
злементарпых цифровых схем. Таким образом, реали-
зация цифрового процессора для адаптивных систем,
пыполкяюысго большое количество параллельных оое.
рдииЛ, становятся впол»к во1можной,

/|А1/пгденм<т рсметори. Простея переменный резистор
можно л -г •типвть* используя в дсктрсхим невские про-
цессу в тонкопленочных помрьгтняд. При чтом толши*

ис провод лией пленки па катоде эдсктрохнияческой
ячейка может быть увеличена пли уменьшена путем

изме^епил наяравлонгя к В1гте1тсив1«остм топа через
кчебку (рве. 3 2). Проооддмссть пленки прямо про-
лоршюпалма се то липке. Считывание состояин



Рчс SJ. .=>ле»трэ»нмтео4’< я**Нк| иьаггнг^ип’ рс?»тгорж.

лл+umi без поме* со сгорояы самого процесса элс|
троосэждсипя вшмождо если пспо-зьэоевгь сигнал
переменного тока.

Од и в ко я процессе многократных обратимых И*
мемсипн состоя пня лчсПкп стабильность электрохкмп-
всского резистора падает, что является сто осмоаиы»
недостатком. Поэтому, хотя такие приборы п приме-
нялись для стЭДання рядя адаптивных угтроЛстя. owia
нс удовлетворяют трсбоплвням надежности при нХ
длительном нспольэсепмИп.

Лом^елсатормоа память. Рлсемдгрггяаемяя в атом рад-
деде система имеет адаптивные веса, мрсдстввляемыс
электрическими зарядами в матрице конденсаторов.
В этом устройстве достигается высокая степень ли
нсйисстм, и его единственный Недостаток состоят в
тсч1, что записанная информация разрушается при ст-
хлючекнн питания, так что временные постоянные,
дарлвгеркзукжие утечку ларяда, должны быть доста-
точно вс лики В последние годы доепггиуты успехи
 области серийного ярелпаодства подборе® с заря-
довой гяязыо, которые, видимо, найдут применение
в адаптивны/ системах. Так, уже создана (правда, с
1%
tiptiuc»eiMKM дискретных компонентой) матрица па*
пяти на ucmiwc хря пения заряда и конденсаторах
(рис. 3.3).

Детали работы схемы такопы. Для простоты до-
пустим, что сигналы & —двоичные, в епгналы И *»о-
гут принимать произвольные положительные или
огр лип тельные значения. В качестве управляемых на-
пряжением резисторов здесь применяются полевые

Рис. ЗА Память м кодсясятсры.

транзисторы, которые контролируются сягкодамн L
Коэффициент у сп леи пн выходного усилителя много
I Тыве единицы, ВОИОМу для любых фиксированных
значений сигналов L* и п» в результате отрицатель-
ной обратной связи напряжения на конденсаторах
ЬАЗЗЫЛЛЮТСЯ стааиомнрными. Можм» показать. что
илнрпженкя на конденсаторах могут быть выбраны а
соответствии с соитмоснепигм (3.6). В процессе счи-
тывания левый входной сигнал ц paevn нулю, я па
выходе получается соответствующее значение ip..

3.2. Адаптивные фильтры, вычисляющие ортогональные
проекции

В разд 2.3 было показано, что дпя восстановления
Дефектных элемента ключевых обрами» можно Яс-
польювать два исиопиых типа ортогональных опера-
ций проектирования — автоассоилатпанос преобрлзо-
нпе п фильтр И0ены1ы. При этом поенсхолкт также
оптимальное ослабление случаржхо шума, наложее-
ногто кп входные образы. Тем самым укахапные пре-
образования обладают свойством воссгвкиеления
информации (имея в виду оценки по методу наймет,-
1HUX квадратов). Автоассоцнаттшое прспбраэсванне
представляет собой алгоритм, теоретически реализую* к
шнД оптимальную автоассоцинтпнную выборку,:^
С другой стороны, оптимальный фильтр пиыиии,.•
видимо, легче реализуете», на осмсае адаптпиниш
физических систем. Цель раздела состоит п том. ’иоЗ|
бы продсмонстриришиь ВОЗМОЖНОСТИ адаиШВПОГО II' -J]
строения таких иртсгоиалнзнрующих фильтров в фиЯ
зическнх средах.

<

3,2.1. Теория детекторе жншзмы

Обсуждение основных функций ядаптгвпогофн.зьт-’]
ря целесообразно начать с анализа матсмятичегки’
очень г.ростон Модели, называемой детектором па и из- j
ли. Такая смстемнап модель с пескольмнын плодами
И ОДНИМ ВЫХОДОМ пмазана ня риг. 3.4. Одни гм прн-
*	мснений этой системы свя-

зано с анализом входных
пространственных образов,
состоящих из множества
одноврсмснио подаваемых
сигналов. Если эти вход-
ные образы эмаколы систе-

ме, т. е. встречались доста-

Рш. де Детектор i»aiunu точно часто п прежде средп
входных образов, то bwJ
ход остается ранным нулю. Если, идмакл, тежглиЯ
пюдмоб образ — «новый», то выходной сигнал сяж
стены отличается от нуля. Нетрудно помяла»ьЛ
что следующая модель обладает указанным спой-«

СТВОЛ.	:

Все входы связаны с выхолим с помощью кана/ я
с переменными весами и сумматором на ни- Н
Входные веса ц<, iis I. 2, ,.., л, могут быть положкЛ
тельными или отрицяте.<ьиымп. и поэтому входные w
выходные сигналы, обозначаем ыс соответственно чеН
рев Ь и т), также могут быть кяк положительными,
там и отрицательными. Что катается технической реа-
лизации системных уравнений с произвольными (по
знаку) сигналами и вараметрамн, то здесь полностью
применимы соображении, высказанные я разд. 3.1 от-
носительно линейных адаптивных устройств. Систем*
вне уравнения таковы:
л

П — Е нЛг.

— - а*П-

(3 9)

(3.1«>

Используя ВПСЛОПГЫС р«Н»СС векторные обозначения,
фОотиошЬяня (3 9) и (3.10) можвк? запасать в следую-
щей компактной форме:

Ч—жЧ	(XII)

drrf/d/» — ал’п « —	(3.12)

Адпгттпвнос поведение вышерассмотренной системы
можно легко проаяа.*11Л1рс«эть ь случае стаимомар-
ма входных образов. Допустим сначала, что П№
Mi вектор х постоянен во времени для t Го; тогда
подстановкой нетрудно показать» что следующее вы»
рижские является решением уравнения (3.12);

ЯГ (/) _ mr	|J _ ш	(3.13)

где

ы(/) — |хГ3(| — exp(—ulxB5^ — ^)).

Заметим, что0< 4i(0 < МЛ

Рассмотрим теперь конечный набор ображж S «
— {•*«. л». .... *•), которые модаютсн на вход систе-
мы н виде бесконечней последовательности



с пронтасльноА частотой и в иронэвольном порядке.
Предположим, что между Моментами времени (/д)7-<
нхадимс обралы стационарны. Другими словами, вход-
ные образы постоянны в течение промэволыт длин-
пых полуоткрытых питермлоп [/j.i.f*), а  осталь-
ие пл (юлача сове; I тю произвольная. После
пшегрировяпня этих системных ураиасипЛ по пгем ан-
Сериалам |/д -»,<») с л л меной t< из /л получим

(/J - лг (/д_.)[Г - Vt/Tj " mT('*“«) Q>’ <3-14)

где скаляры а* напоминают функции параметров
ы(0 в (3.13), я Q» - матрацы, ммекмпне структуру
так называемых алементармых матриц (лодралд.
1.3-3). Рекуррентное npiiueiieat»c ссспскяления (З.Ц)
Ллет

>

—n»r(fo) ^Qr —m’frJTa. (3 15)

Основная математическая проблема теперь заключи
стся о исследования условий сходимости приизисде.
мня мьтрнц Т» при *-*оо. Будет поваляно, что если
скаляры аа заключены • определенных пределах «
каждый кэ ««стопов 5 как угодно часто встречается
в произведении Т», то Т» сладится к проекционной
матрице Р, такой, что гя’ |/>)/* ортогонально асец
векторам 5. Ипымм словами, если алии из этих мк<
торных сбразоп мдм их л Инейная кпибииацих подают-
ся в рвссмэсрив-вемую систему в качестве входа, то!
ее выход будет равен нулю. Если, однако, в качество!
входя используется произвольный новый обра*. м
принадлежащий годи ростра нству S’, образованном)
векторами S, то выходкой енгклл, всюбиге го*ср». ш
будет нулевым (за исключением того мялгюсроятмогк
случаи, когда новый обря.т окажется ортогональны!

• вектору Ьесол рассматриваемой сходктеЛ<.я системы)
Результаты, представленные ниже, подробно про
анмпнрованы в paCutax |М и T&J.

Л>|’Эгл|.»гал	Ле.* л^сшжгдекия .млмелт/wo*

Пусть 3 “ (*| Да....Дм) — ивблр аров

Ucu4i.itих (не обяхитолмю линейно пезяэнсныых) ;»сл
Торой в пространстве R*. Рассмотрим матричное про
изведенве Tt, заданное соотпои>емнсм (3.15), 
котором последовательность скаляров (од) и последо]
ватсльнасп» индексов (I») удовлетворяют слечукмимм
Треблваиням;	’

A!) 6<s<2Mr4>r*-6,

где в — прошволыгос малое фиксированное число,
удоллегпирянхцее ссютмсик'нлю

0<»<$(тм|х,П~';

А2) алп каждо«т> фвиеировииного г eg (I... •  я)
и каждого ре (W — набор натуральных чисел) су-
шествует индекс й р, такой, что iA «= л

IW
I

Фактически первое соотношение обеспечивает те-
рпи п»ю two. что мермы элементарных матриц

(’-М/Л)

пс превышают единицы я что последовательность (a J
не сходится к кулю. тогда как втсргс соатпмнснме
Просто учитывает, что каждый эектор х» появляется
I, latan 1'н босноимяо мсш Смдукммб рс.пль*
тпт из работы (75J приводится без доказательства.

Теорем Пусть справедливы соотношения Al п А2.
Тогда шхледоватвльиость {Г*} сходится (для любой

{*№)

Рис. ЗА Скырссть CJCONHIHtClII n{*-uuc4M дстШТкр<М1а|:4Ч «4К|ЬЙЛ>
oGpa»u.

Матричной нормы) и лроехиионмоА матрице ла лод-
t Пространство Sf1 (Х|. х>..,., л«).

Если набор S — (х-|. Х|...Хм) образует прост-

’ равство W", то лроекш1инная матрица на лодпрост*
ралгтио 5*J(X|.	.... л.) дрелстдпляе? собой куле-

вую матрицу, причем сиравехгньо следующее след*
стиле.

Следсхеие Если допущения теоремы елрааеддмвы
н если 2*(xi, xt. .... х«.) — Я", то предел lira Тц ра-
я«я нулевой матрице.
Численный пример. Для иллюстрация сэоАсто сходя,
мости вышсу помянутого процесса рассмотрим слсхуи>
шяА пример. Набор S врелстявлял собой совокув.
кость 10 двоечных образов (каждый с 35 компонента,
мп), шжалиямых ранее на рис. 2.9. Эти обрдхм
циклически поливались иа вход системы. Если ЧСрС.1
п.'* обозначить Иями го в КМСС1М меры с холл мости
удсбоо ныбратъ ||лц— гла||/к/л*Г Скалнр а» ирякп-
мался постоянным и раеним его среднему знгчея1гю
В допустимом интервале, чти обеспечивадо быстр*. |
тую сходимость»

График па рис. 3.5 показывает, что сходимость
г.зчтп экспонешшлльнля. Дополнительные данные» но-
торне не приводятся здесь, свиясгельетжуют о том,
что, особшс говоря, скорость сходимости процесса
прмблнзнтелыю обрито проперцис нальни размерно*
стн образов п. В общем случае скорость сходимости
сильно зависит от отгношейлк m/п, причем ocianvK
уменьшается при m ► /I.

3.2 2. Анализ адапгитюго линейного устройства
С помощью матричных прсизоедений

В предыдущем примере входные образы рассмпг-
рямлнсь кик совершенно произвольные, т. е. линей-
но зависимые пли «емвиенмые. В донном разделе
рассматривается ггтсржционпыЛ промесс, спглялоыП с
стохастическим приближением, э ко юром (в отлкчме
от ранее рассмотренного} входные образы в наборе5
предполагаются лпнсФво независимыми. В остальном
порядок их появления в последовательности, а такта
длины иитервалов f*) npouxocUMtu, как и рань-
ше. С учетом дтсео огромпчеиля последовательность
{«4 а ооотношеши! (3.14) не обязательно должна
схоиггься к нулю и «• даже можно выбрать постоян-
ными что весьма утрслает соответстауюшую репли-
зацию.

Если Попарно связать входные всктсри с яро-
нэапл1.ннм|| скалярами т)|(. то системные ураиметти
(в непрерывном интервале времени) можно записать
в векторной форме следующим образом:

П — wTX|t.	(3.16)

dm»/<V = а(т|,4 — т0	(3.17)

1G2
juil. ПОСКОЛЬКУ С1ГП1ЛЛМ Xi п И- постоянны в интерва-
лах |/>м» 1*}, можно применить формальные приемы,
используемые 9 усломпх дискретного временя (раз
нсстиые уравнения); а этом случае системные урпзне-
имя таковы:

«*;	°. (ч,,-

—С*18)

Здесь снова к а жд и ft индекс /».	равен

Ормом у |» чисел 1. 2.ш. Прежде всего, путем ре-

м'ррсятпого применения (3.18) нетрудно получить
следующую форму решения:

п»;-'ч;Д(’-ол<,ч,)+ 

+,£^М.<Д|(,-в'М,).	<»•”>

где только первый член зависят пт п£ (второй >же
не зависит), н для правильного первоначального при-
метения рекурсии принято

»

При указанных допущениях

Й(*~**А)

сходится к ортогональны! у оператору проектирования
Р, рассмотрен ио му я яояраэл- I.3.& Благодари при-
нятой лниейиоЛ независимости векторов xlf можно
пспольэовтть формулу

Р - [ - X (Х’Х)"1 Хт»	(3.20)

в котТ'роП матрица X имеет векторы хь хъ ...» хга
л ьлчеггне статЛипя (при этом порядок имеет либо
указании Л выше лид, либо представлен лтобоЛ его
Перестановкой).

Дли определения lim mJ можно использовать

следуюсций упрощенный метод. Рассмотрим матрицу
X  |xj. Xt. ..., х«] И вектор У* — h». Ч-Г,
Поскольку векторы ж», ........хм линейно независи-

мы, матрица X имеет ранг т и Х’А — .несингулярна.;
Тогда существует асктйр tn*1 у1 (Х*Х)~*ХТ, удовлст-
норяюшнй сооткгдиснмю m*rX — дт. Выберем т*т
и качестве начального ректора лте в |ггераш1сниом
промессе. Тогда

(Т)^—пГхJ xj—т*», поскольку

Аналогично, можно пойти, чгто ml —лГг для нале*
лого >. Отсюда Jfmm* — т. Теперь лерьнП член в
соотмошеямн (3J&) для т[ межпо записать о пяле

А

Hm т” IT (I *- a/(<r*Jr) •* ^’’Р — С (3.21)

л, слелоалтетыю, для отарой части соотношения (3 19)
можно записать

ил>£м,д,11 (,-«лЛ)=Л1'ч2-^ <3~’>

Отметим, что эта часть не содержит начальный мск*
тор Следовательно, сслтмоадетее (3 22) спранед*
лиьо, вообще гипорн, для произвольного вектора niL
Теперь, объединяя все прнасдснные выие релулиетьД
получим для пронзэильныл иячалъных условий <
lim ml —m:[l- Х(Х’Х)" Х’] + /(Х'Х)'1 X’. (3.23)
4-»в»

Напомним, что м атр и чмо- лскторное уравнение вида
хтА —• Ь1 имеет решение х пая пр<тзваг1'Исм Ь тсслэ
к только тпгда, когда гтолбнм А лмнеПло iieuiMicB*
мы, при этим решение таково:

»’ =- Ь' (Л’А) 1 л’+*’ [| - а (А’А)* A’]. (J.J4)

где h — прокдэолышЛ вектор той же размерности,
ЧТО И g.

Отметим, что сходимость к точному ассоциативно-
му преобраэсеяиню в линейном адьгппвном устрсЛст-
вс покаэяна здесь при довольно мягком уелоенп» на~
л в гае мом ня последовательность весов а» (допуше-
кке AI предельной теоремы пидряэд 3.2.1).
' л. OvcKb быстрый адантионыА процесс синтеза
фильтра новизны

Пример. приведенный п подряда, 3,3.1. показывает,
что сходны осп» а праисссе синтеза детектора новизны
досолыю мсллспиан. Поэтому физические процессы
с ссиорендон ддаптиииеЯ. рассмитрмлаеыые в этом
разделе, могут представлять значительный интерес
i.pa создвник обучаемых нашим. Ускорение сходммо
сти достигается путем использования отрнцдтедьпоб

Рнс. ЗА С|КП-ил4Л модель фкльтра яовюни

обратной связи Рассмотрены 1»есколь*с тш*.ов адаи-
тннных моделей с различной структурой канала сб-
ртмоп смпи (под разд. 3.3.6), обладающих 1модина-
ЯОвОЙ скоростью СХОДИМОСТИ. В ДММ1М1М разладе )'И«-
*ы ввелся, что сущеегнует специальный тип обратной
свои, гарантирующий очень быструю сходимость;
лсммптотжчйское состоивне оптимального фильтра но*
ннзкм грн этом достигается за одни никл подаче
входных образов.

Сиггеммаз модель фильтра новизны. Вместо исполь-
эппл,чпя нелачпенмых детекторов мсьизлы можно По-
строить адаптнвныЛ фильтр путем объединения ряда
таких детектором, т.е. ва основе их коллежтнияого
азаимодейстеня. Сначала обсуждается упрощенная
модель, порождающая ортсгонадынде проекции; за-
теи рассматривается более редлпстнческяй вариант,
обладающий свойством забывания,

I‘яосмотрим системную модель, покалаикую ва
рнс. 3.6; х G АР* — Входной векторный образ, a xq
< Я* — вектор выходных сигналов. Предполагается,
*то обратная связь реализуется путем нелосредствеи-
него зоздействия выходного сигнала на переменные
ясса фильтра. В простейшем случае обратная связь —
прямая, однако динамика модели суикственно не ив>
меияется. если обратная связь реализуется посред-
ством фильтров со слеиивлькыми свлйстпамн; п лтгдв
случае, как можоо показать, асимптотические сог4|«
стьа системы остаются неизменными.

Предполагается, чти каждый компонент выходив-
го вектора jf, обозначаемый через й принимает сын
нал обратной связи от других злемситои *j через ка-
налы с переменными вес пип pi0. При этом ярнидммгт.
ся, что выходные сигналы L* являются линейными
кгмбиияняяыц входных сигналов, а сигналы обрат-
ной слятп задаются соотношением

Ь-1|+£*|&.	(325)

Таким образом, адаптивными тлен сигам и являются
каналы обратней связи с весами |1<<. В соответствии
с систем ни ин привинпами. рассмотренными ранее
пр1гменнгельно к линейному адаптивному устройству
и детектору новизны, принимается, что веся и// наме-
ряются в соответствия со слелутощпм соолюшеивем:

<Wdf = -uUp	(3.26)

В матричных обозначениях коэффициент «усиленна»
камялл обратной связи можно представить зланся-
щей от времени матрицей М. С другой стороны, пол-
ный передаточный оператор яля плодных образов за-
дается квадратной матрицей <£, которая может быть
найдена из !»еяниых урашиший обратной сняли

+	(3.27)

Прл атом допускается, что матрица (I—М)“‘ всегда
существует. Коль скоро рассматриваются физически
реализуемые процессы, что допущение представляется
законным

Мятрмцд обратной связи М -• (fty) подчиняется
следующему уравнению ссстаяння:

.	dM/<l/— — оххг-	(3.28)
Тогдл дифференциальное уравнение для матрицы ф
осазиомтсл таким:

—(3.29)

df/dT=-of жж».	(3.30)

Послслмее уравнение представляет ообоЛ w чтепкяе,
как jmjpwvwne уравнение Бернулли Как будет покп-
запо. они «мест )Сто0чнвые аспмптптическне решения
гря а > 0.

Подробные псслсдппакип матричных уравнений
Бернтллп касались лишь дифференциальных уравне-
ний Рпккалп, п которых пранах часть квадратична
по (уравнения Рикатти часто встречаются в различ-
ных применениях теории управления и теория систем,
см., i.uiipnMCp, работу (77)). Уряимения Бернулли бо-
лее высокого порядка но пилимо, нс рассматрива-
лись подробно в литературе, хотя асимптотические
решения 1»скпторых нз ник оказались весьма интерес-
ным и.

Решение урапмемия (3.30) сказывается сложным,
если является пронхнольиин функцией времени Ол-
т»ко, если ж — постоянное или куанмю-постглипюс по
премепп, нетрудно ВИЛЯТЬ» что уравнение (3.30) ста-
новится латемомлым полностью млп частечио; тогда,
ьа при мер, с Помоыью метода Пикара — Ллилелефа
можно npojtcM<incirpti|4>uaib существование решения в
виде ряда J73). поскольку жел*телы«о получить по
крайней мере некоторые основные результаты а зам*
чмутой форме, предполагается, что начальное условие
по / симметрично (пппримср, если М в начальный
момент времени — нулевая матрица, то ^(0) = I).
IСЯК симметрична в начальный момент времени, т> ,
как нетрудно показать. остается симметричной веет.
1а. п дифференциальное уравнение для можно за-
писать следующим обр&эоы:

П.31)

Хотя общее решение этого уравнения и не является
необходимым при последующем обсуждении, оно все
Же кратко приводится ниже. Метод последователь-
**мх нрпближеннИ Ппклра-* Линде.чефа позволяет
постронп, выражслне для представляющее о>.
См:й ряд пс степеням f(0). Поскольку все векторы
$(0)’х, / > 0, можно представить п виде линейной
Камби нацик векторов ^(0)х, ^(О^х...^Ю^х, где

г меньше или р«в*:о степгян гак называемого мини,
малыюго ослмнома ^<|0) (см., например, (72].стр. 60—
4>1). 9 разложения остается только конечпое число
членов, и весь ряд можно представить в следующей
форме.

Г г

* W - ♦ <0) + £, £ * <0)‘ хлч W' /«(0- (ЗЛ!)

Здесь предполагается. что в рассматриваемом интер-
вале х —- постоянно. 11 ос ледов «тел ь пос ть функций
/•✓(/) является симметричной двойной поел «Дова тель-
нгстью непрерывных скглкрии -значных функций. ко*
терме (по крайней мере в принципе! могут быть мак
девы путем подегдповкн ю уравнений (&3S)
в урапнеямс (3.31)

Поскольку лсимггтотнческне соопства ^(0 могут
быть лопольно сложными. дал^нН|шпе с нелеп ня о
фтнкцних 1>} недостаточны. Один ко п одной частном
случае начальных матриц £(0) решение окпзывпетеч
очень простым, а именно в случае проекционных
матриц (см. подрязл. 13.5). В частности, простейшим
гпляятся выбор $(0) •— I, 4.хкугаетстаую1ций мры/нн-
чальнс пустой мммги, т. е. М(0} =0. Если при атом
х везде постоянно, то уравнение (3.32) сводится к
виду

Я0~*(0) + *(0)хх^<0)/(П.

(3.33)

что после подствьювкн в (3.31) дает

M-a/T'FfW b	если (0)х#0,

ft = <ы’^ (0) х.

^(f)=i0, если ^(0)х*-0.

(3.3J)

Однако селя х только кусочгк>-поста ян нос, то этот про-
стой вывел оказывается неприменимым; в этом слу*
чае. Как нетрудно видеть, 4(1) 1лп I > 0, воебше го-
воря, не является проекшюнной матрицей, поутому ив
последующих ннтерввлвх, в которых х сохраняет по-
106
стоянпое значение, следует пспол|ловят|. белее общее
решение

Последом™ лини* стадии адаптации, Можно по-
надеть. что. осей входной лектор х лсстояьсн п тече-
ние достаточно продолжительных пнтерпахов време-
ни. пыхОЛНОЙ вгктср системы х стремится к пулевому
вектору, хоти матрица 0 вовсе не стремится к иулч-
роЯ матрице. При этом, если на вход системы после-
довательно полается набор входных образе» f.v*}. го
нетрудно продемонстрировать, что такая систем я в со-
стоянии адаптироваться к каждому образу м один
робочнП таят.

Сначала отметим одну математическую проблему,
сжсзлмпую С миисуломякутым матричным УРЯПЫСШК’М
Бернулли (в которой г. 0/d / является матрицей рен-
та I). Даже в простейшем случае, когда yl(0) — I,
вегшлтотпческое решение 0(ooJ будет сингулярным;
ато сомачает, его М(сс) или некоторые элементы ыат-
р.п.1- нс ветшмея мшпа Одамо прмпшмаа
время интегрирования всегда конечно, и поэтому 0
остается ьесннтулярной» в М — конечной. Можно дл-
жс установить некоторые лредадьмыс соотношения
для десмснтоп матрицы М. Тем нс менее последова-
тельные оспиптатическпо решен ня. иидробмо рас-
сматриваемые ниже. являются лишь более иди менее
мрмта приближением.

Имея в виду хначнтелыюе упрощение решения
{331), рассмотрим процесс пдагттпнпи более подроб-
но. Определим последовательность моментов пременн
VaK_r н* протяжении каждого полуоткрытото интер-
вала |6^|, /») ня вход системы подается новый по-
стоянный п дашм>м тгтерпач* образ, и матрица со-
С ГОЯНИЯ ff> rpi 1ЖИМИ СХОД1ГГСЯ К ВСЯМПТОГТИЧССКОВНу
значению (га каждом интервале). Путем выборе ин-
тервалов, которые могут быть дсстаточью ддимиимн,
точность сходимости матрицы ф к асимптотическому
значемшо можег быть сделлмо сколь угодно высокой.
Тегюрь нетрудно вывести приближенное рекуррентное
соотношение для последпвлтгльных (во времени) из-
мецевиЛ матрицы состоккип системы Прежде всего
нужно оолр<ить асимптотическое решение (3.3|), ко-
торое ллд лрсекиэздмоД катрииы 0(0) можно залм-
I1

сать слехуюаим обрлэом: ч	1-

(0) — <_|(1!2!М<2. t РСД< до Xi 0 (з эд
х]е^ ж,

£ (<х>) — £ (О), если ф(О>Х| — 0.

Если интервал |0, 6) — длинный, то t — оо можно
приближенно заменить подстановкой / —G. Затем
можно испод к-ювать тот факт (проверяемыА иеоосред»
ствезиым полпсденпем в квадрат соотношения (3 35)).
что натрмма ^»(ор) —лреекименмал.

Поскольку ^(0| также проекционная патрица, то
и ^(f|) Судет с И1*1>< ' । ш приближением г.роекцпг п.
нов матрицей. Теперь нетрудно показать. что сиять
шскпн (3.33) и (335) остаются справедливыми. если
/| выбрать в качестве нйчолыюго интервала: для это»
го достаточно допустить, что ф(/]) является проеавя-
омноА матрицей По методу индукции ircrpyiwc полу-
чить рекуррентное выражение для погледовлтелмшх
во времени изменений матрицы состояния, при этом
используется пгт фдкт, что все матрицы ^(/*) остают-
ся приблизительно проекционными:

если М.Ох^О,	(3.30

если с* — 0 — 2, 3, ...)

Эта система уравнений напоминает очень важное со-
отношение: мю имеет ту же структуру, что м рекур-
рентная формула для оператор о/ттого^п.н.иолс про-
ектрсопния (см. ло.траэд. E3j). Таким обраэои,
матрицы являются приблизительно проекцион-
ными матр:1П8М11.

Итерационная сходимость бысгроео адалтшгносо про-
цесса. Г1р1теденный выи>е пр«1бли}ительнын анализ
можно заменить математически более точным рас-
смотрен кем. Так. в рамках формальных лрзвля, ис-
полюук>п1дх дискретное время, матричное ура пл сипе
Бернулли имеет слсдукхдую форму:

Ъ “ Ъ-i ”	Р > 0.	(3.37) .
£слл ДЛЯ каждом р принять, что ар=«а А/ я если
рассматриадт!. матрицы как ылтряиы вгия фр —
нетрудно Видеть, что соотношение (3.37)
погобррзучпсн в соотношение (3.31), если At-* О н
p,\f-♦/. ^Гахгм образом, соотношение (3.37) мажко
рассматривать как одноступенчатую численную
(эЛлерову) квадратуру соотношения ’ (3.31 >. Однако
соотношение <3 37) имеет также и самостоятельное
эляченне, так что далее результате обсуждаются и
нряменптсльно к более общему выражению, содержа-
щему последовательность (oj

Поскольку ПОЛНЫЙ вывод |44| СЛИШКОМ громоз-
док, окончательные результаты представлены в виде
трех лемм, теоремы и следствия

Пусть t является постоянным п течение каждого
такта, Определим последовательность целых индексов
{М7-г ГА* ’•» принадлежит дискретному на-
бору (2. 2. ...» т}. С аомошыо индекса 4 лхолмЛ
вектор можно проставпгь в виде отсюда ПО-
НЯТНО, ЧТО X МВЛЯетСЯ ОДНИМ ИЗ ВСКТОров Х|,Х». ,.., Л*,
неважно, какам пмеямо.

В лемме 2 накладывается сганнчеине на (4), кото-
рое свяглно с частотой появления каждого из вскто-
рие S, Тогда (3.37) можно представить в следующей
фефме:

*р ~ Ml “ «ЛЛ/Дг 0’38)

Теперь задача состоят в том. чтобы показать» что
метрика ^п, которая строится. начиная с яроекггион-
матрицы будет сходиться к другой лреехиисп.
ной кятршш; при атом ип к л злы веются весьма общие
Ограничения из (/.,) It l*CC^CnUH3Te^bKCCTh к<13ф<^11-
ЦЙптои {а,}. (Отметим, что —I также являет п
мроекццмвоД матрицей.) Перечисленные условия
иожне продетаегпь в виде двух лемм, а также тео-
ремы.

Лемма /. Пусть — сяммсгтр1Гчигя положительно по-
'Ауопредеж'кная матрица, л для каждого р имеет ме-
си» следующее соотношение:

е<ав<Ло —с.
где	£



О < к < *₽•

Тогда каждая матрице — также симметричная
и положителым) полуопредсленная.

Лемма 2 Пусть ft— симметричная положительно по*
луовряделгаяая матрица для каждого р. Пусть так*
же госледокательность (4») такппд, что каждое це.ьое
I. 2.....m появляется в ней сколь утпдпо часто.

Тогдл все аектирние поелсловательмосга	ftxt»...

.... ftjr* сходятся к нулю при р—- со.

Теорема. Пусть ft — । рпскцнонная матрица, а после*
доватслияостн fa,) и {!<*) удовлетворяют ограниче-
ниям, сформуй пром ин нм в леммах 1 и 2. Тогда по*
слсловатсльность матриц ft сходится к однознечпоЙ
проекакимкой матрице на подпространство .< —
= ЖМ П^1. где Л (ft) — интервальное простран-
CTI&M ft, а 2 к — ортосокальиое даск.<лискне подпрост*
раиства S’, обрадованного векторами ж* xs, ...» ju.

С поменяно нои целики пссв&ообрашеннн нетрудно
придать явную фирму предельной матрице У Пусть
через X обозначена матрица размерности (лХлт) со
столбцами хь лга, .,,, хл. Тогдк легко убедиться, что

*=Ь-Л.х(х’ал)‘хЧ . (З.зо)

яшшется однозначной прьскикэнноб матрицей па
подпространство Л — 5Н40 П S*.

Если, в частности, положить ft, — I. то соотвосие-
пм (3 39) (с помощью хороню изэгсткиго тожлестиа
(XTX)*XfX*) позволяет сформулировать следую*
шее

Сяедстеае. Если допущение лемм I к 2 запомни я
ft — единичная матрица, тогда последоватедыюсть ft
сходится к -а I — XX*. представляющей собой про*

• емаюнныЛ оператор «а подпространство #(1)П S’1

<72	«
До сих пор не выскахывялось никаких предполо-
жений иТЙОСИТСЛМЮ природы и саоростн СХОДИМОСГП
последовАтельвссти ^Р. Теперь можно сформулировать
а^длюиптвльмую лемму этого раздела,

Лемма 3. Если последовательность аг заключена в
пределах, определенных леммоА I. а входами! всю
тор — всстоянный, то i ю рм а выходного век гор в мо-
нотонно уменьшается. Чем больше тем быстрей,
следовательно, сходимость.

Дол)тцсиия выгдеярпведеянсЛ формул уродил тео-
ремы нс так легко сформулировать в терминах исход-
ной системы с обратной связью. Например, цель вве-
дении индексной последглател1.м<)ст и (ь) сводилась
к тему, чтобы отказаться от каких-либо предполо-
жений о порядке предъявления различных пхоЛлыХ
пек Юров на этапе обумеики системы. Тем самым су*
шсстэенно рас ширяется класс рассиатрдеэеммл. про
иессое и оказываются приемлемыми процессы цикли-
ческого (периодического) обучения, оключаюииэс по-
вторное применение векторов S (иапример, процессы,
и клюкающие примеясиие ТОЛЬКО одного иектора на
протяжении длинных интервалов обучеким|. В этом
случае пндекелгп последовательность представлена н
следующем виде:	=-(I, I. ... I. 2. 2. .... 2,

3.....и», ...), где, как видно, каждый интервал по-

вторного применении может быть сколь угодно длин-
ным. В этом случае сходимость гарантируется при
условии достаточной малости коэффициентов Пу-
тем устремления длины интервала (лропорционялъ*
КОЙ «,.) к бесконечно чагой нелнчшэе (что вполне
доиуекзется леммой J) дискретный провесе можно
сделать сколь угодно близким к соотпстствукжему
непрерывному процессу. Разумеется, эта проблема
сушестоевио зависит от свойств устойчивости и схо-
димости 011ЮСТ)тенчатых формул дискретизации прН
устремлении размера интервала к iry.no.

Если процесс обучения некоторому образу преры-
вается, как эти имеет место ори мсполг.зоядь'ни вход-
ного исктора в течение ограниченного интервала вре*
ЮН I. тс- пмее! MMflH мсрвшммое улуНШНИ МрВ№
теригтнк процесс* обучения за счет повторного
исполъзовлпня входного лектор?.. При этом лемма 3
гарантирует мои стон ное уменьшение ошибки.
3.7/ Адаптация с уабыоанигм

Эффекты лпсмпнлнвп в фозмчесыгх системах
обычае не устойчивы. Поэтому желательно исследо-
вать уравнения адаптации а условиях возможного
распада «следов памяти». Такие процессы обучения
«с забыванием» также можно исследовать с помощью
аппарата матричных уравнений, при этом, однако,
следует гредпатож«т>, что внешние сигналы равны
нулю п что каждый элемент памяти рпссалаетс* с©

□ростью, прямо пропорциональней его текущему
ашмсммв. Эм — простейший закон <)течкн» и боль-
шинстве физических просессон, а этом случае уравое»
вне для М можно записать в следующей форме j

* dM/dl = - ofx' — (Ш,	(3JO)

где а и ft — положительные постоянные. Б рамках j
формальных правил» нсппльэуюших дискретное вре»
мя. это уравнен не может быть переписано следующим
образом:

М,- VpM^., - <>Л/у	<3.41)

где у,, и а<> — скалярные параметры, а индексы р u i‘p
те же, что и использованные в позразд. 3.2.3.

Теперь вместо матричного уравнения Бернулли
можно записать следующее более общее дмфферемт1-
АЛ1.ПЛС урлпленит, в котором ф является обобщенной j
передаточной матрицей:

d*/dr =	>7	(3.42) ’

Как и прежде» математический анализ возможен лишь
при упрощающих предположениях о том, что началь-
ное значение /(0) «= /ъ является симметричной в про»
екцнонноП матрпией, а х постоянен» начиная с мо»
мента t 0 п далее.

ОелуюсциЛ вывод прякаддежят Ойя [73], причем
решение пыбирастся в опде

(3.43)

где функция времени 1(f) подлежит определению. По-J
скольку матраца — проекционная, для f вегрудно!
>74	3
получить слоуюшее скалярное уравнение:

d//<W = -aU4-M<Or-₽/(flU + M(Ob
/(0) = 0,	(3.441

гд< А — x'fax является скаляром.

Для примеяимостл этого пробного решения необ-
холимо, чтобы функция f(t) оставалась ограниченной.
ВмМИ дав удобстве функов

*(0-1+А/(0.

(3-45)

Дифферемпяялънос уравнение для этой функции та-
м*’° «де—«<о>—t. (з 46)

Покажем сначала, что s(0> 0 при 0< / < ос. Это
веяоерелстеенно следует на того факта, что грааля
части (3.46) пспрермакл и иепргрыпно дифференци-
руема по t. Тогда решение для s(t)—однозначное.
С другой Стороны, поскольку S (/) “0 является реше-
нием для начального зиачеввя s(0) “0, то отсюда
следует, что решение дав «(0) — I не может МОИ
хяться кулевым грн конечном I (это будет протппоре-
чпть охноэкачвссти решения), Таким	при

пачалынпн у г леппн с(0) I pruxunte з(/) естлется
положительным.

Установим теперь асимптотические свойства реше-
ния «(/). Так, в случае произвольно малого (I все де<К
стпжтельгые Корин уравнения dsjdt 0 также ока-
зываются малыми, п отсюда можно заключить (хотя
формальное доказательство здесь не приводятся),что
решение МО моиотонво стремится к малому положи-
тельному числу е. Следовательно,

llm f 0 - Ь + Ьхх'Л-	<3-4Л

Это еоотпошскпс — не что висе, как аппрохспнаиия
рекуррентной формулы (3.35). Следует отметить, что
" 'митотическое ре их к не с забыванием имеет ту од
самую структуру, что н регтсяне пстолиосо матрично-
го уравнения Бернулли (бет забывания), если его про»
интегрировать но коне^ьо^у интервалу времени,
ЗЛ. Рекуррентное построение оптимального
ассоциативного преобразования

Задача дя micro раздела --рассмотреть теоретике-
скп ессго быстрее -сходяишеся процессы построения
оператора, опнсыея юного оптимальное ассоццатнв-
нос преобразование. Такое преобразование оптималь-
на цо отношению к ранее неедениому набору лар
(лц, у<). а также по иласшению к ноеоАлгре пектороо
вход —вы код. которая также будет принята к вин*
NUM Этэ проблема — прежде всего матемотнясскаг,
поэтому сначала предположим, что фнинкки реали-
зуемое решение не требуется. При атом математиче-
скос рассмотрение даст верхний предел производи-
тельности системы, по отношеиню к которому можно
сравнивать различные способы физическое реализа-
ции. Полученная в процессе анализа рекуррентная
формула может быть также полезна в качестве ма-
шинного ялглритма при реллиэлцин ассодиптпжныт
преобразований па ЭВМ.

б 3.1 Линейные Kopp6* TrtpjnoM<ue йлмритми

Рассмотрим оптимальную лилейную ассоциатив-
ную память, преобразующую входные образы х» я
выходные образы р« с помощью линейной омерацпп
yt сс Мх» Иашгуяшее значение М было майле»ю ме-
тодом решения матричного уравнения, описанным
в подразд 2.3.5. Центральная проблема этой главы
состоит в следующем. Пусть передаточная матрица М
сигам ял I. и я для ряда наблюдений. завершающихся
парой (хА_|, fbtai}S кдкоА должна быть поправка I М,
такая, что новее значение матрицы М будет опти-
мольным нпк в отношении всех предшествующих
пэр. так и в отношении поной пары (х,. (/•), Это —
так нахывлеман рекуррентная задача. Новое оптн-
мольнос значение М» является функцией предыдуще-
го оптимального значения Мк_« и новых наблюдений
х> я у». Все случаи рекуррезтиых процессов, рпссмэт-
ривэемых в на стоящей главе, удовлетиоряют следую-
щему разностному урвппекню.

м, - м,., + (|Г. - М. Л)^	<3 «)

где сJ — вектор клм&Ьициентсв усиления, определяю-
щий искомую поправку. Следует отметить» что М».|Х«

17В
предсказывает (ft, я спотлстствующую оценку можно
0(5азнлч1гтъ через fit При этом поправка всегда пря-
мо пропорциональна ошибке предсказания у»— у*.
Ьуду^ определены выражения для вектора коэффи-
циентов усиления примсвшельво ж разлнчвым вход*
хим данным. Иитересно отмстить» что более простые
•дяптпнмыс системы также отсылаются уравнениями
адаптации. ввдлопшкымн (346)» с той лишь рэзми-
неЛ. что примскиютгл ммыс значения вектора кпэффн-
пнентов усилена*. В соотистствкн с этим поправка
уже не будет оятнмальноА, но будет субсеггимвлкнпА;
оптимальное значение М получается только при по-
вторник предъявлениях пар (**, р»).

3.3.2, Общая формулировка задачи вычисления
M=YX*

Если существуют точные решения матричного
ураьиеннм Y = Мл. то М = YX* является таким чя-
стиын решением. которое дает ассоциатипиеч: прсоб-
рагование с миянивльной ашибкон. Если же точные
решения не существуют, то М — YX* представляет
собой навдучшсс пробмятлмое решение. НИМ и
виду оценку методом наименьших квддратои. [|отго-
ну и далее YXf называется «наклучшп.мэ решемпем,
Вычисление YX* производится нодмелио аналогично
процессу вычисления всевдиобратноА матрицы Х*для
ярпнмюльной матрицы X. Рассмотрим матрицу X,
столбцами которой являются входные векторы х(<
х$. .... ж*. Эта матрица может быть разделена на
блоки следующим образом: [X»-i|x>], причем блок
с k столбцами обозначен через Хд Аналогично этому
матрица Y. сбралппхпняя иекторамн (/,. (Ь. ...» р*.
чпиже паэммва кв блок-.т {¥>_)№*). Если мат-
рицу М, яыч келейную с гоысщыо X* и ¥»» обознячнть
через M>=»YtXiT, го сразу же следует рекуррентная
формула (см. подразд. 1.3.4)

- Y.-.X.4-. + (». - Y.. ,х;.л) р; -

'• =М.-1 + (*.-м.-1*.)₽1,1	f3'49)
гэе «вектор усиления* рТ пмегт значение, лрипсдеи.
ное в (1,49). Следует отмстить, что М» всегда будет
«папхучшим» решением с учетом гвры новых наблюч
деипй (х*. f*); при этом рекурсия начинается с М« —4
-О-	j

833. Рекуррентная оценка намлучшгео точкою 4
решения (градиентный проекционный метод) i

Выражение для р» (1.49) упрощается, если iune<l
стиы точные решелия уравнения Y ₽ MX. Этот слуД
чай обычно имеет место при построении оотимальиых
ассоциативных преобразований. Тек. если х* линейно
независимы от предыдущих столбоот, то вектор
(Г —	является исму.еепым м для р» следует

выбирать верхнее из соотношений (I 49). Всяк же х»
является литейной есомбиявиией предыдущих столб-
цов. то иижтее выражение для р» позволяет хатесать

м, - м._,+(,. - м,.Л)<: (х;.,)’ х;., х

х(1+|х;.лП’'. (з.эд

Умножая обе части этого уравнения на ж* и неретруп- >«
пнровывэя члены, найдем	Ч

уд “ МдХд — Мд-н*> + <Уа — Ма-»лд) X

х|СаГ(‘+Кмь|')'‘. р.51) .1

Поскольку |Хд-|ЛдГ>0. вышеприведенное уравне-
ние может удоелетоорят1.гя только при условии, иго
у»—=• 0. Подстлновка этого /келудьгата я
(3.49) длст Мд — Mv-t. Если теперь обозначить

(I	ж “ Ъ»

(3.52)

тс очевидно, что yejeooite i* = 0 мевлвалентно усло-
вию линейной зависимости столбцов ti. л>.......х«.

Поэтому выражение для Мд можно переписать еле-
дуюшии образом:



Мк_|

если х*ч**0

(3.53)

L МА.| во всех других случаях.

+ь — K i — причем $о = 1, J?, = Х|.

Вместо применения двух последних урявменнй
удобней (с пычислчтсльиой точки зрения) ияйтп г,,
I I, 2, .... It с помощью процесса ортогоналихация
до Граму — Шмидту:

1-1	' /Г

где суммирование пропзяонгтся только пл тем индек-
сам J. которые соптттетггвуют |»смулсвым г,.

Винод соотношения (3 53) нозможги также непо-
средственно путем решения векторе.их уравнений ти-
па Лл = Ь. как это предложено ЛаЯло м |80| Поэто-
му для иышепрп веден кого метода пспильхуется тер-
мин градиентный проекционный негод, обобщенный
па матричные уравнения.

Вычислительная схем Если зддячя состоит просто
в вычисления онтнмалы1оги отклика у в ответ на клю-
чевой сбраз к. то совсем не обязательно рассчитывать
матричный оператор М. Обозначим опенку на г-м
такте через fij ~ M*_.xi, я соответствующую сшибку
через V4 — у< — fit; тогда умножение соотношении
(3.53) ив М», замени индекса и пеэесгановка членов
дает (49]	( ,

»<~»|~Ет7ТГ-&.	(3.S5)

/•1 1 ’’

где использован факт сущесгесвания точных реше-
ВИЙ. когда должно иметь место Мд, » у/ п =

fit. В пычисл1ггельмом процессе рекуррентная оцен-
ка yt производится параллельно с процессом ортого-
чзлгезацмк по Граму — Шмидту, применяемым для
расчета xlt причем иужяо запоминать тольжо fii, i =
= I, 2, .... k. Применение соотпошення (3.55) еще
мй одним шаге рекурсия дает

O-tlTfV,.	(3.86)

С«1 /г

ЗЛ.4. Рекуррентная оценка нацяучшееа
приближенною решения {petрекпонне.е решение)

Если число столбцов в X u V больше размерности
векторе* х». ю последние оказываются линейно зави-
симыми. В этом случае нзилучшго (учитывал, что
оценка выполняется методом наименьших квадратов)
приближенное решение ураявсиня Y •“ MX называет-
ся .силеЛмоб реёрсссиеЛ. При этом можно применить
рекуррентные формулы, вытехеимяле ш «люрмгмл
Гревнлля, я выбрать нижнее из выражений (1.49)
для «векторов ухи лен няв р». Следует отметить, одна-
ко. что рекуррентные знражемни дают правильное
решение только при условии надлежащего выбора ка-
чал т.н||х стпдяА рекурсии; помкмо этого гри пслоль-
зова и ми нижнего Из пнражсннП (1.49) следует прове-
рять условие его Применимости, которое заключается
в том. что новый столбец х» доджей быть представ-
лен в виде лниНмсП комбинация столбцов Х^}. Со-
отпстсттпкш1рс Д1>гтаточнс»е условна состгнгт в том, что
среди векторов Xi. ха, .... х*_| имеется п линейно не-
зависимых столбцов. Если х* — стохастические пере-
менные в А — I > л, то, как известно из элементар-
ной статистики, это условие часто соответствует
реальной ситуации. Тогда, чтобы га рант кровать устой-
чивость вы-нслений. целесообразно в матрице Xa-t
иметь ч1гелй столбцоп, превышающее к. Рекурсия tec-
экет быть начата путем вычисления Х>_| в следующей
форме:

X#-i = X*-i(Xa-jXLi)^ (3.57)

Для матричной мафии можно использовать, на-
пример» метод. емгеклюсшЛ на известного алгоритм.*
нсхлк:<«еннн Гаусса — Жордана. Так. сброшенме
квадратной матрицы С полного ранга осуществляется
путем решечия матричного уранмемпя СХ — 1, кото-
рое можно также мл.*сатъ в вале С • лд, ..., л«|»
—	«а.	“•!, где м.» i ), 2, ...» л — едшшч-

Ис
ni*e векторы. Поссе 9 г ого векторные ypsffuwrfif
С.£< •« ч* реояютсм ыеюдлм Гауссе— Жордана, в рс*
лате чего получаем матрицу X — С~*. Другая
иглмпжнсстх с вычислительной точки зрения несжслы
ко более сложная, состоит в той, чтобы, применив
градлеитпый проссциокиий метод, получить л лммей-
но нс зависимых векторов х*, а затем снова кспольэо
пат» рассматриваемый метод (см. также лодрдэд.

3.2.6)	.	ei

Выря»кскис для (Х»х1) ‘ можно вывести па осно-
ве леммы об обрашеинн матрицы (лодразд. 1.3.4),
допустив. что существует выражение (X*-iX*-i) .
Обозначил

♦. - W' «(Х.-.Х',-,+v!)”. <3 •«»

наймем

(3.59)

Эта рекурреятняя формула для квадратной матрицы
Q» с начальным условием, вычисляемым, например,
путем матричного обрашеяия. обычно прнмемястсм
вместе с формулой для М*. которая находятся сле-
дующим образом. На основе общих свойств операции
пссплообрццеккн для р} можно получить следую-
щую 4>ормулу:

причем про выводе атой формулы мелемваомв тот
факт, что(Х*^|ХГ-|)* =(Х*-1Х<_|) , если сушествуег
обратная матрица. Тогда в соответстькн с (349) о*оя«
ч и тел I. ко можно написать

М«-М.-,+ (Л-М»-|*»)т^=‘—. (3.61)
1 Т

3 Pfr.pppeHTHOt рен^ниб в	случае

. Теперь можно шжазагъ. каким образом получается
общее оешанмс уравнения Y — MX. Следующая фор-
• мула приводи гея без вывод* (75] (соответствующее
докаээтелистее фактически осноппнп па вычислителен
1К>м алгоритме и вытекает из алгоритма Грмм1Лля и
общих свойств пссядообрятных матриц). Определим
две послед оеател ыюсти жадлратнмх матриц {'/’*} и
{♦*>:

*»-(х.х;)*-(х;)’х; (з.и>

с ita'ia.Tuiu.MK условиями jh « ! и fn “ 0, Определам
также две последомгельности векторов /и к gn:

Е» —(3 63)

Если k„ ж 0. то нетрудно получить следующие фор.
мулы;

Рь " Р» (I + 8l*t) •

(3.64)

♦ам-Л’Л

Если же Лд ¥• 0. то

- *♦-, - Ад^и	(3.65)

tb “ ♦*-! + О +	- CJI - Р&

Определив последовательность {гч} таким образом,
получим

На^М^Ч» (у, — M4_tra)p;, прячем М,~0. (3.66)

Едва ли эти уравнения следует рассматривать
только с аычпелйтелыюн точки зрения, нискольку i j
практике обычно применяются либо ассоциативные
преобразования, либо ля1»ейная регрессия. Помимо
втиго прп вычислениях может связаться сложным раз»
.хнчмть случаи Л* — 0 и Л* 0. кбо часто имеют ме«
сю вффшвц члглсямоА веусгобчивостп. Тем не мепсо
>тн выражения иогут оказаться полеэнммм. в частно-
сти, при решеяин теоретической задачи о том, в ка-
кой мере нерегулярности в отпои1еипк дпнейноП за ви-
ся мести или независимости векторов Д» могут
повлиять на свсАствв адаптации рассматриваемых
процессов.
ГЛАВА 4

О биологической ассоциативной
памяти

4.1. Фкзиологкческне основы памяти

4.J I. Q механизмах памяти е биологических системах

Гхп. все основания считать, что функции пвмятн
бвп.’югпчеенпх организмов так или иначе связаны с
нейронными структурами. Однако несмотря на много-
численные экомршмотмышв исследования в обла-
сти биологической памяти, кажется, что многие
нейтральные вопросы функциональной и структурной
иргааВМЦМ памяти остались покп без ответа. Исхо-
дя нэ теоретических соображений о irpunuiuiах обра-
ботки информации а здалгивных сетах, представля-
ется, кто полученные недавно экспериментальные ре-
зультаты требуют новых и более эффективных
моделей.

Наиболее интересный экспериментальный факт,
касающийся бполссяческой па мят. состоят в том, что,
вмдмма, к ней нелрпмепнмы прмншглы функциониро-
вания. известные из теории ЭВМ. Прежде всего,
имеется множество экспериментальных доказательств»
начиная с классической работы Лэшлв |9в). указы-
ппихикх пл -то. что о головкам мозгу человека иифор*
нация хранится я виде своеобразной коллективной
структуры. Оказалось, ЧТО при рМ0МММ Киры го-
лпанитр мозга качество решения ряда тестовых пове-
Аспчоских залам прежде всего элвжчгт от км и честна
рзсссчсявых участков мозга а и значительно мемь-
степени сп мест расселений. Это означает, что
Каждый участок мгпгппой тКанн несет информацию
о ruwft поведения. Хотя первые экспериментальмые до-
казатедьства такого рода позже были подвергнуты
крнтпке. более вовые и тщательные псслсдованкя (об-
*эр которых дан в работе 11111) в целом подтвердн-
лч с<?рВЛЙачал1.ные наблюдении н коииепиян. Это поз-
воляет утверждать» что память, спязакиая с корой
головного мозга. — распределенная, а не лока.цод
ваннам.

Следующее замечание о бжыюпмееко* нам яги
представляется также весьма важным. Едва ли мож-
но игнорировать роль сложной и специальным обра-
зом анатомически организованной центральной нерв,
ной системы. Поскольку бнолосцчсскг»е организму
обр влопались в процессе длительного филогенеза,
адаптация и процессе эволюции примела к всзшгкном-
илю сложных структурных форм, назначение которых
отнюдь нельзя считать выясненным. Что касается
операций обработки информации па разных уровнях
ирганизаигш, а также реализация соматических и ее-
гетативных фу и каля организма, то на макроуровне
были выделены соответ ста уют не венрогкые струк-
туры. отнетовеипые за обработку сигналов различней
сенсорной модальности. Это означает, что «следы па-
мягн», соогмгтстнующле различным тягам и урок я ям
спыта, находятся п различных областях мозга, хотя
локально, внутри той или мной области. следи, несом-
кспни, лространствемио распределены.

О химических и нейронных творение памяти. Среди
исследователей голоокого мозга можно выделить две
противостоящие друг лруту группы ученых, которые
придерживаются concpnicnno различных точек зрения
о природе памяти. При этом осноепое расхождение ни
мнениях касается принципа кодирования смгиалса
Намыга. Сторонники нейрохимической точки зрения
считают, что записанная информации кодируется ла*
рестановкамп различных молекулярных ком по» читав,
возможно, нуклептмлое, которые образуют? ддпиные
МИШ макромолекулы; при этом кодирппапие осу-
ществляется я на логи ччо кодированию генетической
икферудпна п макромолекулах ДНК и транспортной
РНК. Допускается, что сами «молекулы памяти» на-
ходятся » цитоплазме нерппых клеток [96, 112J,

Вторая группа исследователей связывает следы па*
ПЯТИ С фуГОКимопаЛЬНЫМН И (ЧЭСТПЧНО) СТруК!)рИЫ.М|!
иэменекилкн нейронных сетей, при этом проходящие
через сеть сигналы коллектнзно «меняют передаточ-
ные свойства сети. Иными словами, вейроинвя сеть
•рассматривается как адаптяаиый фильтр. При ?toai
считывание информации экпивадеитпо такому лейст*
паю когда к первичным сигналам, проходящим через
(Х-л.' валяются некоторые новые элементы (мю-
ясные сигналы). Как видно, ряссмотренкые в преды-
дущих главах адаптниные ассоциативные запоминаю-
щие сети могут быть одной из моделей нервных сетей.

Поскольку совершенно ясно, что макромолекуляр-
ные реакции со сложной структурой активности
играют несомненную роль в жилых организмах, то
экспериментально наблюдаемые из меме кия пиугтш
клеточной концентрации макромолекул я процессах
обучения решению различных задач вполне можно
объяснить наличием сильной и специфической ыей-
роняой активности. Однако иереыемним остлегси но-
прг.с о том. непосредственно ля нейронные электриче-
ски сигналы транслируются в молекулярные коды
нли кодяровлине в действительности осуществляется
носеенлым образом и включает микроаиатомаческме
и мижрофи мюлоптческие перестройки нейроивой от I
В гюс.тедлем случае молекулярные изменения можно
рассматривать как неделимую чясг». сложного процес-
са обшей модификации периной ткани. В данной ра-
боте предпочтение отдается как раз этой последней
точке зрения, особенно потому, что оказывается воз-
можным вроде моистрнровагь наличие в адаптивных
сетях памяти достаточно большого объема. Подроб-
ности Функционирования различных механизмов па-
мяти можно мийтн в работях |85, 86, 88, 99, 101, 108,

О ало из наиболее серьезных возражений против
теории кодирования касается прелгтав.чеиня Ассоциа-
ций. Если информация не записывается в виде изоли-
рованных элементов, а скорее кодируется с участием
ркдА других элементов, необходимых при последую-
щем поиске информации. то лапомлплнмс большого
числа сигналов должно осуществляться одновременно
с сохранением псех взаимосвязей между сигналами.

•1 ветвление этого процесса ие представляется воз-
можным, если клетки не взаимодействуют, например,
с по мои 15 ю межнейронных связей Предположение
о upnv.rXi тракслпиви клеточной активности в код, ко-
торый мнем хранится в клетке. »е учитывает требо-
ваний межклеточных связей. Поэтому воестановлг-
M«ie одновременной, существенно когерентной и про-
с'ра нетленно упорядо^евной активности тысяч клеток
пл этале счнтизлнпя будет невозможным, если един!
стиеияый способ хранения Пифирмиикн— внутрнхле^
точный — ш считывает межклеточные контакты.

Следует также отметить, яги пятисшущсник лкта^
я релнмж случаях одисзмачны п отчетливы, и если
применялось бы прямое г.: ш/с-вэипс. го для каждого
ощущения потребовался бы отличный и спскифч1че-
ский кол В таком случае как можно было бы ооълс
нить форм кропание стереотипов многих почти од и пл.
живых одусдемнй. Даже если предположить, что
информация могла бы усредняться с помощью веко,
торого механизма, то возникает спсмифичехкая труд-
ность при попытке обьменлть считывание информации:
в самом деле; поскольку макромолекулярный код —
линейный, должен иметь место процесс сканирования
(рибосомами), ибо инкякого ИШМШ лдрсс1юго ко
дировяник иг существует. Однако в таком случае воз-
пикает вопрос, где следует начинать промесс Сч1пыва
ним и гДВ его заканчивать. ГКсть эта проблема каким-
то образом решена. Тогда можно считать, что
рибосома лишь продуцирует другой белок, который
следует транслировать п нейронный сигнал. Хотя меЛ-
рохпмнкл и могли бы подтвердить, что осе сказанное
п npRinuiM позмажяо, по с точки зрения серьездостя
и количества сделанных допущений pactMorpeiAHBa
теория мшпемам МИО не удовлетворяет ЮМСТВО"
му правилу Ньютона: «Для обкясиекпя явленяй при*
рады следует учитывать только такие факторы, кото-
рые одновременно и истинны, я достаточны».

Будем предполагать, таким образом, что иеброи-
пую память можно рассматривать на основе модели
фильтр л Тем не менее возможны различные точки
зрения на тип используемого адаптивного процесса.

Годографитсскдя или кееол<«р«фи*вскоя нейронная
память. В ряде работ предполагалось (хотя не было
инка к их попыток выполнять моделироллнпе). что рас-
пределенная намять в нейронных системах может
быть ос1гаваил пл принципах голографии |83, 81, 87,
90, 100, 105. 114). Представляется, однако, что мо-
жет возникнуть целый ряд трудностей грн г х.ытке
применения концепций гологрефвп к нервной систе-
ме; так, иапрямер, необходима огтпчесиля среда вы-
сокого качества, когерентное полисные фронты, л
-лГже ооориме волны, с помощью которых осутеств»
иктея коляровямма заплсываемой нмфсрмзшш Со»
‘^длеггя впечатление, wto гипотеза о голографическом
лрввмяпс построения бмааоптчаскоА памяти первопа*
Ч.-1ЛЫ1О применялась ГМОММ образом и>м оку тс т»
гля сведений о других моделях и лрннттлх, тая же
пригодных для объяснения пространственного рас»
пределекИЯ информация б керавюй системе. Так. на»
пример, и качгггпе альтернативно А модели и соответ»
гтеу>сгаего пр«яци-та может быть неполтопа«а ком»
дешня адаптивных сете А, обладающих высокой
«лекти1М1 оегыо при ассоциативном сготымлига ин-
формации из сети. Голографическое объясясннс био*
jocnweCKort памяти имеет, однако, одно несомненное
преимущество. а имении то, что считывание нмфор-
мацяи возможна также и в случае сдвига ключевого
образа отпостельмо исходной позиции. Как известно,
восприятие и реакция человека и жиаотных сбаилают
ограниченной инвариантностью относительна папоро-
тл, изменений размере* и формы входных образов.
Однако следует иметь л виду, что лишь трансляцией,
мая п ни др н г мт Кость реализуется ла осн ил е механнэ»
мои голографии. С другой стороны. модели линейного
фп,т11рэ. используемые в настоящей книге для де.
монстрация селективней выборки из простых фмм»
свих систем, также обладают ограниченной способ-
ностью иягеряолнрояатъ и экстраполировать обряды,
предъявленные в виде нескольких опорных вариантов.
При Этом указанная способность tic ограничена толь,
ко трансляционной инвариантностью, но может быть
нсиохьэпвоиа и для комоеисячнм других изменений
(гм. подран. 2.3.7).

Следует упомянуть ctuc одну псзможнссть дости-
жения экы|пале1гп1огти входных стимул on (сбрамтп). .
Поскольку всп ce.i | ам информация, поступающая
н память, подперпегся предварительной обработке
периферийными системами, пад до звпомпиания мо-
жет быть осуществлена значительная стандартизация
образов. Прлмерпмн простых и эффективных мехяммз.
мов стандартизации могут быть окуломоторные си-
стемы биологических оргаиизмол, которые с помощью
специальных механизмов регулирований удерживают
ьа сетчатке оптические изображения в течение ко-
ротких нмтерпа.юв времени. Саккадические движения
глаз позволяют направить взгляд на па ж ине детали 
образа WMBHCUMO от их взаимных расстояний. 

Если допустить, что модели адаптивных яссокна- Я
тканых сетей могут служить освоении кнетрумрьтом V
при изучении фуакппй биологической клмгти, то те- 9
л ерь следует перейти к подробностям строения пей- Ж
ройных систем, реализующих эти функции.	.Я

4.1.2.	Структурные свойства некоторых нейронных S
сетей	>

Слоистые структуры в нейронных сетях. В нервной 1 •
системе можно найти множество типом нервных кле- Ц
гон и струн гур. Тах, высокий уровень слепяал пзащп| 1
на Алем в сенсорных органах и других древних частях Я
мозга, тогда как в пределах поры, вюпочакмпеА выс* л
ките и woiMtflniwe функции, видимо. нет значительного
различил а строении клеток. Если ограничить рассмот- А
penne nucuJUMu уровнями центральной иерпнпй си- ш
стемы, где, вероятно, локадюпжлны память и высшие^К
ф‘|Ичы и с6| Ihii	w там, или у<тлп:.г.-^И

ЛСМС. ИСЛ’, t|IJ	г.чг-Н'.-ттд L-rpYY.rvpM (рал. НЧ-^И

ныв типы ядер, серое вещество).

Огновяс* тело неромой клетки, называемое ccii<X^B
содержит тс пну-рнклеточпые коипочеиты. хгтпрыо^Ж
являются общими для большинства клеток: ядро и W
различные клеточные чести, необходимые для обусиа .И
веществ п синтеза белков. Внутриклеточная жил» Ж
кость — пято ял алия вместе с другими частицами за- ж
Лохи пет лее части клетки.	Z

Поскольку нейрон должен иметь сигнлльягяе кои* Ж
такты с многими другими нейронами, кнешпяи пне* Ж
тоннаж мембрана обмчме имеет вст}ххч1иыс ответтьье- В
пня, называемое демдритсьчи. Таи, а некоторых идет- 
nix дендриты образуют почти звездную структуру. Ж
Очень иажннй тяг клеток пирамидальные клетки 
(рнс. 4.1). нмсюишв два набора дендр|ггов; апикаль* у
иыс дендриты наиболее удалены от сомы л связаны 
с ней лучевыми витяжкамн мембраны. В основании я
пирамидальной сомы находится другой набор стает* 1
племий • базальные пли ба.тяляриис леядрты.	I

На рис. 4.1 покахамо сечение осрсбратжого нес* *
яоргекса, образующего основную часть мозга челове- ।
ка. Болыкннство клеток (пира ин дальнего типа) обе* J
IM	1
Рк. 1.1. Уцротечвая	1ИрСб®аЛЫГОГ0 исекорккс.т. 1КЯА-

ммммшлп НИИ спюаямые <групты» не fi речей и смычек»*
между атми групыми. преходящие череа Оплсс •etui-
логмгхо моа». Группы иг «мет «пппх гудят и алмие ш |
пг/ч-лримуьем <гм- колред. 4.13 к рКст* | НСУХ Лскдмиш галыы
анраяндальмм: кмгтмц пмшмичу м шрпмм p»vc«o«nantx гу-
urcttrycf Junc*o *un<r* «Лож-чыя cw*. ч»гте дсхмыуимп *vpi>
111Л«рш11рС41ы <ГИ1е cmw'Kiiu iiyilKviipauJin липМчпК

oicMUBati передачу сигналов в направлении сверху —
ш|мх Нейрон посылает сигналы другим неброяям по
^ыходыому волокну — аксону. Внсн>1н|б сигнальный
вход ь кору гси<о»ного мозга осушестпляется через
исходные nxcDiiu других клеток, связанных с ней ли-
бо ornocpeacTBciiiio, либо через неОолииие и ром ежу -
тгаиыс клетки — нитервейромы. Детали соответствую-
и.|(х связей не показаны и на рис 4.1 помечены гре-
Ги аисты мп линиями. Чс}ю аксоны гирдицдал1.яыс
клетки угталавллкпэат свихи с другими пеПронлма,
при этом часть таких нейронов оказываются выход-
и*м । клстнамш, посылая сигналы мссиулам, неспелам
11 т-Д Пирамидвлы1ые клетки взаимосвязаны также
н я м.г.. , .и,,,м направитеннн. Внутри коры для этого
«•сполтзуются так наливаемые коллатеральные ответ-
^•*Ия выходных аксопо®, причем связи либо »спо-
срсдстасниые, либо через катер нейроны. В мозгу
ЧГ.ЛПМКЛ эти Л1ГГрЛКПрТ«ЯЯЛЫ1НС ГПЯЛГ’ мпсут ЛОСТЯ
гать длины в 2 -3 мм Нс которые icofleiiuiiie исследо
валил определенно укг^ывлжл на нолмолность у ста но
влеяня ки|клко действующих сдклеЛ непосредствен
между деядритвмк (см подразз. 4.1.5 и 4.2.1). На бо
лес длинных расстояниях. достигающих несколькш
сантиметров» взаимные связи, как правило, осуалст
ьляются через внешние аксоны пирамидальных кц

Рис. 1.2 Миожсспо клетей Паркины: и молжмяе; дек манн и
вдели и оидели.

так. которые п образуют хорошо известное белое ве-
щество мозга. Подобк1*с связи называются субкорти-
кальными. Таким образом, можно ориситироиочно
разделить нее связи коры ня жараллельпые волокна,
идущие сверху вниз, а поперечные.

Орган ноордкнацми движений — мозжечок — имеет
незначительно отличакхиуКхи нейронную структуру
(рис 4J). Наиболее важные клетки мозжечка — клет-
ки Пуркинье имеют много входных дендритных от-
ветвлений, собранных в тонкие листки, нрогтранстмеи-
ио разделенные между собой вс нейронными клетка-
ми. Входные волокна клеток Пуркинье организованы
двояко: прежде всего имеется обычно одни специфи-
ческий вход в каждую клетку, называемый восходя-
щим волокном; очевидно, эти волоки я передают К>-
кую-то важную информацию мозжечку. Другой вход

I40
проходит через так яяэдваеыые параллельные ш>
М1ША, которые кронит мы ют лмсткл В ncprcw.llixy-
хярно'м н;< :р:1 ’'-<• iin. Р.г-узгсгтсч ня стр-сппп
мо'ужечкд еиесмалыю упрошена. чтобы избежать об-
суждения второстевснпых его функций, инднмо не
jiuerwix ст ношение к памяти.

Помимо коры головного мозга и мозжечкооой ко*
ри о мозге имеется много других его частей, которые
хдесь не рассмогрпоаютсп. задача данного введении
состоят только в том. чтобы подчеркнуть возможность
существования в мозге сетевых структур, п которым,
ни видимому, заложены принципы функцнапирлпдннл
адяятпепыл сетей. Полелиость этого предположении
и зМЧИтельаоА мере зависит от функиномальних
свойств зыеыеигсв сети, структура которых paceaiar*
риеается ниже.

Сдемольные са.тзи между нейронами. Видимо, не без
основания можно утгкрждлть, что гепгтиап функция
периной клетки состоит я усиленно сигналок (подоб-
но тому, как это имеет место в Транзисторных элеК-
тренных схемах). Однако помимо этого нейрон вы-
полняет п функции сбработкн информации. Обычно
к каждому нейрону сходится множество входных сиг-
налов — порядка нескольких тысяч п ппрамкллльлых
«.тетках и до 10* енгазлап к клетках Цуркины* Су-
ществуют, однако, и небольшие нейроны. имеющие
лишь несколько сотен входом. Каждая клетка имеет
один выход, который, однако, может разветвляться
за счет упомянутых ранее коллатеральных спях-П Не
С г. ас ем ясно, п явкой мерс нервную клетку с многими
пходамц и одним выходом допустимо рассматривать
1 я бы с систем но*теорет нческой течки зрения) как
логическую схему, как это аиотп делается, н в какой
мере •— как аналоговое вычислительное устройство.
В дамкой работе предпочтение отдается скорее со*
С.теппей точке зрения.

Нейроппыс сигналы передаются в виде серий или
Идчея жтекгрнчсских импульсов, распространяющихся
по выхедиым во лежням — аксонам — в виде своесб*
разных ваткоеых фронтов. Едва ли здесь следует a
д(НмляА обсуждать мехам из и этого явления, однако
можно отмгтптт». что клеточная мембранл бк<м)!ил1гче«
ск 1 iKn|BHa. В частности, за счет селехтивмой днффу*
энн >Ю1Гов между ннешкеА г ппутреннеб сторонами
тубулярной нем брани создаегсм электрический по-
тенинал порядкя 70 мВ. Путем применения сгециалы
мы к химических добавок ыожло повысить проницав-
мость мебраиы; та же самое можно сделать прем <к>
электрического возбуждеиня. Усиленная диффузия
ионов деполяризует мембрану. 0 результате прети
цнемость скова увеличивается Таким образом, суще^
ствует позитивней | регенерат» пиля) обратная связь,
с помощью которой мембранный потенциал и харак-
теристики диффузии испои иглрип. калия и хлора
днтмическн изменяются с порождением электриче-
ских импульсов амплитудой около 100 мВ н продел-
жмтелыюстью около 0.5—2,0 мс Импульсы генери-
руются в области соприкосновения аксона л клеточ-
ного тела, называемой аксонным холмиком. Скорость
распространения импульсов вниз по аксону изменяет-
ся от 0*5 дг* ИЮ м/с в зависимости от диаметра аксо-
на м природы покрииакмпсп его ткани.

Сигналы распространяются от 1»е0ронных аксонов
к дендритам нлн к соме других нейронов no сясинал^
яым структурам, называем им симнеоии (рис 4.3).
1 ажмл аксон имеет синаптическое оклпчамкс, пл .*
терминаль, которая в состоянии освобождать хнмы-
ч< нелсстпа, пазыьаеиыо медиаторами. Илиесг
яы различные типы медиаторов, однако каждый яей-
рейв обладает своим, слеилфпчесимм медиатором.
Каждый нейронный импульс приводит к игпобожде-
нню из терминалн некоторого килнчесгви медиатора,
I.• 1ТСТНГЙ, преодолевая веболыиой зазор, достигает
мембраны приемной (посникипгической) клетки. Ве-
щество медиатора как лакового в состояния возбу-
дить мембрану, однако процесс возбуждения оказы-
вается значительно Оатсе эффективным за счет дей-
ствия специяльних бел коп — химических рецепторов
(ила, кратка, рецептаровI. расположенных на постен-
нллтмческоЛ мембране. Таким пбрвэо^. п результате
комбннмрсваигюго действия медиаторов л рецепторов.
Ъвэны1см(7го далее просто глреначей, электрический
патенцнпл лсстсниагптнеской мембраны за счет каж-
дого электрического импу/ьса изменяется на иеболк-
иую величину. Поскольку имеется множество входов,
потенциал мембраны постепенно изменяется, дости-
гая (в области аксокиого холмика) порогового зна-
102
это ж приводят к генсрацнн импульса. Если
передача неирврмпиа к эффективна. тс нейроя генеря*
i>ver непрерывный ряд выходных импульсов, которые
5 состоянии возбуждать другие нейроны

Таням образом, передача н усиление сигналов
представляют собой в основном электрохимические
процессы, олнако одмовремеияо с ним» происходят и
некоторые биофизические явления. Ряд подробностей
строения я фунхинонвромния синапсов и связей не
рассматриваются здесь повес Однако е мвтемапА'е-
сне-й точки зрения было бы весьма важно знать эа-

^не. €1 Р«мичмйг тнг.н {мниткчето «чдммнн^ (сиимсов)
СТ—cMtavTwiKKit терывтхх» М— ивапатсфтл вимсуды; ►-1ияамилс
рме^вуцм-

кон, опмсиоаюшнА вавнснмость выходных импульсов
иг параметров передачи. Здесь следует упомянуть два
факта. Прежде всего, с ориемлемой точностью мож-
о считать, что эффекты воздействие различных сн-
псов на мембранный потенциал суммируются дм*
небно. Это—там называемое простраьствепюе сум-
инровднне. Одиако отдельные сииалсы могут иметь
различные веса (или эффективность) п отношения
передача сигналов; при этом уклаханные веса зави-
сят <п размера сиивпепв, а также (видимо, в боль-
•“** степени) от количества рецепторов В настоящее
время различают два типа сикалсие: деэбрзгёоючцма»
увельчиваклаие постсмналтическую яепол я риза дню и
подводящие нейрон ближе к порогу генерации, и
то0ма»яы{иг, дейстьукхцис о протмьагюложпом на-
правлении. Как будет видно, для стабильной работы
необходимы оба типа синапсов. Тик синапса опреде-
ляется химическими рецепт срами.
В процессе работу клетка интегрирует меболыанс
изменения мембранного потенциала, обусловленные
входами, однакс этот процесс отнюдь не линеен по
отношению к временном} интегралу эффективности
передачи: потеншгал проявляет тендемами» к внсзап-
пому выравниванию. Если эффективность передача
постоянна, то, как будет показано ниже (см. рис. 4 4),
выравнивание потенциале происходит приблнзшель-
но по экспояемцияльному закону. Это явлеяяе налы-
лается временным суммированием. В действительно-
сти экспоненцнадьмы1 закон ве совсем точно отра-
жает процесс выравнивания потенциала, которое на
самом деле происходит несколько быстрее.

4.1.3.	Функциональные слойетба нейроноа

Об аналитическом моделировании передаточной
функции. Несмотря ня тот неоспоримый факт, что о
-очных функциональных законах передачи сигналов
в различных нервных клетках собрано довольно мя-
ло информации (ха исключением мотонейрона — вы-
ходного нейрона в спинном мозге, передающего сиг-
налы от мозга к мышцам. — который был изучен
довольно полио), в кибернетической литературе об-
суждаются много упрощенных моделей нейронов раз-
личней структуры, причем делаются весьма далеко
идущие выводы, касаЮШнеся возможной организации
и алгоритмов функционирования нейронов Одна рас-
пространенная модель нервной клетки — гак назыиде
ммй фордгадьиыЛ нейрон — была предложена Мак*
хеллохом я Питтсом (102). В рамках эгтоЛ модели
нейрон рассматривается как триггерное устройства
с пороговым уровнем. Если сумма входных сигналов
превышает некоторый пороговый уропечь, генерирует*
ся выходной сигнал, скажем, единлчнлй величины.
В противном случае выходной сигнал рппсн сО». Эго
означает, что формальный нейрон представляет собой
логическую схему, которая может реализовывать про-
извольные булевы функции, здппсядпн от входных
сигналов и величины порогового уровня. Поскольку
ЭВМ любой сложности может быть построена как
раз с помощью таких логических слей, то часто де-
лается вывод о том. что головной мозг человека
представляет собой своего рода ЭВМ и к нему при-
JfW те же принципы фупмшилшремипи, которые
^ 31 и оаюве современных цифровых ЭВМ. С згой
Tfiuicn <ре*шп представляется, что в нестоящее время
1до6холнм более точный к критический анализ ней-
poium-t моделей

Наймем с основных допущений теории форм аль-
пых пейровоа. принятых в работе | >02?) :

<lj активность кейрог.а следует рассматривать
как процесс, пключаюшкй о герани и типа «>ое или

ничего»;

2) для шхзОужвенмя нейрона в некоторый коыскт
шемепа на протяжении периода скрытию накопления
должно быть возбуждено о1трелслеияг< число емнал.
сое, причем это число кс зависит от предшествую-
щей ьнтооностн и от тшложемия нейрона в нервной

сети,

3| внутри нервной системы еднкственный меха*
инам задержки еншалон обусловлен синаптической
задержкой;

4) активизация любого тормозящего синапса пол-
ностью мредотвртает возбуждение нейрона в дан-
ный момент времени,

5) структуре сети перронов нс изменяется с тсче*
1ПН*М пргмеим».

Нпп(юм*е серьезная критика этих допущений кв-
светсн прежде всего принципа работы «все или ип-
Чего». Вообще следует отметить что по крайней мере
на еисшнх уровнях нервной системы нейроны вез-
Нуждаются непрерывно, ьричем скорость возбужде-
ния увеличивается за счет воэбуждамхннх входов н
уменьшается за счет тормозящих входов. Поэтому
едвг ли можно утверждать, что тирыоаящий вход
полностью блокирует актнаность; тем нс Менее э«Ь-
♦ектцваисть тормозящих сииьпсоя обычно пипс эф-
фектласюстп по.»буждлюшнх смнаисов. Другой обще*
принятый прщщип заключается в том. что пктгрснв-
МСТИ сигналов (по крайней мере в периферийных
В»ержи5) кодируются таетотоА вмпулм-ов, '	» г

непрерывно изменакнцяйся масштаб значений, Поче-
му при этом погон информации в нейронах высшего
Уровня дгхпжсп прерываться грн переключении пер-
вого яыаодиого нм пулы, а? Скорее передаточная функ-
Ьтя нейрона должна напоминать передаточную фукк-
пито илпульспо’частстного медулхгера- Рассмотрим
довольно упрощенную. но ясную электрическую
дель нейрона, состсяаую нэ пассивных злекгрнчесод I
компонентов и активного триггерного устройства.Эта
модель показана на рис 4.4 л тесно связана с урав.
пениями (4 1)—(4,3). Если вход нейрона. модели-
рующий действие воэбужавюЩих к гормлэяшяд <м.
иапсов. представить в вид» генератора тока 1(f), то
передачу можно смоделнроядть путем заряда геиора-
торим тонн конденсатора С, Хароктерк»у131двго ем*
кость меточной мембраны. шунтшровиямиА солротиа*
лекнсм утечвн R. Если напряжение не конденсаторе

Рас. 4.4. Моде* ittfipetc* * >”>« жмпуг»сжс-час.тс*п»с<г: жму-
лггорл.

превышает некоторое критическое значение — порого-
вый уровень трипера Т. — генерируется выходной
импульс высокой зперГян и одновременно емкость раз-
ряжается до уровня L. В реальных нейронах пирог
переключении после генерации оказывается завися-
щим от времени (1131» т.е. разряд не является иде-
альным, как это было описаю выше. Эти уточнения,
однако, не меняют существа дела, заключающегося
я том, что в процессе непрерывной работы скорость
мщошв пашин мидоим виперами маш
от эффективности передачи сигналов, если она до-
статочно веякка.

В упрошенной электрической модели временного
суммкроевиня, показанной на рис. 4 4, явления заря-
да и разряда мембранной емкости С оказываются
разделенными с процессом генерации походных им*
пульсов. Поэтому сигнал напряжения £/(0» связан-
ный с емкостью. не совпадает в точности с сигналом,
записанным от реальной клетки; это обусловлено
глвииым образом ралнесением Местоположений JTCT*
ройства переключения и самого нейрона.
Допустим теперь, что эффективность передачи
,мГпэлэ постоянна и равеа I к после разряда и а пр я-
U(l) начинает увеянчиевться от уровня L
и момент временя 4. Несложный анализ показывает,

Рнс 4Л. Завгочост» вихсджД ч^ттоты от ыьдмга >им хля
мсаелн. покаымиоА им ;мг. 4.4.

что напряжение дается следующей функцией времени
(до следующего никла (Переключения):

l/(O^W + (^r-^).xp(_(z-y//(C).	(4.1)

Обозначив момент времени, когда 1/(/) достигает
nopcet Т, через h, найдем (весле прираакнпання по-
-'тоянной времени RC к единице)

It -to-In u - ию - In (/ - Ш).	(4Л)

П«сле разряда вновь подается тот же самый сигнал
«праження. Тогда скорость переключения f равна
(4Л)
Графическое представление функции /(У) в отмоем-
^♦льямх координатах помазано кв рве 4 5. Как видно,
ДД ^ктнвнэаним системы существует «порог» эффек*
«’Нносгн передачи, нс совпадающий с ©ели^мио! Г.
высоким лил чел нем ш
становится лнпеймой 

О /ОС toe see

&3XVHOK мЛМЧкпп, йМ?Д>

Ряс. 4G. ЗамСапСс-tt* мы*
аодмиП чйспгты сиг чкпмы
па адьдс мОдгЛП В ахОд-
acfi помелим гсльпоеп.»
амп) латок |i*capvM^«ntx«l
по «лкоау Пу»*х<1КЭ Знача-
им Л ссотастстаутт мап-
«чнлм тм игзмыеммх во*-
Оужг.1®и.»л DCCTCIII1MTE4E-
ских i»o»tutuiiirce (BirChl,
т. с. СМнШам мосла, важдего

ямку лиса ма паедо 1П31-

Заметим» однако» что если путем наложен ns- фоно^
постоянной эффектитпюстш передачи ипрмалык*
функинашфовянпе переключено на режим с боа^,
рога, то работа ыедода
кпрерыз1юй: в этом слу-
чае нзменеяяя / ирквсд^
к прямо пропорциональны»
изменениям f. Прввелсниме
выше рассуждения >-ред-
ст а ад я ют гобой так наш.
мемую гипитпу линеймь
сты, которая является ос-
»GCii<i* в рассматриваемо!
теории.

Моделирование перем-
точней функция реального
нейрона (нейрона второго
порядка из лорсалмюгв
С1гннмомозго*ого тракта)
било пыподкено Уэллсе с
corp |113] с йсоользованмег
более реалмстлчеежмх миде-
лей клеточной мембры-ы и
ствтистячеекссо распределе-
ния иейромвых импульсов.
Результаты модел ирона не»,
пиклзанные на ряс. 4Д
были сопоставлены тнкил
с данными физиологическо-
го жемерн мента. Следует
отметить, что нормирован-
пан фоягжая лктмниосп
неянно включена в греД*
стаадеияме ил рнс. 4.6 ха*

рлктеристякн; при гулевом входном сигнале прима*
мнется, что споктяилая выходная активность соответ-
ствует приблизительно 20 я мп/с. Как видно, отклоле-
ния от лмкгАиостп i>e велики, тая что гипотеза ла*
нежности, по крайней мере в первом приближении,
может рассматриваться как вполне удовлетэорнтелн
иля.

7ю усреднен ну»
для рассмлтр*-

Суммирашмис входов. Теперь пол
во прсмепл эффективность пер еда чм
пасмой упрошенной модели можно представить в вн-
’ девимяишй суммы часгот импульсов отдельных
яколоа, сходяыихся из данный нейрон. Если выход-
иую частоту обозначить через »). фовсвую актнв-
— через <|> к првсинаитячесшм входные частоты

через fc, i« I, 2, л» то димеризованную частот-
нс частотную передаточ-
ную функцию можно аа-
гневгь в следующем виде:

9

ChA’tvnuvKJfa»

где параметры jv харак-
теризуют эффеггняностл
сийасм’хзо. На рис. 4.7
Нейрон изображен в виде
кружка; показаны енг-
HajJftrrbre ВХОДЫ И СООТВГ7-

Г ж, 4,7. Прннмпаг оВгамченмя
лл« ню;к>» и «модов иохет
роив.

ствующке веся.

Если синапсвозбуждающий, то соответствуй»,
unit «юффминент- положительный. Если синапс —
гормозязций. то есютмтгтлуюепнй коэффициент — от-
ртщятсг. ьмый. Предполагается, что диапазон линейно-
стл апер/.цнн »е превышен, поскольку соотношение
(4 4) законно только внутри ппределеснюто так вазы*
вМ'МОгь динамического диапазона нейрона. Отметим,
что ва г) не накладывается никаких ограничений, м
ано может ставоенться мдеошмм фоновой активпос-гн.
Именно в силу этого свойства лкнеарюовиниая мо*
дель отличается от других моделей нейронов, оалри-
мер модела фс.рмалы»сто нейронв.

4./.^. Модгл upon они/ синаптической пластичности

Свойства передачи сигналов а нейронных сетях
можно кьиснять различными способами, в частности
можно выделить дни типа изменений: структурные оз-
Леяеннл>, например появление новых аксоммых кодлд-
терлтей, к функциональные итпгненал « сутаесткую-
шнх связях, прежде всего изменения эффективности
работы синапсов Последнее может иметь место либо
” ре.туяьтя^е роста, ллбп деградации терминалей кли
как следствие юмсмсыми Ь’лраметрйи саяалшчесхой
передачи, обусловленного в конечном счете меживта.
раки пли 1ЮСТСИИПптнческыми ремешорами Есть лад.
ине о том. что структурные изменения происходят
главным образом на ранних стадиях развития орга-
низма (85, 91), тогда как химические нзыевсиня мо-
гут статт. основными во взрослом организме (в голод-
ном мозге) Тем »е менее появление новых аксонных
коллатералей вслед за рассечсняем прескнатнче-
скит термин алей наблюдалось н во взрослом мезге
[111. с. 488—489). В данной работе предпочтение от-
дастся гой точке зрения, в соответствии с которой а
нормальных условиях основные следы памяти во
взрослом организме обусловлены изменениями числа
активных химических рецепторов на пост синаптиче-
ской мембране (96. 109), вслед за чем, возможно, про-
исходят структурные изменения самой мембраны.
Вполне возможно также, что эти явления сопровож-
даются другими эффектами сложной природы, кото-
рые значительно затрудняют точное моделиромание
работы нейрона. К счастью, оказалось, что многие
фупкциоллльные гипотезы приводят к тем же самым
результатам при моделировании, так что точное функ-
циональное описание может сквлзтъея не обяза-
тельным

Логические и корреляционные модели синапсов.
Так называемая конъюнктивная теория обучения,
предложенная несколькими авторами независим.!
друг от друга |8б. 89], как раз представляет собой
функциональную Кмще.*шмю, которая в той или иной
форме типична для бо-тысинстза модельных подходпо
к нейронной памяти. Дли тоги чтобы изменения я
нейронных элементах были достаточно специфичны,
а любая информация в памяти могла бы быть коди-
рована с помощью другой информации. следует пред-
положить. что иамемшя в элементах квмкгм невоз-
можны без одновременного наличия ряда факторов,
зависящих от различных сигналов. При этом следует
различай» н^скодъко тииоа такого смиергнзма между
различными факторами. Так, если два сигнала схо-
дятся на мембрлне третьего нейрона и окали каются
иа достаточно близком раеето&ими между собой, то
они могут аланммо облегчить взаимадеАстпве с мемб-
раной за счет конформацвенмых изменений мембран-
белжсг япвытпаюиП'Х чувствительность мембра-
Iw Друге* возможность заключается в том. что меж-
и двумя сигналами появляется так называемая
5^сннаптичсск*я связь (одна терминаль касается
другой), причем эффективность такой связи нрлпор-
величине обоих сигналов

Оана ил наиболее влиятельных и часто цитируе-
мы* гипотез сниаптической модификации, первона-
чально выдвинутая Хеббом |89|. заключается в том,
что эффективность какого либо синапса определяется
высокой переключательной активностью нейрона п го-
чегамни с высокой эффективностью передачи сигнл-
лпв через данный синапс. Тернии «конъюнктивная
теория памяти», использованный. например, Марром
и Экклсом |Ж>|. как раз подчеркивает комыоныив*
ныВ характер логики событий типа «все или ничего»,
HS которых одно соответствует выходной активности
нейрона, а другое — активности длиной входной тер
м икал и.

Ojuuho как прескнаптическую, тек и постсмывпт-н-
ческую активность следует рассматривать как сто-
жвсткчесяие процессы. Допустим, чти превыгленпс
выходной активности нал некоторым уровнем пктея-
синностл является стохастическим событием У с ве*
роятиостъю появления р(У), я превышение некоторого
уровня активности на одном из входов — стохастиче-
ским событием X, с вероятностью появления д(Ха),
Объединенная вероятность появлевки как входного,
твк и выходного событий обозначим через р(А>, У).
Поскольку выходное событие Y завис иг от многих
входных событий (на каждом иеРронс могут быть ты-
сячи Синапсов), вполне разумно аппроксимировать
ситуацию, рассматривая AQ и У как статпгтичеекп не*
кашкимыс переменные, Т. е. допустив, что p(Xi, К)-^
— Р(Л/>р(Г>-

Тогда гипотезу хонъюмктивности мождо сфсрмули-
ривять в статнспгческих терминах, допустив, что сред-
нее значение, ьлн математической ожидалке, величи-
ну синаптической эффективности обозначаемое
'•ерез /Г(д,). нлмгияетея во временя лролоринонддьею
₽(лй У) с коэффициентом прмюрпиоиальвостн

-аг1-“>(*,) pO'X	W5)
Будем есппльэовать более простые обозначения. Обо.
вяячнв входную активность через Ь выходную яктн^
кость через и и Е(ри)— просто через |л<» вапмшеи по
ЯНАЛОСМН с (4.5)

dyjdl = оДл»	(4.6)

где aj называют коэффициентом пластичности синап,
св. Кратко можно сказать, что » рамках рассматрп-
вяемой теории сииагк изменяется пропоршюкальмо
KOppCAXl^UU входного н выходного сигналов

фцэдолаедчсска.т теория синаптической модифика-
ции. Гипотеза Хебба ]89] первоначально была пред-
ложена без каков либо связи с фмэнаготическимл ме-
ханизмами н имела целью объяснить юэьнкновенве
специфических связей в нейронных сетях; она еше ве

подтверждена экспсрямснтяльно, хотя прошло уже
свыше 25 лет. С точки зрения принципов памяти» рас-
сматриваемых идейной книге, чкгперименталмюепод-
тверждение закона синаптических изменений может
оказаться аегьмя затруднительным, поскольку эффек
ты пространственно распределены по большому чис-

лу клеток, так что изменении я индивидуальных клет-
ках могут быть крайне юеэничнтелыш. тем юе менее,
поскольку необходимо иметь какую-либо модель си-
малтмческоЛ молдфнкяции. чтобы объяснить явления
ламктн в нейронных сетях, следует более ттцятелы«о
рассмотреть физиологические основы самой модели.

В гипотезе коиъюнктивнести есть одно свойство,
которое не вполне согласуется с общими принципами
биологии. Если сима псы изменяются только в одном
ивюравлеилм, т. е. либо растут, любо деградируют во
времени монотонно, то ресурс изменении элемента
был бы всксре исчерпан. Однако в большинстве био-
логических процессов происходят обратимые измене-
ния переменных состояния. Если бы сянаптическая

эффективность была обусловлена исстсянялтическими
рецепторными молекулами, то обратимость означала
бы, что число таких молекул могло увеличиваться нлн
уменьшаться. Однако рецепторные молекулы являют-
ся сложными белками, так что полное число рема*

торов внутри клетки едва ли существенно изменяет-
ся; ИНЫМИ слслямл, белки снвтеэярухгггя а ходе
грявянтсльцо медленных реакций. Таким обраэом,


HBflfaiee приемлемым кажется предположение о том.
сгрэ важнейшим динамическим процессом является
перераспределение рецепторов между синапсами той
Жс самой клетки в jeauicMMoeni от текущих требова-
ний; тогда к могут иметь несло быстрые отвес шел ь-
кые кзмглеяин синя пт нчеоиВ эффектияностк. Такая
точка зрения находят (пражские в некоторых обьясне-
нанх гина»пической пластичности, из которых одно
следует от метить особо [JWf.

th основе ряда наблюдений и весьма разумной
фыэлческой модели Стент |]09) формулирует закон
нзмеяекня как возбуждающих, так и тормозящих см*
наисов следующим образом. При переключении пост-
сянаптического нейрона п результате обращения по*
лмр1юсти мембраны происходят освобождение реиеп-
тъфея мз всех сяяалтмчосжмх пузырьков. (Рсцетгоры
часто являются электрическими диполями, которые,
по крайней мере до их включения п химические комп-
лексы, могут связываться или освобождаться п ре-
зультате действия градиента сильного электрического
поля на мембране.) Тем не менее если прееннапти-
ч»чк&я терминаль активна, то увеличение локальной
диффузии ионов увеличивает мембранный потенциал,
так что обращение полярности на данном сипантиче-
ском пузырьке оказывается невозможным. Таким об-
разом. поведение рецепторов нп данном сивяятиче-
скоы пузырьке является весьма важным.

Кинетическое описание синаптической модифика-
ции. Огниваниая на роли постсмна(ттическнх рецепто-
ров гипотеза следов памяти была предложена Стен-
том, чтобы дать какое-то обоснование теории Хобби:
однако в дослслкяс годы оня вызпала большой инте-
рес как первая летальная физика .химическая модель,
сбъксняюшая природу сйецыфическнх изменений в си-
напсах. Детальное обсуждение этой модели можно
найти в работе |106|. Хотя сама гипотеза Стента бы»
ял принята с оговорками, содержащаяся п ней пцеи
бы । j лерер8сиредедевяя скиаятичесжих ресурсов
заслуживает ьсес/ороннегс обсуждения. Не лходя в
мелкие подробности концепция, жиже рассматривает-
ся упрощенный вариант теории, (ЮказываклЕИЙ. ка*
Кме количестменкые изменения имеют место в KMiae-
Гичесздм процессе перераспределения иежоторото
XKMirMXKCfl) <4KT0p* (liMpllV«p.	ыа-

крсл*с^с*ули> гка ммппам ляпяммнееыи нлм»«*ен«Я
и сг~;я

Ня p*v 4$< сгммня wr> клетомаой мсмСрд|<ы
< Rfwjttv«naiMW>' сгмпспмв. Д-»« арпстпти имине
1глр«Й0СТ11 • »-•• м« errant пришк гхуфОМ
мечбрами ьт 9глппг*ам|»гм*«спс<о рздку**'
wi. а NUt u*t«.iium>t» utaiu орглнили) м pn
cyiitc нс нкбражени. и течь* расправаланп* миле-
МЛ ТЙКИЛ ШиЖГТ »v гиМйЛгтЬ С П|и,1ггакэ*ИйыМ ЯЙ

|Ч». ры H*M«'»Oh рк>М11»»1Я p*flMtut4« М ЦГТО-
tlU'vr	MUHtff быть Пр«)МЛ11ЧнМа1:Л. Сын бы

 »ev nrti.ni »тра>иг»> p»«-jiim, то IMMR»
П4я « u•«. гммща чяммяю* С-ы гпмь «с целом-
пел» -I. ят<> 4 жлм* камгогибу» гтлпагггпчеекпги
npoiiro.i

Тги «г (мвМе лпгпггаетс». тго И»?*-» unikctu р-
ё«тгы емшпит прямо ifonqiu»» «нлны «ht.iv р«ивь-
ТтфИМ! UM.HKJtA UK ЫНДГТКЧИЛЖХ I'MJIHJllhtt, «ЛК»
мини» и* piKу»««с и анда ыс някллрки» сксМл^яий.
Р>гг»«»лр|1мн«<4 r»Mamiwic-»na '«ttn'iMi», <Чкпнг
wt»t< ннг»-»г.-*< Д, трумгно аруптн П(Н»»глмц,
Ф««см «к* енмлгн. -псгоОмме «мннслНкткмп* с
симптом Л путем ыбмемл реоетгтррммн молекулами,
домынм просто в оме единого смглосо Д (Мкмаа*
ЧнЧ Пг4Н1<* ЧИСЛО р«ЧЯГТТг^<1» о pn<r«(TpfUruT СПМаИ-
га» через н л* «ютвгтгтеоеп R rpuneexr пгргал»
чепеч часть реисмтсрсв перепоит  ».мж« ссстш
иве. (K«ajNvne ап риеуше a моае фсиемсугочяого
екотлемпя Пс. В njcuroce псрсглюмепия otaice мша*
«ество реоектсфо». шк счаистся, «ci мня постоал
ним, оамки г^ч. исходит Смстуиа ирша^сь. <им
peuenitpu» между сммоемям А * В Ди ««^мииг-
нм имени мети а — О Оиибоедмми* и p^uMcct
rtepttuiattwlita prllitiwpH (ЛлгУС1) «>1«И <tpncp«*n-
ЛТМЭТчИ k. aicrt 4MfenritUvtj:l| м-гмбуйнг I •tptltrtlHTa
tea п»7«.-*м1ПогД| дганя рл к рв ctarvteem егамп ли см-
явпос* А  п I npi'ieia. кснечво^ рд т- р» — 1>.

Есть ке «снования предполагать, чап екероетъ
(ки бохАени» реиепгпрмых иолеяул «рняс прмюр<
UMianuia ишроста першлюченм миПрми ц к н»
«альаим Мииинпряпнем а« и мд, теги аак ifCMixn.
fuiv>tp<a4«tteuk «мим Нижет б Uri. oil 1 к хна икЛии аг
Нтпасщим |»л»1»гн>нш фйггирпм еле I — неврг-
ры>ЯП ДЛфС»«рИ1111фр«ЛН фуц*ЧЯЯ. Я ( — 11»ф0И-
инет	Ikui Тамим обрае м,

fij«tir»' Ч|»Г.»П prvrttpiiHi uue-aja, WfW>*AlMtKrW n
рарежутсмирп <u*j при tvp<*> '••м'вчн nr*pu».i. но
9«ет бин* Сенна»» глглукишч с «'пимипиеж:

АИг-МеаИл + НЫЛаН.	N Ъ

гда I. amOtimacaT «ыиаатемеяо* сирсычн на ею
наос* А. а гамиг»тачпмиП акаДОкцгенг ж-иглачн
а гбласш В Гис^а гер«»Л4Н1 >ин iwMUiiaa Алс ее-
рери пг*^лж.’Г1М тж.» гмалигама, iipim-w сагнк*
tv-atHiM aMictiiMiiH мыли

йН4 Ь», U. -JUiH.lw

U.S)

Fi.ih В V* ’ iJKtoe MMWn4«

пж fW|HtW44t Nfrapwt’ Omifhftwf мтуяинг Лл»

—Ллв — 0 (ВЯКэЖин» tw|wpm rn* «JHliirt нг пр <ic
vcxamt), Вй а иреддсии>Фл:1м j чм Ь *	> AL vt

tNMmm'ii Ап, МГ.ЖНП огмпппа c*afwuv л»4*>ё|«т
имлыюе «xmtnUCTwr

•чМ-члЪ-и* НЯ
где а. иинжитсиц едедсяший от рнш» сметных зпа-
•utiHii тременимл схтсяпня. Его можно россматри
ми к«» игниженны* вовффишсгат властч'жости св*
шаха. За исжлимяем параметра урмпошм <4.9)
есмжадд** г пдогмжеинем (4 б|. Отмети* также, тто
став — t.4 то иншиссо пер»рлспреде.»е«*я пе про
иглщнг

о 1ттс»'*ми ;м)|глгггпв Может воиамть
си,чп> распределение псктснпаигемаашх ршиптср-ши
молекул нсдоггатомни устобчнви. чтобы быть освс-
jflf пмимтж Попишу следует сбрепн» аннминне ия
дм обе rew тел «ты. Первое (хегопт м том, чт* • а ли*
майна* с*»и>.	। ..к'iiiitiii p:uтфелкмиипй нанята

шмемеиип следов прснсхсдят всяки* раз при лСае
/мини ниффмаида a память. гккТгИу вовсе нет верб-
вели мости в том, чтобы память 6>mli6 ствиш'Нарвой.
В ' j . г ч чк.нгги. <р»чм1Ц| г гам. мчи urirfik.t ре-
хептлриые молекулы, по видимому, эафехсиромам
ив мембране яилоть до того мсынип!. «пг*а они сти-
И.ЯЯ1СЯ иктаирсооипыми для 1гчжяс<М1Л аир^аичн.
Cwcfccn. тааоб «ипцп мила чая» речепп-ров аа мемв-
р»й», КИК <*ЧИ1 ЛОТСВ. прямо npunf'plJHulia.Ilui* ЧН
свобомм» peiiniTifHia, свм*яи»м» с мимбртекА »лек-
1|1И*Н’г«.иМЬ 1*.ым> Почюыу WiKMC ПОЛЛТВН*. что рас*
pe.lr.MHiH* • е*»б<|димх рни'1гтгр> и ссгивмствугт ТВК
аяилохмни ер< *н >«> t пч«> 4 нямати, < iBupeii.teMiiux
(»|чЧ1 яр»-иы 4,| |MU*HTi>p«>«i Днлгнврсмеива* ял
ueiii '<у KuHeiiiiH.iiiin«ai можно eiKitiirvfB с 4U*<ixiu
р ► ’ I. при К1ТО|11|М ИрИИСЯГЛИТ ВОСТПЯНМЫе НЗМСНСВИЯ
ТО1И1ИНМ '«1'нГ|(1йни мда фс^мы шмбряиного вметупа
(см. |IU« с. ЗЛ*-$27В.

4 f 5. Мсхио лн гйЯ'тевптл окглть памяти
с еинаппмескими лг-<шм1*л1иесн?

♦I т^неоЛ сжте*е есть еесип.н.ко областсЛ. седер
жащпх следы шмятн. Здесь мм раоемнерям гл ям им
обрадсм дхрс<фм1мы( мо*сртвнс. Есть псловамии
думать, <T:i кексыдлу рта часть kummhoiu мойсв иан*
Солее ярко т^ажена у чсюаека. «гпориП «Сюедоет
ллнЛильшеЛ (ср*до другим жииык существ) способ
нем тело к тапоминаиню вяфгрм.шям. то, видимо, с ио-
рей мвма а следует шядыаать наи&длгс iо*иска свой*
стал памлтн — тгсобность <брл»птчамтъ ассоциации
(Хет и н»китр«м клнии>|»<кнс мсслалоььнии 1к<кыяли.
что спстгбмгсг» ?<аяс*4ия^ть iifi«mllh' очень чув-
ствительна К рлосгчснняи ГД}бс<Ц:.«еЖ»аЬ1Х структур
чсатм, »и> шлеимс можно оСгьясввп. престо там. чю
упсмяиутые -»ыше части молот гграют важную роль
• управлении mmc.imiv.iumumm фумкцжвм» } К«рн т>-
лсмасго ткаго зрслстпвлпет собой складчатую струк-
туру ТОДШИМОА OK4UTO 2 -3 мм к плсацэдыо пшмо
li<Xi см1 (голсмииП меж человека). U этой «няни ин-
CMirrwejervH болте 10’* нереямл «лете*; плнако число
синапсов и средами coeratuiRei ивайольаа тысяч «*
каждый нейрон. Если считать, что счжгстъ иейрешюб
и а и Knt так млн пи ив» <ан>лаи с hsmbUi-khuwh сИняп-
сна, то тогда только и оды4 коре голоижео ыпжа
МоПЮ би быть н нечто 1(1'*—1(1'* ьммеитоа памяти.

11<1 ЙС1-& BCpfdTl ПОСТИ, 0Ий1ЮЛ<СНК«С1Лт ИЬМИТЪ
основ»на на инете* бра тнн гтрни«ниы« мемеггпн,
я также ил мвалюиме ил сг*ин<|»гтсског1> начимиага
бйлииим ч иолои iff «А*. Если тти ьясмавти — сн-
ят гки, тс мсиаио нопмтвтьгв пигмеи емкость реала*
|уемб4 таким обратом «айв nt

Всртла миля r.y..Yt*u.»ni|ft4 мтк1фУекоа. В иосжя*
пне 1оды ссбряио иного жсьеринс1гтллсмыл длкних.
спнлетслктвуюп.н» о том. чтп чю крайнН» мере в ие-
ребра^ ы*1:<т 1П»«ортемсе мннимтльисД оперМ1нпн1К>й
адмшца! яп.тягпл не отдельный ттебрсч, а скорм jiiu-
чнтсльно ббгииаа •> пб)«му и ортаимжтйавнав масса
клеток, деГн тку аниая ейалронатт или коллна-гиино
|1СЗ| В ui  vievr ва<| iK>ia«r«i типично» ввртм-
калыкм Р»С11|Т1’ЛГМП111 • I'  О. пл 401НННОСГТ; прП
атом асе влети.» |i4iw«* ••iiiiiae а длит с перплилвау-
ляра к к«»ре ro.»i-типни тжнгв. пГн1нруж1И1ают <тч»пь
cen.vHtt рвпкиню пл anviiHiiH ымиг»- «ан» Эи ик*н-
ммс оенбепнп грко выражет и нер»|*'1ииА □рителыкА
норе. ГЯ» лэалмаивлютсв catHa.ihiiwr пути н> тлим
Идк inoecTw, упомянутая oAi.un. cframiMHiaun и
• столбим» tiiii|iHHi.iH «ИМО НЮ мнм. ври этим аоетсм
Р.ТИ1ИП c-uuGuu иоотасгсевуюг, например, мингмммм
сегмента ч опрехелеин'-й прнетиинн в»: вчнлном нн>
эуальнэм ikuh |92 !М|. Общепринят с чти нннлг<м*т-
иав всртнкллы1ви, нам ггп тбцпц>н. бргамгаям 
ркктмрня м для других областей коры голою»го М1>ж*.
Гк-ричнслти следующие факты. которые i*B»pmt*i»-
стауют а пг<лму annyiur»*» и том. что кертнмзлвные
вейрсам действуют коллсктааио, грушимк:

I Анатом гтесмис вссяедованнн покатали, что пи
раыид*лы1м« клюки пскыллют ажееммы* коллытмрала
м определенных направленипч; у человек* ж«ллггп!ря-
да достигаю; 2-3 мм, та к» самые типы мож-
но обнаружить  днвой части гизомтсм м^чга. Шеп
Tatufafe |H(i| велавми лалтомнчеевм rfa»pyчто
аксонные коллвт rpa.ui кортональпыл лмрамидллыим
kjmtok 1>бр»5уют c«c**<6p»jiiNe «стены», аШфЖ* ине
по мспыиеП мер* 30 веЛроНи*. л*тЧ-твукпкнж под вдн-
iihm уфлеленнсм; причем вютрпкортакип-тге кодла
rcpiuiii одноЛ Клюни несут к•.тнч1дейсте»«игь с бо-
лее чем 700 другимм клетками.

1 В любое ялеТОЧниА структуре размерами по
рвлка одного столбца ниеютск асе типи клеток, хм-
ряктерние для латою* области мозга.

3	Всс*од*аж (аффераптаиг] мсспны согласуются
с к>^г4 голсонсго »<пга с тотвестью вор* два I мм,
* их Комиски» рятмтплс-аиа имеют диаметр «грел-
ка 100 400 am*.

4	Элек1р«.«рилно.тигнчтск1н яписн пгжалывают.что
клетки а оддсы а том же столСсмт пг*ут гмвя сходным
। 6pi*:iu Они пбла.иигт теми ме самыми peuermattw
мн IFI |иын, I с сг- фнымн -»б.т.-тнмн, 'Пауда они
елпди»

5	Нг*>М'рч«г iiunur тянамт ihh ic»v <t«eiayKrT п
ti-ч что нейронный енгяаж! а* мротао* рлсетоакш
р.п аргх-траиигиен н мины сфрвтом, а именно
ы iMiiuro ленлрагто к другому |10И]

.^ию-ипнге. Хотя нейреммые схемы мсыма спеиифпм-
• ы в пределах стсибия. нет никаких г теми* относя*
тадвни аналогичной спсхвфнчмгстн м гвятвл, оу ше-
сти.ним мт оссс>ин1пмачыч  налохкамн, ыперме по
пвотяманпоети превышают btotuxibHo емпнметрсо.
С другой стороны, нейрсны ю сдеюй области юры
головного мовта и* Ам прнтонруютсн на Другие об-
мети.

Нпфсрмаци^л^ емкость рдглцчА'лемм-т» память'
Обычно е*ыхт» яамттн выражаете* и офсфи*£|И1н-
но-тесрстнчсскнх «днимцал ытементмрниго выбора —
бетах. Пнсюлмсу я длаахб книге яыиычыввется гое
ил .треста. и стилист ст вин с кптпрпЯ жфажтическнП
предел для за вас н iiiH>)tyua«.mi к адлтт|пных распре
ле »см<ы\ сетчт устамйвливвется с^чктшмсегвю со-
titwvrcniy*MUM< аестнитлтинных прег/фатованяй, тря-
дишиитую кифирииинмшо гыс^хтхчссмую ивхяму
амадотя «VMM пмквкиго шита нельзя счггать »
ствтсчип корреятнпи а падемхоА. Более тссо, нет пн-
[ каких оаюваяяй пп.тагяти чтс элемеети нинята. па-

HpiiMi-p синапсы. рм& гяюг ван ^hiitowr азмняш;
порее |гк» метшей мере нехплч дз гтетнгтпчкких
денных) жж с-1еД)с1 parvwuipiuari. мяк нмф<-
рывн<< тначныс элементы. В этен случае более
нкоежмяя сами* ирмтиавМ* * м ноет я нймятк
определяется числом незаняснмыл образов. ките
рм» можно храпеть и ней (in взагчных яс-мех *р*
выборке.

Цектрллм1ыА вопрос при uDqmachhh мсаажжзмоь
Пометя осспитт в т>ч п какой мере синапсы можно
1ПМГППГК iiii.uiaHA.yM.UHii, и а кдаиЛ кешлеят няни,
группами. Даже если Пн «мели место киллактивнис
шмеяеине, иктя1<В|ям1м*«ж труввм сяяАяиив «или
чачпеп пт обр.| а ». «4paiy, и а»тт<>му мокни прелпо-
диммти. *fti 4<j<|vk*iiuhi>cIi> intr 1ЫН4Х ciui.imxiM ми-
мег «итпея ннлпнн

В рам. 4 2 будут ра(кы<пр«йы миделя етряаых
сет<4, которые и дейоантелыихтн являются рьспрс
делеяпымн лжмепнымч адвптмемымн гметемамн. К»»
•НАДО на ПМДШастоу1МИГо р1»гсм<п|)1Н11Я, емкость
па миг» ляяеняой системм следует пшмикатъ «яслом
ahni-Iiihi ikUiuh 1Ы\ нйра I. ыиирми моЖ1Ю пред-
стаять яаш) н* няе ijubm-i •»<»»*. что решав-
ший I»III|»V l.ikiai^t KN К 1'Г«. U< нирсделШI.
«лсмемты обн ** Ь'П лям <<.|*« н« миры ГОДОВО -
ГО мезга wopuiK.ii и», ri io П.Н |М1хматгввтется
н качктfiw одж*Ч1 лаеыгяп "брони n«u.irpMiit oncuxi
500 кадровое. Если тенеркл* •« саятк *тн каждмй wef)
pi.u имеет в грел«*м сноса 21МЮ (|мм*ичЫ(Ш) еннин-
тетотямя входов, то ужлзаянмя iiiynna ясйрпг--г будет
иметь ясего около IV вмддиа, £н> число и hilihhim
гртГншч MpKUftpoM. жокс-ый диет сменку чнеда ян-
1н-Аж> незипткимых обрншн. с nhmuiiii.» кптирнх
можии гелектмни к игрилнрилять «гружку» иейровоа.
Другими с •лмн, и /мы<тм din, сидержжсП

а >•» хд	зп
угюмяжутую группу Гейром». мямлю мегоннТк н
арагеть  piHTprirjwinitiH окало 10* образин.

КиЛП(1 ГМЛОСТЫП Я»1Л«мд с£дег1тт1> лЛЧгт». чдемека?
Ilixjc^yicuiHil aiuuiu сдеянп ы лосушснин о том,
что информация передается а 1МММП голый) с по»
МС1Ш.Ю зиинеяшеб от времени мтоситреинн виини-
mw. Пр» этом в случйе вмкхжсео урс«ИЯ анммапия
 паыать передается (одаоврс-ыепии мп nc*nv ОДНО’
вргыснно) болтаное снг*»лсш, ебряхутшмсь сия
лишил образ или его часть. Если теперь считать что
а суылжя киНканЛ с-мссфмЛ образ фшхнруется в
аамятп с шнерьджы в 10 с, то на иритяжскяя чело
аычосниб ЖН4НН (с )чстиы шлыю состояния бодрст-
аапыш») • память Судет мл же в по не более 10* с<5-
рааоа.

Другое важное обстоятельство состоит в том, чтп
сигнал*» рамтмоб ссмассфноА модалывоегя (от раз
л ни и и к сенсоров) ссстадают в ясоммагаые обпСУШ
миры головисго ммг«*. таким ебрамзы, оеля образы,
оОустиплшаые различными ceiKopHU«ii вл on а* и, т-
I»•|M4mioti'v но <i4viii. <«ли|1>, то *н> йжачнт, что
cn алеть плмята лжписП оба ости коры гиломгсег мозга
ед«а ди npcBwuiarv раме jMaaaeyo п»лнчнну гк<рнс.
ко IC* сбра.тов. Есть также и другие во тип юности
у Игл "чип. емкость а* маги; о ни* булгт сквлх1К> пнзже.

№>| «г -«лгн TU гфбггПГЖ>.Г»ЛНШЫМ СЛКй+Ти
<ММ** Дли '<>1	'|"бы оаеиип- реальную езпоссть

«лычта чеикоака. следует принять вс внимание лспол'
•ютелытие оссбечвкстн рассмотрени й ранее мсяелп
патгатн. Если Си следы пимягя птныклли от вечх
ntuiaAavuiux в ыг.лг опнлев, то и u»to ЭвЛнсымлосм
бы большем нплнчсстпо ытбитотпоЛ ваферыжшаа. По-
втчыу |||одстэ*лмггс-а ьесъ-ма важным то пбетт'тгтель'
гга>; । мвболее суаиствемкм пн• (ермииин ибычни
тпипминагтен и результате |ьиснеыня тостояннн
«гм. «ьмиж слотом», времгечсс Дв(Ч*П'*нЦ»фом»»1!
вхог1шв| сигналов лрНвОЛИТ а бслег «ффи»тнв>*:>му
егкшьхмннк* ресурсов ппмпгп в результат рсгист
ранни акта* оерсмешюй спстанлнмцен втодлоб ни-
фпрыакна. Ппмвно этого в иервНоЛ системе нмеяп
место elM«i6pa3iiuc 1ПТ*К|Даый мленнц. швиввлент-
иыг ««Мскту и^явимапнн, нпторыб, од.» ысо, не слс-

m
UlOpxn VMMMI M|liauu> (nllill ».dnl*Tiar> NHUaTJV
4ЙО IIHIII'iImH 4llllM< x4r<U TV	4ubldu l|ixl

CxnXiUo •» <iit«n:>dnfiiwit||A4j co яьахжэ ariiihoiar»
• tn ИШМГЯ 11» njb ‘XNM1l*rWrrV0U Нихвф IVta'IL’Kl
ИМЯЙММ* »*d ynl .«а ь м*лц MMM81 ЯП WfKrv
v bJluisiriJiiuui -« .«n*,«ie Midjo Жvmuxhimj дом
•i.irvXni 'пинии 'пи. 'uAiiKwrH «alraio iwucmepi

• •влпрфо Нон и но peiixev

-rvg.n фа 'iiut«*i mix ,i ir> jiiiu d.i <• H la bill MII*bOMM
МИИЧГМПв»' ui ия -a>hii ..ill Ml Xiail ii *K»rd^? XHH

iiriHutji r. - t « iiii'Hu. i n  'ini 31 « <lll.«d 1ДМОМ
и (мши гмл»> к Mir «H i >i »ln niviign «iicv^-gn
•|1ЖЯ^ЛК">-| ЫЧ| vvr. ii iriJinwriu 'W.C mum HHII

ruugiaoa 1Л1н<111Км4 олннснмив Kiniac^wdiiX irJd«) ii
MiaivruMRaic.iHiiei axX rnv4^> .imiimml'Milom <»ivum>
-on ‘iiiu-teu ч 'iinnrdv (1»т^.Э1?с»®э «мЛн 441 tuold
-y<l .rin : >M IHlInui HHtlNIIHQMHM MrillllMUBT ‘daaiudamt
*х«ц uncndgo	K.vuiii».'jr»Jao > тип** wu

-< god мшпмвиа him *»6:hoj ampp vt *<шь >ui a uiod
• о Шмиги фмцримг «ugiNi: KMttWM и wtQ

ПН-КИМИ TNTMMWlJu KI"* krillMtrv .MV

uriiui i.ihbi-. i n:»>*^iit»/> i rai-iMJ auod qm<b
•ФХ	' 'III 2Ull	aeMiMiii U М*0Ш> U

Uuiiii»MiHniu>«d ‘NililviMMMiiv Uiir*»iin	*iod

M.itntlV.il.l rt 9 m.iiirkl'H MOI a.Hntltiuiilbo ымпоя
(млнпэм хм nnuoi vr«p ini rig ШВП) uMoroaoda
MNRMHMil >R3Jud MlliarUBdllA '-'lb 'Rrmitc ilra llll'GIII
J3iaK14iilM'»(l[j (RIU<dL' 0 l.'MMU лХМЯГО LltlWTi
yi^tudu) MbtlMIMHllM HNHW>*»l|lirWH»da. ХГПЦЛПМЕ
*си ipcuu> miu 'жинэмся uiiuaauiiMiinioe тшмНЬ

•d wrrri ‘iimj интим iiiTbau •ОГ'ЛГО xiitTr.v.foiuiw
•1ХХ» MUI aurUHJMO XnililQdUM ЖД0ИМ1Щ IIKUUMJIO
JH»I' MjaitovMH iwr ИЛН«Н«ЖЭ1'ГГ||	тин

-aarx «t-м Ш) iMiiii» <ь.гм»»м1кл| up»-<h-w«41:i
-0> i-jrvo ; и I	’UJO1МШ1ЭП Г И » 1 ММ0Ш0 МФ

:MiiiiM3i>jOudxab а» ю iiixmri Miao (рп101Гвьл£иис
r»^5du»4*u Wtr»l <MJtr)W$<VI'OI4 Mb 1ИЛГ nbedu »n
ci< и ио uimciLuaniKui im«mov3< в омфяш. iiimmuu mt
•or; »Hir --миф *миф fнингсояпГ wirriMervirdMiav^

‘MHHVNRvMdN oaijfpv.)
aoiiii.ivrer । oniIn iMJH*Adeiigj joh ljj> Tted
•rtllj ГШ»'W1HI <drim$ Г7Т1 9ЯМ0ИЗ Ml. *viwo
•Mosra xasnorj внпмк плох док э иимигм xnnodou
«HLXHCXlb MJMJuk'Ua-jdn o iUj-Ju яхсижсмпэ ixiir
В nepRWUK CvIKQpHMX <6X4CT4M TtM K.4T<MilMi' си-
стемы могут вить сртпнительш пркгмнн. тогда ван
* ассоинатмиыв ядра* м«л>т ффм«фамт«ен слож-
ат ежами, спсггнетстиуюшие рмютмм .ихъческим
функциям. В птмжкини п|одио«»*|деини тзамх иле
точных детектероа «гпч npjn iA дамигали ничнге.Иг-
ныс раехпждемж II в торые воелшилштвяи иола-
гифу» что «i'll формируются Ю1ютн«иеии |h|. Я2|.
тогда как лрупае авторы pibtukvt, чтс такие детекто-
ры МПЛИКМЮТ * HpuiUMT 1»ч'1илтн.1|.Ж'гн илчгмтни ну-
том медлсмит лдмггшших м.«мг.и*янй |‘»? 94J . Ни-
кни бм к* был, «инаио, мст>»н»м их «Ртмкфсеанма.
айн.', что инн ибл а дают ввтонмФ itX>>pM«uihai rn»r>
к обкатам н геи самым >|>фгггнвн>> у ченьшаяп кма-
маство Н1н)ермацва. евмииипй с 1нм1сч|Ц>нме<жоА
сигналы». 4 актнвностыо. Bcci.ua вемтаоишеу что такие
Жтеику»ы обладают 1И(м>и<«м-4 егруигурой, а также
кто сами :леды памяти образуются на послед у вам»»
атапат нбрабстка вм4*фманнц

4.2 .Машянпмс модели лгсопилтмаыиЯ па* uni
и мийриниых reiM

Прпвсхжнтто p.iiroc фагтнтонптчсские дтгг«>- п мс
авиа «мы 1кжа«ыннкя, что рассимртше а книге Ми-
лиан а^им<наыы к нп>«н»А системе лишь п тим слу-
чае. велм ирииильи» I» ЧГ !• СИНИПЮТЯСКИЙ чгдифн
КаННН iMt'-eil.lM « • • u.-llita • 1Нк1|*МННЯ ЧОДСН|4
иаикпа. Олнлкн ы>1л<м*л<|«' р»<тчг>грс*то ««Л гадает и
смм1н-|огтсика>4 iwiniiiCTUo, НЛСНЛ.НЖ1 шюиодчтт, на-
пример, нрежкагать сутеегпювтме килдекпгпиых чв-
ЛГМ11Й. HHTvKBKXHat <« II|M>CTWX МО ХЙ и HIM I Xi H COnfllO-
шаам* (4.10» и («.!!).

Н ллях*ч рамтлс рмтылтрнкаепги лиг осиовииг
ииисли яда>гн(111нх нгДегишиг ситеЯ. Первая пред-
стам мег собой запои ннагвцуш сеть с аскпторымн
своЯгтрама. ммиста* йинними и* ин гм кв вмшслеЛ
МШЖМИ.1ИГШ11Х матриц, нянривмр гбучьемпА матрчн
Им ШгеАибуха |16) имен tuumi . ети Уадих»
а др. 114Б|, гщнпко в рхннил мплелчп дилжпим сб^а-
вои не принимались тс нниманис вгутреягте оОрит-
пые лям н сасбсгиа злагггмин, ялтофые обл-шми
еакп висскую «мкоств рагнрелеле-итгй вачятп. Вьо-
рлч моле.ть — фплитр Н0ИК.Н1М —б«*м рл фьбопша

МТ	*
с целые, угтии.ймъ, сасДстпсьия ли тмяя функция
реальным нермеым сетям. Обе >тп модели, ьмлими, со*
ВТфИМЙйО НОвЫС

4.2.1	ЛРмкп а«>оцгнниммам mu

Дджи yii|n>uU'HHHH С19ДОУН танин сети (рмс 4 9)
окалывается достаточно уиамрсял*н1 н ддн се ирные
iH«wv к раьттжим участкам цс1гтрв.ты»лР нервной
системы Оык4»ые хаементм сети —тик няамысмыс

Р«. 4R Саама, »л»1-гш#э -»•«• irt еСсуясмиы лсгс<М1тмв»сА
аааяпа » №Ли«ни> ccrtz.

netlpcoi*! iirMopteti • II» • г.*.»...» irf. а i.iiiMiH-аали Си-
матнчегаи в*.ц»ии । ж . in и пунктирными липе
МИ, ДОТ» Ми 1ЛМО41 ле II* <м • **л ш , Ft'-Jite СМИТВ MerjT
Выть прямыми  чскилет'л'мин |.. и. пии cm.ui меж-
ду Р алетквмн » BvCMptra* г м<<г, i .<уиествлят1<и
tiKooeauM ннрамиддемва! »»'!•• и тшкирк >кыми
и-обриншчг ассоиматинними !••>*• вами ..г^и iya..
in • vw оежоиуи! HMTi. и > |1Мамю fa'-тога ммеггиа
Помимо длинных сияэеИ Р клеши ииенк мем-j tяй-
ле и короткие связи вепиммси шюР структуры |>ти
с пяти с<1Лнететяуитт жды1ми«гй<. «аню типа j.iTrpruw-
иоги тормежет иа).
Брайтенберг ft 18] нашел, чш если клетки коры
ловносп мозги сгруппировать в гипотетические <ячей.
ки> шириной првблнз1гтелыаи 1 ик (у человека), то
акая объем белого вещества. нетрудно заметить, хтс
р среднем каждая ячейка связана (J-образныии во-
локнами с любой другой ячейкой. Одкако подобао*
объяснена? оказывается правильным только примени-
тельно к сравнительно небольшим областям. Следует
отметить также, «то аги ячейки не обязательно имеют
четкие границы; они. скорее, наглядно показывают
степень пространственного разрешения (величину
оержл») при пространственном распределены! сигна-
лов в кюре головного мозга Тек, на рве. 4 9 каждая
Р клетка относятся к той же самой ячейке.

Свойства передачи сигналов в сети можно мссле-
давать из основе линеаризованной частотно-частотной
передаточной функции. Пусть через (на рис. 4.9)
пбпэна**снл входная частота следования импульсов
для клетки (или ячейки) I, а через гр— выходная
частота клетки. Тогда линейная передаточная фуик*
идя дается следующим выражением:

П< • Е 1ЧЛ/ + U	(4-10)

где параметры ри/ определяются нвтеяснвяостъю вза-
имодействуя между клеткамн j и /, в стшфическне
входы К (которые, как предполагается. более интен-
сивны, чем межсоединения) имеют единичные веса.
Отметим, что интервал суммирования по индексу / —-
открытый, что соответствует произвольному распре*
делению межсоединений.

Как отмечалось ранее (97), в данной книге пред*
полагается, что следы памяти следует связывать с из*
мснеияямп синаптической проводимости между парой
нейронов Теперь фактически допускается, что нлябо-
лее заметные следы пакте характерны для Р-клеток,
поскольку по предположению они обладают пиачя-
тельки больший числом синаптических связей пи
сравнению с кнтермеЛрояамя. Степень изменения си*
палтнческих межсоединений может быть представле-
на следующим образом-

W *
dHi/d/ •« шц (П/ — П/Д	(4.10

• 814
rfC комет анти плэстичвсстя заменены срелжнм зна-
манием <*» Пг — «остсимагпичеекая лсреклю^агелыгая
активность 1)з — пресинаитическ^ч импульсная ча-
rtf>T3. нежеланная от другой клетки, и трь —икос зпа-
аекие Ць при котором не происходит никакого из-
меэеинп постоянных рщ. При ад лисп аналогичного
закона для тормозящих си «а пеон, для которых парк*
нетрн р.? — отрицательные, величину « следует вы-
мять стране тельной; для ппэбуждвкмцих синапсе*
а — ао/ожктельеое. Для да г.ной модели а выбрано
положительным.

Допустим, что параметры ттерпояячальяю рав-
ны нулю. т. е. память сначала «пустая». Пусть мно-
жество входных сигнале а * момент времени Л {^(0).
ьрвдетдвляет собой пространственный входной обрса
Тогда яа вход сети подается ппслсдовлтелыгость та-
них образов, причем каждый образ остается стадно-
нхряыи на протяжении интервала временя Л/. Путем
прямой подстановки нетрудно получить первое при-
ближение длв выходного образа:

14/ = а Af £ flr <Д)К.» М “ Лль1»

так тто

пЛ)-Ь(П+ Zui/nrW-cm+E *(/. /JmW. «13)

где

cu(C	— a (W У п JO hv <G) Пд>)

a f> — моменты вргмрьн. связанные с отдельными ин*
тераалами предъявления обраэов. Последняя сумма
в аыражкнни для 1ДГ) представляет собой няформа*
дню, выбранную мз г:емгле Выбранный сбраэ
представляет собой линейную комбинацию всех пре-
дыдущих выходных образов с весами e(f, /А). пока-
зываюешмн сходство текущего выхпднсао образа с
соответствующими ранее записланыин обрядами.
Если ключ сильно скоррелирован только с одним нэ
записанных образов, то сосггаетспгуюил*е выходные
образы также обнаруживают аналогичную корреля-
цию. ирн ьтом соответствующий аанпсаиимА образ и
•пяяляетс* не выходе памятк.
Предварительное моделирование ассоциативно вос-
становленных изображений. Соотношенме (4,13) оф.
разует осиопу ,ия моделирования операций вссоци*.
тинной сибирки м всссгадоалення записанных 0
памяти нзобрьжемкй. В настоящее аремя не представ,
лается волыажкым моделировать более или мен к
сложные нейронные системы во всех деталях. Вместо
этого будет кспадьЭСтанз гипотетическая структур*

Рек. 4.10 Пр»мгр ikcOubutимей аы6&р<11 для сети с Сфоюв&лм]
ммии Ститт.	1

a—KIM* сСфвк вмерлтащ • ФГ<ПРГ итинлгя, б—erowft
к*М4Й»М1й с Трумп РУ итенапи •— кле»*гм1 udftj. 4—цт/яья*!
ияверкя.

сети, показанная на рис. 4.9, при этом допускается,
что Р-клетки сети образуют единый двумерный сдой.

Поскольку пока ист совершенно никаких сведений
о структуре параллельных образов (млн нэображе»
нпй), распространяющихся в коре головного мозга,
при моделировании будут использованы искусствен-
ные образы. Так, на рис. 4.10 представлен образ, по-
строенный ив основе двух двумерны к рисунков.
Разумеется, тайне картинные образы едва лн пред-
ставлены в коре головного мозга, поскольку входные
сигналы предварительно подвергаются некоторым
вспомогательным преобразованиям и операциям вы-
деления специфических свойств.

В используемой модели было 510 клеток, оргянн*
эовэнных в прямоугольный массив, соответствующий
структуре рис. 4.10. При этом доказанные на рис. 4.9

р!4
вср<пгкальные сиги ильные линии теперь пронвзывдют
,,7<с,ть модели п направлении. перпендикулярном лдо-
с|ООСТя рисунка. Прямоугольная форма массиве была
рыбрэпа лишь в салу иаюльзованая ыирокоформат-
ногэ ли иеймого (строчного) принтера; в сби;ем случае
клегкм могут быть расположены произвольным обра-
зом Нулевые значения сигналив показаны прсбелами,
тоГда как остальные змеекия представлены в трех-
ураеиевом масштабе. Сами клетки, расположенные в
yqLux прямоугольного мясемва. не показаны. Всего
было принято по яиимяире 20СОО межсоединений
{ириблизятелыю 40 связей на каждую клетку) для
произвольно выбранных клеточных г-лр. (13 жнтюй
мервмюб ткамк вероятность межсоединений должна
ааепсстт. от расстояния между клетками.) Эти меж*
соедлпеяия соответствуют элементам памяти (синаи*
сям).

На рис 4.(0.а и б преястадог-ы образы» записан-
ные в память. На рнс. 4 10, в показан ключ. в кото*
ры# вносят вклад несколько сигналов ст одного из эа-
лисаляых образов Рис. 4 10, t показывает резулмат
выборки из памяти в соответствии с соотпошеяием
(4.13).

Поскольку ключ имеет более сильную корреляцию
с обрезом, изображенным на рис. 4.10,а. последний
вносит главный вклад в результат выберкн. Однако
ясно, 'по н.т-эа перекрестного влияния други* обра
лов, особенно второго, качество выборки ке очень хо*
рстдее. Если бы число обрядов было очень большим,
то перекрестные влияния могли бы быть очень саль-
еымд. Простой способ устранения этого нежелатель-
Rjro эффекте состоит в том, чтобы применить гот
или ячой способ предварительной обработки да иных
до вводя их в памяти. Подробнее об этом будет ска*
за ни ниже.

ЛатсрпдАмов тордоженпе. Механизм латерального
торможения был особенно тщательно исследован при
мсдмтсльно и сенсорным аюте.млм и, а частности, к
прению ||3б|. где латеральное торхожемме использо-
валось для повышения контраста. Это явление осо-
бенно ярко выражено в сетчатке тдаэя. однако оно
может иметь место к в других нейрокиых системах.
Как будет дальше показано, аналогичная операция
предварительной обработки оказывается также эф.
фективьой и для ясеь'юення емкости и селективности
распределенной сетевой памяти. Так. КреАцфельд fe
др. |120|, а также Хесс и др. (126) оокааали. что
как правило» возбуждающий входной сигнал прнво-'
дит к уменьшению активности соседних клеток в ко<
кортексе. Этот эффект проявляет свое максимальное
действие на расстояния 100—200 мкм от точки воз-
буждения или стимуляции (в эксперименте с кош-
кой); пполие возможно, что в мозгу человека тормо-
жение имеет место а на более далеких расстояниях
порядка ) мм Детали функцяонкровяиия рассмотрен-
ного пище механизма торможения хорошо известен
для сетчатки, однако для высших систем головного
мозга происхождение этого явления в значительной
мере неясна. Иногда его связывают с короткодеАст*
вукжимк тормозящим и межнейронными соединения-
мя. которые существенно отличны от двлекодействую-
шнх соединений; последние, как правило, возбуждаю-
щие. О а ил ко вполне возможно, что латеральное
торможение осуществляется не за счет прямой синак-
тической передачи на короткие расстояния, а бла-
годаря «лсггрнческому таимодсАствкю между мемб-
ранами, млн иесниаптическому химическому эффекту.
Каким бы нн был механизм латерального торможе-
ния. важно, что эффект реально существует п может
быть весьма точно измерен Так, на рис. 4.11 показан
график, не котором лредгтавлеиа зависимость степе-
ни актижностн клеток (с точностью до постоянного
слагаемого) от расстояния; можно видеть, что ив рас-
стояниях (от точки стимуляции до точки наблюдения)
в предел 8< 100 мкм влияние оказывается симулирую-
щим, однако вче указанной пбляетн влияние — тор-
мозящее (отрицательное значение «возбуждения»).
На более далеких расстояниях должен существовать
небольшой стямулнруюшнй эффект. обусловленный
подкорковыми межнейронными связями

Моделирование ассоциативной сети с латеральным
торможением. Если включить в модель эффект лате-
рплмюго торможения, то передаточную функцию ней-
ронной сеги следует модифицировать^ чтобы учесть ко-
роткодействуютне взаимодействия Простейший спо-
соб учета латерального торможения» не требующий

НИ

включения в модель каких-либо новых нейрон
вых схем с неизвестной структурой, состоит п том.
чтобы подвергнуть все образы математической с«*'
рации предварительной обработки. Такая операция
моделировала бы вышеуказанные вэаниодсйствия, а
обработанные образы затем использовались би в
упрощенной модели сстпкй памяти Математически-
ми операциями, почти акневалеьтиыин эффекту ла*
терал ьиого торможения, являются ос.ер алии прост*
ранстмниога дифференцирования второго порядка,
типичным примером которых может быть оператор
Лапласа — V—— dtydCJ — взятый с обратным
знаком (см. подразд. 2.3.5>. Другой полезный опера-
тор такой же структуры д*/дС>^С», где t* и С< — пря-
моугольные координаты клетки иля сигнальной ли*
ими на входном или выходном поле. Эксперкменты
пика а ал и. что оба оператора приблизительно одинако-
во улучшат избирательность выборки.

Далее рассматриваются результаты машинного мо-
делирования с использованием предварительно обра-
ботанных изображений Были использованы изобра-
жения. аналогичные рассмотренным в предыдущих
разделах. Адаптивная мейроннах сеть моделировалась
с помощью машинной программы. Результаты, полу-
ченные в серии экспериментов, покааяиы ни рис. 4.12-
снвчвлл мвоыммяющая сеть адаптировалась к набо-
ру 600 нэображсвмй .Пеняя часть каждого изображе-
ния применялась и качестве ключевого образа. Чтобы
носстеиоаить первоначальный них выходного изобра-
жения, применялась вычислительная операжея. экви-
валентная использованию обращенной операции
предварительной обработки. Следует тем же мем ее
отметитц что в естественной памяти такое обраще-
ние вовсе не пбялателык!, посиолысу интерпретирую-
щие системы головного мозга так или иначе работают
с преобразован и ымн сигналами. Иными словами. об*
ращенные пюбражеянн представляют собой irpocro
♦виртуальные иэобр&ження», соответствующие пер-
вичному возбуждению. Это в общем аналогично из-
вестному факту о том, что. хотя ил сетчатке оптиче-
ские изображенкя перевернуты и искажены, мы тем
не менее правильно воспринимаем япленкя и события
внешнего мира, поскольку восприятие всегда осусце-


Рис 412 АггедлПИВЯМ гыбори ui опя, по*вдеииой па
Fw. 4.U

«-«иго аз ХЮ замасэамч кэИдомоиМ км ptc I 111; 0—*зэ4умдлт
а.маавыи	4 —ИврАвм касммм Awt «meet и ИЯМ* « •№>*»<»

• »•*« емнм* и гпвОаг нтттльве* ОМ МвмапкгмИ ва К а мам > а с Аф? в.
/* |<>ульГft	кз аплвсяЗ мт>ф«ла<довго4 матркк«о< аак<ак

|си рве. 1.MI.

еталяется с оомсдцыо тех же самых внутренних пре-
обраэовамиА.

V.27. Модель фильтра новизны

Как иавсоно. в центральной нсрвяоА системе есть
фуцкц»С1авльи14С единицы, лредоазначеягше для вы*
явление новнэаы об*ам» т. е. тоги, является ли теку*
ши') i4SpH3 «luiBUMK пли «старым»; степень Новизны
информации, разумеется, итнссятеАЫюе помятее.
В одном крайне* случае можно утверждать, что вся*
км* уже встречавтимАся образ — старый; и только
образ* эстречакшийся впервые,— новый. Другим
точка зрения основана не том, что выявлевгм ноазд.
ны следует рассматривать кая многошаговый процесс,
включающий повторные предъявления того же обра-
за с некоторым л стохастическими отклонениями.
В последнем случае коеизнх определяется относи-
тельно некоторого ♦стереотипа». иля усредненного
образа.

Фнльто новизны, подробно рассмотренный в псл-
радд. 3 2.5, как раз я являете* моделью гиоотетачс-
ской нейронной сети, способной действовать как эф-
фективный аддитивный фильтр. Его межио ряссмгт-
рнвять также как идеализацию ряда других моделей
с более или менее простыми свойствами.

Сетевая модель фильтра пояизмы. Дня того чтобы
адаптивная сеть могла ф) нкивоммровап» как опта*
мальмы А фильтр, необходимо, чтобы (исхода аз тре
бованкй, предъявляемых к передаче сигналов) систе-
ма работала как почти лииейное устройство. Это озна-
чает, что существует своеобразное динамическое
равасоесме, причем система может отклоняться от
равновесия в любую сторону. Желательно, чтобы ди-
намический дкллажж отклонения по обе стороны от
состояния равновесия был максимально большим.
Однако функционирование самих нервных клеток су-
щественно несимметрично, я для обеспечения енм-
метричвого функционирования необходимо сбаланси-
ровать работу клетки таким образом, чтобы сигналы
обрабатывались попарно, причем стадия активности
одного сигнала приходилась бы на стадию пассивно*
ста другссо. Антаюнисптческне сигналы умомякутого
тапа, вообще говоря, существуют в автономных нерв-
ных системах, однако прямых доказательств наличия
выполняемых ими функций в инфпрмацнонпо-обрябя-
тывающих сетях центральной нервной системы пока
еще нет. Относительно антагонистического кодаровя-
ния цпетпя ь зрительной системе подобные наблюде-
ния известны.

Прежде всего следует отметить. что полностью
развитое Л1ггаго«нсткчсскос кодирование не обяза-
тельно. поскольку тот же самый результат достигает-
ся и при латеральном торможения. Модель фильтра
новизны может быть легко волусена на основе мо-
дели ассоциативной сети. Наиболее существеннее до
njmcMFt яри построении модели заключается в том,
поскольку латеральные межсоединения— тормо-
snuuie, коэффициент гиястнчностн а будет отркца-
гельдом |см. состноюеяне 14.11)). В отодшсшпэ зри-
тслыкЛ области корм го лонного мозга в самом деле
есть показа г*лыгтяя тормоаяшсА роли прямых /так
называемых мпиосниаптичеиКмд) латеральных связей.

Рис. <13. Иллюстршпп 1Г«1ПНЯМ £»*ф<мр«нимлдоо<я кодовом*
пня мсЯгпнвы» сыпали»

СтнмулнрующиА сигнал также может быть ярдебрл-
эован в тормозящий с помощью соответствующего ни*
тернейроиа.

В схеме сети, показанной на рис. 4.13, клетки
сгруппированы в «возбужденные» и «эатормсжеимде»
(ст» ломечеиы сооггвегсгвенно индексами Е и /). Это
всесе не озиачвет, что они постоянно ив ходится в этих
состояниях; внешние факторы могут bi/лвв гь переход
клеток из одного состояния в другое. Препполаглегся.
тто псе соседями возбужденные клетки можно заме-
нить одним эквивалентным нейроном, а заторможен*
мме клетки — другим. Геометрия расположения вол*
буждегных и заторможенных клеток в ммярогкпклче*
Скры масштабе не существенна, поскольку в сренелах
определенного пространственного разрешен*»» псе рас-
сматриваемые клетмн раеположеЕЫ в одном и том же
месте.
Иными словами, Р-клеткн струп пиропа им в опреде*
ленных ячейках. Tnx, п ячейке, обозначенной hhjkbr.
сом I, клетки принимают преспнаптическне сигналы
If и В'. Выходные сигналы соответствующих клеток
обозначены через nf н •)}. В ячейке, помеченной ин<
дсжсом /. выходные сигналы обозначаются соответ*
ствемно через п£ и ту}. Если теперь считать, что ла-
теральные связи к ячейке идут от выходных аксоеов
ячеек в положении i, то в соответствии с гипотезой
линеаризацию вес сигналы подчиняются следующему
уравнению:

nf - Ef + Z (и, + »?) 4f +1 ы- </) nJ + Ли
ч! -1;+I (*,+pjp n?+Z (u, + h(3 wj+n,. <414>

причем индекс ( пробегает no всем клеткам, имею-
щим связи с ячейкой (. При этом допускается, что фо-
новые активности тц, а также латеральные коэффи-
циенты связи lui постоя илы я пределах ячейки; это
допущение закоадо (по крайней мере стлтпстпческн),
если псе клетки сети одяиакояы к распределены од-
нородно. Смысл обозначений uff,	со-

ответствующих дифференциальным пэмененпям си-
иалтмчсскпх связей, очеяпдеп из рис. 4.13.

Следующий ятап моделирования состоит в том.
«стебы использовать закон пластичности тормозящих
синапсов. аналогичный (4.11). Тогда для каждого
из дифференипяльных коэффициентов pff, pjf» и" о
pJJ яетрудно получить следующие уравнения:

М//А=- W (nJ - л J

4i*'y/df--MJW-«l^	( ’

Коэффициент пластичности выбран в форме — 2а.
чтобы упростить дальмей1£ке выкладки, лрн этом те-
перь а ~ положительное.

Приведенные уравнения можно преобразовать н
более симметричную форму, если суммарная величина
короткодействующего латерального торможемкя ры-
&	1
йа аналогичной величине возбуждения: иными гла-
вами, если допустить, что

4} - V — - (П? - п,).	Н-1в>

то оказывается, что <Jnf//dl — — duff/df м =
M-~dp^/dL Если далее принять, что начальные эна-
доля следе» памяти равны нулю, то можно также
написать

- м; - - (я,7 - м,7) - м4Г 17)
врячем >то обозначение введено просто для удобства.
Если пространственные разности соседних воэбуж-
дающих в тормозящих. сигналов рассматривать п ка-
честве эффективно* «информацпн» я ввести обоэма-
чсвия

м,-е-ц

Дч,«=ч? — nJ.

то пычнтдпие ураппгннй (4. И) и последующая под-
становка влечений р1Г из (4.17) дает

ЛП» =~ Аф + £ M.j Aty.	(4-19)

Аналогичные выкладки с уравнениями (4.15) с уче-
том (4.16) и последующая подстановка значений
дает

dp^j/dl = — аДг), Aty	(4 20)

Как Ьмдио, уравнения (4.19) и (4J0) имеют ту же са-
мую структуру, что и системные уравменпя фгетыра
пппизкы, записанные в компонентах; при этом, разу-
меется, указанные уравнения сорзведдавы для всех
комбинаций ДЬ. Ап< и &ф-

Все приведенное л довольно легальное рассмотре-
ние исобхадимо постольку, поскольку ураввекия те-
перь пр|юбрегают ферму, удобную для применения к
мкм методов матричного акалнза. В предположении,
что каждая ячейка / связана с каждой ячейкой /,
уравнения (4.19) и (4 20) налево записать в вектор
но-ыэтрмчиий форме Входной лргхтрамствсякый об-
раз мажва определить в виде вектора

ж = (Аф, 64с.....4Ы”.	(4.21)
причем нумерация составляющих AL осуществляется
вдаль горизонтальных ячеек. Обозначим выходной
простр а ветвенный образ через (см. рнс. 3.6)

л»=(Дп|. Дщ. •••• Ля»Г» (4.22)

9 миссии элементов памяти — черед матрицу М. Тог-
да нетрудно получить следующие уравнения;

R — х + М2,	(4.23)

dM/df = - atT.	(4.24)

Эти уравнения идентичны уравнениям (3.27) и (3.28).
и если нвести общую передаточную матрицу ф

i-fx,	(4.25)

то сразу же для £ получается матричное уравнение
Бернулли

<Wd7 - -	(4.26)

Асимптотические свойства уравнения (4.26) были под-
робно исследованы в подралд, 3.23.

42.3. Обзор некоторых аналогичных подходов
к решению проблемы

Переюначхльаые исследования «разумных* фукк-
ин А нейронных сетей, выполненные в 1965—1960 гт.
|16, 121, 137. 138. 142], били направлены главным
образом на то. чтобы продемонстрировать, МПИМ
возможностями обработки информация обладают се-
ти, состоящие нэ элементов, моделирующих свойства
реальных фнз»н>1огичссннх един ни. В то время на
нейроны смотрели кан на пороговые триггерные уст-
ройства. Ия поминают не двоичные схемы ЭВМ. До-
пускалось. что фундаментальная операции нейрина
состояла в классификация входных образов. прячем
основная задача исследований заключалась в том,
чтобы понять, каким образом такие злемежтврные
процессы классификации и принятия решений объеди-
няются и многоуровневые или иерархические процес-
сы. свойственные высшим функциям обработки инфор-
мации в ьерввой системе.

Таким образом ранние исследования можно рас-
сматривать как биологически ориекенрованные я
хл
целью построение самоорганизующихся си-
стем we ссион» простых момпоиеитов. Однако пп мере
тикх как накаплпаающкегм экспериментальные дан-
ные стали ныяплять некоррежтисстг. модели пороговой
легики дли нейрона (к тому Же и области синтеза
висюях функций га л о иного мозга не были достиг му то
заметных успело*), многие последователи обратили
внимание на цифровые ЭВМ. быстрое развитие кото-
рыл как раз пришлось на начало 60-х годов. Начав-
шиеся в то время последования в области искусствен-
। нога интеллекта также можно рассматривать как по-
пытку расширять класс задач, решаемых с помощью
ЭВМ. Так. например, в дискуссии, состоявшейся на
Международной объединенной конференции по ис-
кусственному интеллекту в 1973 г., такая точка тре-
пня аашлл отражение в определении искусственного
(ттеллекта «как нечто такого, что па ходится на пе-
реднем фронте теории и практики ЭВМ».

Тем не менее последующие иейрофклиолссеческпе
песдедоваиин определенно показали, что су шествуют
многочисленные и ралшюбразкые кейроиные функции,
которые можно охарактеризовать кал селективные
фильтры гст иля иных образе»; так. физиологическая
регистрация активности отдельных нейронов указы-
вает на существование различных ответов на псоли-
Маковыс входные образы. структура которых изменя-
ется от простейшей до весьма сложной, типичной для
сенсорных функций.

Видимо, под влиянием вышеупомянутых физиоло-
гических исследований в начале 70-х голов был гх>
гтавлен ряд экспериментов для выяснения следующе-
го вопроса: можно лн объяснить основные структуры
следов памяти с помощью моделей адаптивных фидьт-
!>-ов? Иными словами, изучение моделей было направ-
лено на сбъясненне распределенной ассоциативной
памяти, при этом задача состояла не в классифика-
ция входных обраэов, а скорее о восстановлении сиг-
нальных образов по данным, записанный в памяти.
Другое существенное отличие этих песледованяЛ от
рвкинх момлТ'Ных нсследовлкнй с использованием
Понятий пороговой логики заключалась в том, что не-
линейные ипритовые функции (если они вообще учи-
тывались) рассматривались не как функциональные
операции обработки информация, я скорее как
вспсмостельаыс средства попы шея им стабильности!
работы нейронных схем за счет фильтрации it niыд«л<;Л
иля слабых шуыопмх сигналов.	*

Хотя в века гор их применяемых моделях адашнв-1
ные функции фнльтраики асе еще стрсмлись на осно-1
ве пороговых схем, само функцяоимроваяме тенит!
схем уже рассматривалось как ксллективнсс (115) Л
Представляется. однако, что объяснение коллектняЛ
ныл явлений в нейронных сетях, особенно в сетях сЛ
внутренними обратными связями, будет более удобЛ
тем и даже более точным при использования фор Л
мвльных правил, основанных на линейной персдатич-1
ной функции и ухстс аффектов адаптация с помощьн!
нелинейных уравнений П целом ряде рглработонных!
моделей эффекты адлптацки олки'валнел. в рейках!
формальных правил коррелятивной матрицы [12, 4б,В
97, 116, 119. 122, 123. 127—129, 133, 134. 143-145) Л
При arroal, чтобы модель памяти обладала делдетив-!
костью, необходимо было ввести тот или иной нелн»!
ьейный закон адаптации (синаптических или каких»"
либо других гараметрюв), обусловливающий перемен» i
ные сьоАства передачи сигналов. (См. также работы ,
Ц24. 125» 130. 132. НО. 141|.)

R последнее время и некоторые модели были вве-
дены донолкитсльмые уточнения, связанные с извест-
ным анатомическим фактом каличий внутренних об-
ратных связей, с помощью которых сигналы могут
подвергаться циклической :<ли нтерациомной обра-
ботке. Обсуждались и другие объясняя ня роля этих
обратных связей: порождение временных последе на-
телынктей образов при выборке (97, 122, 127|. повы-
шение кэбирательмосп! памяти при мтеряниоиной об-
работка образов (139, 143. 144| и образование орто-
гоналкзирукхцмх фильтров (4fi|. ЕШе один аспект,
заслуживающий упоминания и впервые рассмотрен-
ный в работе [46]. а затем и в дайной книге, состоит
в том, каким образом в процессе адаптации можно
было бы изменять знлх сигналов (подрдзд. 4 2.2).
Этот аспект связан с тем. что, видимо, какое то «ан-
тагонистическое» кодирование сигналов необходимо
в нервной системе, хотя, какечмо, его детали могут
существенно отличаться от вышерассмотренных.

Вообще следует отметить, что олисаиные в данной
книге модели являются весьма упрощенными и толь-
зга
ко я незначительной степени стража км реальные про*
ucctu. протекающие в нервной системе; что особенно
наедгтся сетей с обратными свитный. Тем не менее
представленный в книге аппарат аиалюа сетей обла-
дает многими преимуществами по сравнению с дру-
гим и чрезмерно детализированными математическими
моделями, например, в том отвошемнк. что ом подо-
бен таким математическим джцнпликаи. как линей*
нал алгебра, теория оценнванмя и т.л При этом бла-
годаря компактности математических выражений УЛЯ'
ется проанализировать довольно сложные функции и
олерзимм. Из-За Ограничений, слизанных с объемом
книги, в ней нс удалось рассмотреть векоторые адап-
тивные модели нейронных цммвксов, которые сход-
ны с нолелммн адзптиеныд ассоилдтнвныл лреобра-
юва ний. На пример, следовало бы подробнее рассмот-
реть адаптивное образован не детекторов свойств 1131.
3X5). д также елмооргянжэукиинхея связей [I47J.

Во всяком случае, хотелось бы надеяться, что кон-
цепции н моделв, основанные на теории систем н фи*
31гке, окажутся полезеымя к будут стимул «кровать
дальнейшие теоретические м я непер и ментальные ис-
следования неАрииных функций.
ЛИТЕРАТУРА

I. Arderarm J Я, Btiwir G H, fWw Aaeocialive Mesnory,
Winslet» A Sons, Wnahingta*, Ь. C. 1973

1 Bobrow П. 6. A. Cd I пн, Representation and Ltoderstandint.
Academic Press, New York, IS7S.

X Fefdiunn J. A, Rosner P. D. Сочил. ACM, 17, 430 (19Ю),

4.	Minsky M Ccuufaatrlioii! Finite anrl InlWiito Machin*, Pron-
ttee Нл11, f-n^levrood СПЯ», 1967. [Имеете*	Мин-

ский M, buwuauN и umriMwvM. — M_. Мир, 1971J

S.	Jhimeilurt D E, Lindvay p. H.. Neman D. A.. A Process
Medd lo» L<»C-T«riii Memory. Id O<aror»bco мм3 Memory,
E. Tulving, W Donaldson (Ms). Academic Press, Nev York
1972.

fi. SavlH D A. Love II. Ik Jr., True? R. E„ In 1967 Swint
JcmM Computer Conference; AFIPS Conf. Proc, AFIPS Prw,
Montvale 1967	87

7.	Shank R. C, dottv К. M. Conpntor Model» of TIioigM and
Lx^guftRe, W. H. Frrunan A Co. S«n Fianmco. 1973

8,	Simon H. A, Ncuvll A. tnfcrmalion Prereaaing in Computer
and Man. Ie Fn;*rwl:-»0e mi Ue Coinfiuior Revotolton. Z. W.
Pylyaliyn (Ed.), P-scrtticu-Hril, Fnc'«rwoort С.Щ1», IWO.

ft Со*:й» R. 1, /£££	x 67 < ГО65),

ICl Hnnlnn A C.. IEEE TrmW . EC 13, X» (fafi).

II	Van Heeder. P. J. App! Opt. L 3» (l»3)

12	Knlmocfi T„ IEEE Tra^t., G»l, «3 (I979|.

IX Kmchl G. R. Appl 0M.t 13. S& <1У74|.

14. Pncfcaml B.. Proc. IEEE, 61, 722 [1973).

IK Satafl>cb. M, NslMda N.. Nomoto T., IEEE Trons., C-lft
1174 (19701.

16.	StejiUch K, Autcni*l and Mwn*ch. Springer. Berlin, Heidel*
berg. Nev Yorii, 1ЙМ [Kwursvr mfcson. Шт«е«6ух К., Че*
лсое« и пыимлт — >t: Сепететс е«дпа. lfiG7.l

17,	Stoke G. W, An lnlrndirl.cn to Colnrent Optica and Holo*
paphy. Academic Pnte. Ne» УеИс. 1966 (Имаегеа пс^селлз
Cipuy* Яж, Baej.emve » ujicywiayui еппшу ж mneew*
«ню.-И, мт IW]

illshn* J. Imncve<-Hi(nr»m И C, AseeciatK'e Memory
Models. In Machine Irtdl «егсе. vol. 5. B. Meltrer, D. Midi!
(Ed). Edinburgh University Prese^ Ecmbunrh. 1970

19.	Albert A , Retrossion and the Moore-Penrose Pseudoinvrrae,
Academic Press, New York, 1972.

20.	Hen iuael A_ Grwnlle T. N. E_ Geoeralieed Invents Theory
and Applications, Wiley-InterKlerxe. New York, 1974.
jj В<М*П;СЛ T. L. Odell P. L. Genr-ahxed Inverse Malrke*,
Witey Ir.lerscicnce, Nev York, 1971.

2i C»lrw R E. SJA.41 Appt AJt/li, 11. W8 (!**<).

2> Greville T. N, G SIAM R<v. If. 15 (IU50|

24 Kchrrwn T. Rruhkt.a E. Mlkisarn К,. Vanin* L, flkd Cyber.,
Ji, 13® (IRTty

21 Leal* T. 0.. Odell P. L, Ealirtnbco in Uacjr Models. Pren-
licc l toll. Fnplevo:d Gills, 1971.

Ж Ataytr J. E, Goeppcrt Mayer M, Slatislkal .Hechanks, Wdey.
New T*k. 1940.

fT. РеПГОО* R, Prtk. CaatMtffr Pttilua. .t-.C., 51. 406 (19051.

2fi Penrowe R.. Proc. CwmArtdic Pbilv^ Soc, M, I? |K66j.

J9. Rao G R. Malta S. K_ Generalized Inverse ol Malrica# яН
IM Applications. Wdey-lalecscwncr. Neu- York. 1971.

XI PkArnw D , Raphael B., ACM Comp Surv 6, I S3 i1874).

3i. 1 loprood F. R. A., Compiling Techniques, Usenet FubJuhing
Co. New York 1ДО

X? Jvhrwan L R. Comm. ACM, t 3)8 [WIL
M McIlroy M. D. Co«m ACM «. 101 (1983).

34. Mcrm R. Сотм. ACM. II. « (,9fi8|

Л& Peterson W. W. I AM /. ftn A»., I. 130 (Г967)

36. Schai G_, Sprulh W. G.. Comm ACM, % 4W (i960).

57.	Whams JI &, Cowrar. ACM, 14, 172 (JUTIF.

%. Porter G C /£££ Trans, C17, 7BB (1961).

». Minter J, CcmjHl Aw., IX. 4*Я (1971).

40	. Gotey At J. E.. /Е££ Гглы. GIB. 7» (19Й1).

41	Gold B, Raster G Dindal Prottlrtae ot Sigrula. Me0n«
Htl). Now York KW>

40, Gray S B„ /£££ Ъ&ъ. C-W. 561 (Wl).

43 Xchonen Tu<km*4 ja TUn-.’<J«a. 9, 7 (1979).

44 Kabcren T.. Oja E. BiM Cgbrr.. tl. 88 (Wb).

48 Kohcncr I. Rnuhoona M- !EEt Trc*s. C fl, 701 (1973).

4G. Leiloe M. 0, Proc IEEE. 57, /»! (I«8)

<7. Pccgio 1.. Biol. C#6rr., 19. ?J1 (1975).

4& Riihnniki E, (toll L.-E. Kchootn Г., (Lijloij P.. Т&Ы1 E,
Aapfiealion ul Compute: <zM Paiinr> ttaogni*.»on ТасЬпмо 10
Idaalirieaiicn oi Aonoreul Brain Images. IV Isieni ъмцр.
Nuclear Aktlklrw, May Я)—23. 1978. Karlovy Vary, CaeehuUu-
vjkia.

99. Rrtiiium H_ Thesa M. Sc. Helsinki University Ы Тек*пЫсяу,
I9?b

60. Roppcr.m 5, TbuB M. Sc, Hublr.kl University oi Techno-
*C4O . <W4

8L Andrews H„ Inlnjducl.km to Maiheniatual rechnlQucs in Pat-
tern Recos-r.ltKr, Wiley New York. Id??

82. iXda R, Hart P E. Pallrm Oastuhraixm and Scene Analy*
Us. WiLty. Ne*- York. 19?S

61 Fu K. S.. Sequential Mefftods in Pattern Rtmoniteon and
Machine 1 Mrnlng, JUadcmk Press. New Yeek, iliSH

Gt Fu K, S. Syntotfk Methods in Pattern Htrcffeition. Acaderni
Frw. Nv* York 19^4 (Иясспя пераасм. Фу К, Crpynyp
Иые rnmiOM а роеиалаамым ийсаюи At: Map. 1977.]

56 i < Hr. AcRr^wala A. K-.	l£E£. Ж 2IQt (№6S).

66 Kanai L. i£E£ Trant.. ГГ 20. GO? 11974).

67. N«c> O- It**. *	(1568).
5fl Pklgi* J, J. Q, Intcmatkrnal Ohicvriohy o( Pattern Parng.
nilim « Optica J nnd Non-OpUcat Imagery, Slate Univacaity
Ы Nr*’ Y&k. 19»

59	Patrick F. A-, Fwndammliih cd Pallorr Racrgrolian, Prantiea
Hall. ЕппИм^с!» ГЖ 1973.

60.	You J. T. GofiMta R G. Pattern Recognо1юл Principle*.
Adfilsor. Wesley. Reading. 1974.

6l.	Uhr L, Pattern RecoBnitkm. Lewrbig, and Thought. Pam.
tice-Hall Fnrlcu-ccd Chita. 1S73

(12	. Ullniin X R , Pattern Recogn-'.lon Tochuigwu. Butterworth.
London. 1973.

Ю Y«s< T Y, Calvert 7 W„ Clawificelinn. Estimation, ard
Pattern nvcocni’iun Elsevier, New Yurt*. 1971

64. Watanabe S. Knowing and Ohvec, Wdey, New York. I£W.

Cfi Albert A. E, Gardner L. A.. Jr„ Stochastic Арргспипя1юп
.<n:i -i.T.iintir Baamtlai (МП Piro CmteMn MA 1МП.

Hl Mendel J M, Ku K. S, Adoptive, Leaa lug aad Pattern Ro-
cognition S^ sterna: Theory and AppUcation*. Academic Press,
Neu York. [970.

67. Nlhson N. J» l^wrr.irig Mach inn, McGraw-Hdl, New York.
190.

C& Schme'.lerer L, M«)t:ditnc*KK>-ia< Stochastic AMcoxtmaticau In
Mullhartale Analysis II, P. R. Krlshnalah (Ed.). Academic
Peeta, Nee York 1909.

69, Нилы» Я 31. Адаптация  cdyccwc а апниыпяссямх см-
етем»!.— -M.: llayu, 196В.

ТО, Цыпкин Я. 3., Основы тсиееи (>Гпчжш.-мпг ос™». —Мл
Мир. 197П

71 Altman М^ Bull /tad, РЫ. Sci. v d, 365 (l$6T)<

T2. Фпаеее Д К. Фалсем В Н- В*гп1глнтеж»»п« истоды ли-
iicdnal алгебр* — М,- Фгэметточ t-e nic.. 1965

71 Hale J. К. Ordinary Differential Equation, Wiiey. New York
IStft.

74	. Kutonen T., Oja E, RiK*»xier. M„ Adaecatuni ol a Lircur
System tc a Ftrwte Sr. o( Pottems Oocwrrir^g in nn Arbitrary
Varying Oder. Ada Potyloctaica Scaijdiaivka, Malberutic»
and Cuntpiiler Science Senes, 25 (1974).

75	QU E, Lie. Tedta Thesis, HalsiaAl Lw^wsily d Tecftndogy.
•075.

Ж Pyh L. Auunr Mo^. 10. » tl%n

77, RtH W. T, Riecalti Diffen>n!ial F\vallane, Academic Press.
New York, 1973

76. Rnhonen T.. tFEE Frawa. C-JX 444 (1974).

79. KdkotiMt T.. Prcc. F9?< Irlern. $уечр. Multiple Valued Logic,
May *—31, West Virginia Ltx»e-sty, p 4ЙЗ.

«0 Pyle L. 7 ACM. II. 4S (HIM).

A|. Bertov* 11. B, A'elure, 255, 199 (ll»75|.

K> Blackmore C. Mitchell D. IL, A’«>ur<, HI, 467 (1973J.

M. Can»v*ghJ. P_ Pa. D. Thesis, Cemecic Mellon University,
Ы	P. 7 . Antwre, 2Г7, Л»1 (1MI).

65. Ecclee Г C_ Ibe Physiology ct Synapses, Spring*. Berlin,
HiidM^rg, Neu York IS«1.

fti Eccln j. c. In Brain arxl Human Вс-havfar. Karrmar A Q.
Ecrli* X G (eds ), Sprite. Bsdil-v Heidrlberc. New Ycrk.
1973
»

Я 7. G»bor О, IBM J. and Drv, 13. 186 (rft№).
м Gnlliih J. S, V«Unrr (Load.), fl I. 11» (I5№).
4ft Hdib D., Organization ol Behavior, W .ley. New York. 1649.
90. Van Beerden P. J, The Fcondalvv o( Empiric*! Knowledge
wllh * Theory d Artificial leteiligox, Wtstlk. Waascnaer.
Ndhtrtami». UMie.

VI. Horn 0. !?<*• S P. R„ BateMMi P. P. G. Scknw. IBI, 500
ffli н, W’resol Г. К.. /. Cowf <V«x/n< 18s, 307 (1974).

« HaAe. D. H„ WlesH T. N„ I. N^v^mid., 18. Й9 (19€6).
$4 Hubei D. H. Wiesel T. N . I. PA*ii<H„ ICO. КЛ Ihttfj.

9$. /lurluncn >1 О., Реш Biol Med.. 17. hl) (1973).

[fl Hyden H, Egyha.il E. Proc. Nat. Aad. SeL, 48, 1300 {|9ft!)
97. Kcl>a-4n T, LshtiO P. Rovamo J., Алл. Aad. Set, Fenn A V.

4.W. H<7 (1974).

<U I ,iUtl»y К S Ir The Nir<npliy*|nlocy ol 1мЬку; Selected
Papera ol K. S. l-ийеу. P. A Bewh et al (Ed). Me Or aw-
Hill. New Vock, i960.

99	Leimen A. L_ Qrwlian C N, Elecirop).yv»c-c«*c»l Azuh'su
d Learning and Memory, In. Physlologkal Baus ol Ms-
ямиу. J A Deutsch (Ed >, Academic Press. New York. 1573.

100	. Loncurd-Hlffgins К О. Aa/ure, 717. KM ((JG6I-

101	Mmn R . Memory *nd Ncrw Cell Corrnectka.-» Criticism mid
CunlriboUoci ircm DevelopnMrttnl Physiology, CLirrndOn
Preu. O*fc»r<r 1974

102.	McCatllvcfc W. G, P4h W. A., Bah. Btopktu., 3, 1)8
(IH3)

J03. MMrlcastle V. B., t. Nrarop^f^l., 2Ж Ю0 (I9F7).

I<4 Гхимно» Г H. Осжигы cacvBMftjuKo iiuipunca noaoh кори
ftzn. .< ( мезга ’•'-каекй — К Медэиннк. 19?3.

106 РгЛспгг. К.. Lenfitingcs ol the Braia. Prentien-НаП. I>gli>
wood Clilli, ID7I. [Иыаееск аерсаал: Пукбрм* К, Яшм
мозга. — М- llpcrpcec, J9T5.]

I0L М, Я. RoMnrwvig. Е. L В«»иП<И (ев»}, Nfc^al .MadeпIsms
cd learning and Mer-cry. The MIT Press. Cambridge, IViti.

IC7. Rovamo J.. Hyvftr_-<n J, Л. Physiological Model Ы Assoda-
Ine Memrwy. F-»**rwwntal Bnin Rrwerch (r icinni).

Jffl $*«vhe-rt <5. M. 7h> Syna^k Orcanizatlon ol the Bra tn,
Qclwrd UnivcnKy Pre»*, Ke» Yortr. |9?4.

|CB Stout G. Pose. A'* Actrf Sri., USA ?•, tO7 (1973).

I JO- SawriTfOlhw J.. Bram РгтлмнЛ. 9Л 473 (?975)

HI. Ihorrjewj R. F , Ir.lroArclion 1o Physiological PbychologY,
Harper 4 Ruw, New YoA. |WK

112 Uftgnr G,. htl !. /nfe'ari.. 3. 193 (7У719

111 Walk» L. Jaraen J. K- S, Nygaard K., NnAtrndik, в. 1Л
<l«)

Ш WulUkw PR. Г^ллИк. 7. 120 (19TO).

.11П Amari $. k IEEE Tnm,., C Bl. 1197 11972).

11b Atnkrson J. A.. Mx-JA R.'Oxu . II. !97 (1972).

117	. BrHllemN*rg V. In: PhySiea w»d M*th*ma1ir» ol li« Nervoc*
M Conrad *1 «I. (*«£). $pn»<<r, Berlin. Haidcibtrv.

N*M Y<rl

118	ГзгикгЧ-rff V. J 7*mv Bid., 48, 4BI (1974).

lift Ccoppr L N. A JY.u.LIr Orguniaalirv of Animal <Henyvy
«ad iaantrfig. In Proc. NUtcl Symr Cdlectiw Properties cd
В Цюдфё*!. S. Lundquist (Ed.), Academic
Pre», New S’oHt. 1974.

IX. Creufeldt 0. D, Kuhnt U„ B*nv*n*4o L. A., Exp Brain Ht
eawek. JI, 261 (1974).

121.	Far к у 8.. Clut W., IRE Trant.. ГТ-d, M (IBM).	I

122.	ЁцкдеЬлм X., Kgbernftit, 12, SA (1973).

123.	Gilbert P. C, Brain Rm, П. I (1974).	|

124	Gilbert R ЛлГиге, 264, 688 (1373).

I». Gro*M»g S, Ку1*гмНЪ. 10, 49 (I9T2).

П6 FW» Я, Nrfcwhi K. GreuzMdt 0. Exp R&. 22, IIS
(IW5L

177. Kchnnen 1.. A Cie» ol Randomly Ogani»d Associative
Meinortas, Acts Polytechnics Scandmavka. Electrical Engi-
neering Series, Nt El 25, 1971.

128. Kchonen T. Introduction to Ihe Princ<*4e ol Virtual Imagas
in AMceuiite MasMries, Acta Potvlccl&jca Scandliiasfea,
Electrical Enginwrinc Serie». M El 29. 1971.

179. Кикспт» T, Ini. J. Мчлгг.асх, N 27 < 15773).

130.	Languet-Higgira H. C, W'IIWmv D J Hurwr-.an 0. P4
Snarl, Rrv nropdps., X 223 < 1970)

»is burg C. v. d., AptvrnrtMr, M, 85 (1973).

132.	Marr D., /. PkwioL (Land.), 2Ш, 437 (111»).

133.	Naki.no K. Nsgum© £, In Adrance Pixrs ot Che Coad er coca,
2nd hitein Joint Cool ArlXkial Intelligence. TV British
Con^waer Scowl у. London 1971, p. 101.

IM Nakeno K. IEEE Тгскл. $CM 2. 380 (1972).

135 Nws M M.. Ccvper L N.. tool C^ . It, I (IV7S)

1Ж-. RorirQ F4 Mari Bands. Holden-Dey. 5an Franrrx-o. ISUS.

137	Rrernblalc F., Pspdinl. Rev, t3, ЗШ (K66).

138	. RosenbJalt F.. Principles c4 Naurcdynamic»- Perceptrons and
tire Theory oi Brain Mechanisms. Spartan Books, Washington,
D. C. 1961. [Имеется перепоя. Ргпея0.»т Ф. Приммы ®d-
мииамим. — М Мир. 19<А]

139	. Si’A'ersicir. J. W„ Biol. Cpber, П, 73 (1976).

140	Sacunons G. Ц In. 1ЯМ Spring Joint Computer Confamnce.
AFI PS Cent. Proc., Spar Ian B«4a. Washington. D. G. 19Ы,
vol 2N p. 4ftl.

vol. 29, p. 4113.

141. UI llaj A M . ConditivnMl Probability CceyufinR in a Ner-
votM Syalewi, In: Mrchamzal^n ol Though Processes.

H M SlatKoery Of I toe, Landon. I960.

I<2. Modrow B, General action and Information S’, wage in Net-
works cd Adalinc Neurcr^. In: Se« Organizing Systems 1562.

141 Wlgslrtm H , A'vVrAen'A. 12, 204 (1973).

144.	Wicslrflm H . A	18. ><» (1474).

14S.	Wlllshaw D.. F* D The*». Ltahrerslty of Edirib-rgti 1971.

146	Willshaw D J„ Вк,»те<- О. P H. C Loaguet Heggma; A7a-
/u/< 222, 9G0 (I9TS)

147.	Uiibhaw D J. AUl^org C r. d. Hoc Roy Sue. (London)
В 1H 431 (197b).
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ

АлзргдхК с мбывг.игем 174
Адвгяиие смстени 119
— AMHtfiKM устройства 102 -
165

— фнгьгри 1Б7. 153

— адешпс 154—157. 166

Дшлнмгйр мни<<мпятяГ»о «см-
писям 100—СИ

Л'-кмипгтякше пгк^ръкчлпнг
иетниалыше К*..-112. ПН
— — — яиптцр^с фаркпро-
мп не 140—137

— '- — HtjiiNcftitk* 12Ь

— — — динеАиые 119—124.
1 ТБ-170

Лхсосмашш ?4

Ь1М4 JUHHU1 91
£<*^|ул.’л мэтрмное yr^BTCHW

В«ытсрн 43. 127—190
— Свяняие 49
— эредспилгнмя 4.1—41
В:гж*'К**И>|» зохщнйтирвс»

К «I

ЬыОерма 1стх»1«мнкмя 9, 12,
Я-М

— — автсчссоииггнввзя 9, 12.
Й-»

— * ic:cpv*e«xnuтаанм 25,
41. Кв

— —• ягеу/стг>ю<цих фраг-
1МГО» II1-112

Д*1г<тср ньяины 156 1<Ц

Дюрнм*в&птнь»е функю

Mfr-141, 140

— — *иглрпш»-яяип1ые фулк
ММ 140— ни 144

Зжсымаюоик усгрокгш 28—
20

— — «лреоыя 26

•---ЫМСТ«МЫ< M1J I.-Здфжа*

нм 28-29, «—%

----— с boMOtcbic ястидсм
гг)*мсиивмпя 29—39

Картинные образы 216
— мммсаш 44
Клксифшаиия i*6p:«wm 1J(i-

I4DL см Овр»эы
----г^рамир|пис»ля 14^

----ГГЗТ1<*МЯ*СКЗЧ форуудн

рОМка 146—146

Кш«роынне

— жгпхиамшатшс ос 115—119
» гс. сризнаим Н?—93

Лслласм onraattip 122

Лаомсиам 122—124

Лннейма: омкняание 15?.—
139
— прабрахмвмс 137

Млрмны 57—76, 110—127

— гр»фг*<£1ии ягсвстимсмис
SO

— ди.-инде,|де Л7

— етп.вчйис 6(1

— uKp^vepoMHiie « разбиение
м* блмн 60—6J

— ж cpoitiecenue frt пит 77 —

П

atmeftwc кресврисягхм

UJ—&9

— обрзагнне бЬ

— овлесп- тоачмшй с нулевое
срс.етрэигт*с 0)

— приеаимомаыс tt, 74, 171
Матрицы пдоивеасяня М
— — пв ьеттор 58—58
— ранг 02
— гхиикюСратии* С8
— c<4Herpvw*
— сямгуляршя (В
— фМПТОНМ 67

.Чатрпнки ур?ы1гяМм 65—78
-----решение 71 Ж

— — — ефмбликсяпс 71—73
—------с ливеаноА первой 72

Метол гелэяс4ных кмлрвтов
37. 40

— ЛСЮСМЛЙПИПХЖО помеха К
— СДОМаНЯЯ 142—НБ
Метрика 46

НсЯюнпьн cent 184

— — машкмюе мооелнроо»
гэс ксоинггмнок гам яти
211Г П6

—	сгр3У>т>7<1-“ олЛпэа

Нейрины 191

— «кдояросимис 196- 196

— еншмьмме святя 191—НК

— гМмигггмыОХб пласлтямост»
195» «6

— ф'/тцтоимьтас свойства
194—196

Корме 4?

— еяклелся» 47

.— к»тр1ппав 66

Обоэмченн* матеыатжмескме
43-79

— ватрячиыс 57—79

— сумма и праиАяслсмее* 57—
5В

Обрати 19-27. 41, ИЗ

— кскгсф^к 44

— шдоифиииия 142, 144

.- клкаЦ>н«миин 37—ЗВ, 139—
140

— рмшлнаээиэп 4.\ (29—135
— «гваонные Ks
Оргяиианхвя ни Грэму —

ШИНП-У W

ОртгЧии«.еьмые |«|кшцми 50—
52

— пириты ИЗ—164

Otmoimmm» 9. 14

— <*Ю»<»>РН 15—19

Память

— Яссоияатэенмг 9. 19

«• — ыылогомя 38—40

— — — сос:смнеа нохсль
107—109

— — гелшрл^асмкаа 32.
186 1ЯЯ

— — шашималя иттелх о шм-
ростах сетях 212 226

— — п«ологгт|)|пссмя рмс-
пределсянля 38—43

- — с обратней свжыо 20

— OtQ.HirwcttiM 12, 25, 96.
Кб

— нйронжам 1Й4

-----ягтиирафамегк»* 186—
188

- • ркирелелсяная 2t

— сгманеммескм 18

— <)llll«n/>:<Nt*XKIK 1КЖКН
Ito 212

— ыэкспммы«о«г> (ияннмэль
пйгь> числа 106—106

— на осжп! »««pai»»ocTia ЮЗ—
1П5

— «эсла. ближайшего к аргу-
авеягу 106

Проеминоатае операторы 73—
70

Ярк-тряпс-гя* (фтогмалкные 49

Faivrouoe 46
— nrnrxcou 46
— хамшенповс 40—47
Раялсмюмим 32. Сл. го»-«ги
Зявоымнакиие устрЫктва

Расямиямипе «брааов 129
139 См. томж* ОСрвэк
iiHMpiiivTNce 129—139

Рслмцшпп-мг структуры лап

ых 9* См. гоклге Структуры
отошсюЗ

- — •• алиям оСсаВиткк 93

Структуры стмси»»и»<1 14—24

•----для семаяттесмоб пдми-

тм 17—16

— » рсляипогше 15. 80

Теорая яямяти 184

— — иейрслиая НИ-^187

— хпмячесяаа 184—187

фильтр ноаяеым 116*. 166—169
»

ОГЛАВЛЕНИЕ

Пр*.ис*оме в русскому ясргаоау..................... 5

П[еджлов*г................................«	. . . . 9

ГлМ* I. Введение .................., ,.................II

1.1.	О ||ам1чео»ам смысле ассоимтаяны! шфирмядмом-
шх структур ....,-	....................И

1.1	I Снетеника модал» асслинктниесн намета , , 19

1.1	J Г1ММТММШ<1« ЗЮШв* € aCHOHMO OTWOUKtlNl 14

1.1	.31 Н»иипле»г* и ясней юмй о амле структур-
ных последматетнсстН! ..........................ГО

19. Методы реалювкм ассокытпмоб дыборка . . 24
1X1- Основные аарг» герметики йссоинатшаюш сл-
ил г ж ..........................................   24

1.22	Запомииааоскжс ^етрсйсгва, а д (яч уем не «Ф со-
" • ‘ а»'»*'........................ •  Ц

1.23	Алр'гаипж с игполмомннеы шетОАоо перем*
шжвммя . ........ ......29

1.2.4. Гояофвфрмккм вссздиктнмя память . . . S2
12.5 11стс*огра4««мескдж расирсделемкая асюик*-
тнмоя иамктъ . .	...	..........ЭВ

13. .Ча то кат менян» сбспмамсяия я мстодх.........43

1.11 Памъга литерноед яросфмстм	.	....	49

1X2- Магрениые обоанвчешея .....................57

1ЛД Допванитьежмие свойства натрии	.	...	61

1Д4. Матрмпые ураияснгл . .......................«

1X5 Нроенпиоиыс еоерапоры.......................73

ISA MvrptMiHu	*сми-ле»<»г 77

Гяааа 2 Матодм йссвинативмго лсмска................  ftll

1.1. Адрссмлы 1Ю ..................................К)

21.1. 1)р«1шмша миирсоаама с ikixukxw^jxwwi kw
Ml*.....................................    HI

2 IX П|и1М1*|> кидаровамия ко пркаыквм поиск "о
MivkOataiiiv клмч»-аыю словам .............fi)

2.13 Я«ык обравотим асссшяаияиыж структур дав
лап ......................................  80

2 2 УгпкАгтм глмнтн, лв^сусмыс м> еадпмлшас . . «6

22 1 Arctic ват **<*• мбириа на ixuofc чме1м*иою
СОвиадегая................................ ....	ОТ

22.2- Т«хнг»ескяя рс*лпк«ииа жчидаяшиной иянатм 9У
2X3 Ларжмслкмов гравнтм* н.мши.................103
2Д Октналльмыс accooartaituc нреобрхяовагая . • , 101
23.1 СЯС4*мнвя мсцм» анадигиаюП лихинатнмой ’
лммятн....................................., . . №7

2.12 Агтсигрсииатмнмлн выбор»* мн сг.-тс<иньгъм»я

зрехниил , ..............................100

22.3. Фильтр ношзим . ........................112

22.4. Л^томишнагкмое модярсоанме . ..... Щ
2А& Оп’ныллыше лпнеЛные аосшллтсзние «реев.

шипмиыя................................  119

2 ЗА Oimtw-uuiut мммнайние йшшматмым' nj»-

04рк1пыина ,	. . .	............... ИВ

2А7. Л(м*6м>мй иннарняктнет рмслоаи>«ан1« • . 1Я
222. Саг» между яестшватнммага пмобрылечявая-
ми, лгмйной perpecuaei и лг«е**ым «щемим-
акя.......................................... .137

2.4 Сяяаь асссилвтнвзых прехХрмэомнпВ с тсс^жев
ОЙрсКф .....................................  139

24.У JlHLApMtlUIMTMi»	(i)WvUMH................140

24.2 Методы	срамиаша ........................142

243. Статэстячж-мд формуларомм эесрин клжсп

фоками	оврааоа........................145

Гдам 3. Aatffhtuirf фср»мроааш*с Л1тмм|гь»-ып асташилнь
имя «ыеабрмоаамм* ....................................149

11. О реадиэлина усяомнш синего* в простых фяэиче-
ошх система* .	-	...	149

3.1.1 Преет а» адлпгматля липеОия истей* ... 14*
312 0 «|ыэическ9й редлюуышеги ахапэпвиыл мс*
хмнтоь .	 IM

32 Адяятммые <}«льтца UNiK.ianmw Dpiwc<aAMiu<
црмааин............................................157

32.1 Teupe лггеатсф*	aca»aiv . . .............158

31.j Ammiu аампнаиого лнмАмисо устрсАстаа спо-

к«ни«> юграчиыа лреидедсянД..................162

Л.2_31 Ся*-г» СыстрмЛ ,jjiiTi4H»a-l пронхх слюЗД
Аи/итра .......................................IW»

124. Адаятапая с мОаоммеы..........................1/1

13 Ракудоппсс ос«?7ро»иое сптима/ыксо эах«ялтчг>'
ноги арксЛромама .................................. ...	178

13.1,	Лнмнмыа керрактрукшт алгарнтми ... 178
31?. Обшм фсрыу.1мриыи» таиичс аышымш*
М •- YX»...........................................1Т7

131 Рекурфс«т».1я яигык* шилртшего itMacni |>*-
юениа <граявг»сгнм» rrf«»<ui»c*wurt мстсы) • .17В
13.4. Рнсурссатнэя «иг*Л»л ай1шучиаг»о «рифижен-
«ги решение (perptccaxilio* реиынйо) , . , IR&

33.5 Рекуррентное решение в облей	. ISI

Глаш 4. О бмеиоеммесалй аесмдм*тмм<Н1 панэгг* ..... 183

4.1	Ф«эо.юсачгсЯне оеяоеы пмннтн . . ...... 1ВЗ

4.1.1	. О мехмяэю» птмятн » 5м1ло«м1ео<нх смет*
мах .	. . . 1 	183
4.1.3	Структур*^ cirtfrrm пегсгсркх „гПраани/
erred	....... JU

41	J. фуитломдян*» oocdciMi «uCpcwcw ... IW
4.1.4 Маделии?*»» “r епшлтеческа! г.лхсимногтм 190
4 L$ Момло л» r»NU4itAT» «мисси. памяти с атам*
лгюсаэмя яямгяг-мн*»?..........................ЯЛ

41 Машнммс модели эссшиитивиоА памяти  иеОров-
«ых с*тих .	 212

4.11. ИММ№ ьсе«и^ятя!мкЛ	ест* ........ 213

42J Млада. ф«.п.ги пешопм.....................221

4.23 (Х*М« iMUncfux мд.«ог«1яыя подходом к ре*

1зе«-1»п проблемы.......................  ?Л

Лтгретур».............................................ПО

Предметней )ма>*ттла , ............................  235
УВЛЖАЕЛШЛ ЧИТАТЕЛЬ!

Влип мигания о содфамкми амипи <е о<'с***
л»нм, киястк nqioKua и други» ярении п^иехлитъ
по мресу 12ОДЦ Лк<ло», HIJOl ГСП. 1-Л Риж-
ски* псу., д. 2, юпателдетио «Мир».

Т. Ксдопеп
ACCOUHATliUHAM ПАМЯТЬ

СглумвЛ мз^ммГ ртцлгпф A. A. Карателен

Мишн* мгммВ (ним» К и • । <ммм

Худилат h И

Xy?caDucfWMibfi идягттф Л к

Tfairatcoul MiHW А П.
k«naca<rv> Н М Вел arm а

1«Б ЛЬ IW

Сдало a wa<krt ПЯЛ. IU гл асана ж вечатм tilt Ж

<Н<шг	Бумдгж ттХй i Г»*М

«%рй дгттретгмя Пачт. аьанллМ. CHv*X4frvri л.

>cjl пкг а. 15 Д1	Л Н.П Jtax М X»W<-

Т«и* W,**>* •***- м- U*** ** ювг’

О|акжа Т»х»ага Крлсжсг? Завамои AmvpiciJi
адемфафт М 3 нами Гаг«ат Гщд ill «C^W^

П»л I • . • г	и СССР

•олглжн мжЛлтсжа11к «лжнгхфчвв а илхиЛ тт^ое
ан 'Г-ЫВ?, Лкамаград. .Ж ИаилМгасввП я^чхшк^