Системы искусственного интеллекта: учебное пособие по дисциплине «Системы искусственного интеллекта» [В. И. Капля] (doc) читать онлайн

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
ВОЛГОГРАДСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
ВОЛЖСКИЙ ПОЛИТЕХНИЧЕСКИЙ ИНСТИТУТ (ФИЛИАЛ)

Капля В. И., Капля Е. В., Коробцова Е. В.





СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Учебное пособие











РПК «Политехник»
Волгоград 2006
УДК 004.032.26
Р е ц е н з е н т ы:
Филиал ГОУВПО «Московский энергетический институт (технический университет)» в г. Волжском, доцент кафедры
«Автоматизация технологических процессов и производств»,
канд. техн. наук Шамигулов П. В.
МОУ Волжский институт экономики, педагогики и права,
доцент кафедры математики, канд. техн. наук Матвеев В.В.

Капля В. И., Капля Е. В., Коробцова Е. В
Системы искусственного интеллекта: учебное пособие по дисциплине "Системы искусственного интеллекта" / ВолгГТУ, Волгоград, 2006. - 80 c.

ISBN 5 – 230 – 04639 - 2

Учебное пособие является базовым конспектом лекций по дисциплине "Системы искусственного интеллекта". В нем рассмотрены основные структуры и методы систем искусственного интеллекта.

Ил. 49. Табл. 1. Библиогр.: - 12 назв.

Печатается по решению редакционно-издательского совета Волгоградского государственного технического университета.

ISBN 5 – 230 – 04639 - 2
© Волгоградский государственный
технический университет, 2006

Введение

Системы искусственного интеллекта (СИИ) – это аппаратно-программные системы, предназначенные для решения двух основных задач:
• интенсификации процесса диалога человек-ЭВМ с целью создания новых творческих произведений;
• модельной проверки гипотез о структуре и особенностях творческих процессов.
Непосредственное воплощение СИИ находят в специальных интеллектуальных системах, в частности в роботах, нейрокомпьютерах. Технологические достижения СИИ применяются во многих программных продуктах. К ним следует отнести программы распознавания текстов, анализа изображений, распознавания речи. Программы, специализированные в определенных областях деятельности человека, принято называть “экспертными системами”.

1. Основные направления исследования СИИ

Назначение СИИ состоит в освобождении человека от трудоемких процессов обработки информации, накопления и применения знаний при решении сложных научно-технических задач.
Основные направления исследования СИИ:
1. Представление знаний (формализация).
2. Манипулирование знаниями: пополнение, классификация, обобщение, вывод новых знаний.
3. Общение на естественных языках и носителях с ЭВМ.
4. Восприятие зрительных сцен, речевых сообщений и текстов.
5. Обучение решению новых задач, повышению качества решений.
6. Поведение (учет состояния окружения).
Приведенная классификация исследовательских направлений не единственная. Все указанные направления не имеют четких границ, и в некоторой степени в каждом из них присутствуют все другие направления.
Разработка СИИ предполагает: определение структуры исходной информации; разработку алгоритмов обучения и работы; создание баз данных и знаний.
Распознавание образов – основной вид задач, решаемых СИИ. Термин “распознавание” является эквивалентом понятия “классификация” и предназначен для указания сложной структуры исходной информации. Объектами распознавания могут служить изображения, звуки, характеристики статистических данных. Выходным сигналом СИИ является вектор решений, отражающий принадлежность входного образа определенному множеству.

2. Классификация СИИ

Множественность параметров и свойств СИИ предполагает несколько способов классификации этих систем. Рассмотрим классификацию по уровню обученности системы. Такая классификация отображает уровень универсальности системы и значимость априорной информации для ее работы.

2.1. Системы без обучения

Система устанавливает принадлежность объектов множества  классам i, i=1,...,m. Свойства объекта определяются техническими средствами измерения (ТСИ). Анализ свойств производится с помощью блока алгоритмов распознавания (БАР) с использованием априорной информации (АИ). Схема СИИ без обучения приведена на рис.2.1.

Рис.2.1. Схема системы без обучения

В системах без обучения первоначальная априорная информация должна быть полной для того, чтобы определить априорный алфавит классов, построить априорный словарь признаков, произвести описание каждого класса на языке этих признаков, определить решающие границы и правила.

2.2. Обучающиеся системы

В тех случаях, когда первоначальной априорной информации достаточно для того, чтобы определить априорный алфавит классов и построить априорный алфавит признаков, но недостаточно для описания классов на языке признаков (либо использование априорной информации нецелесообразно), применяют обучающиеся системы.
Исходную информацию, необходимую для построения обучающихся систем распознавания, можно представить в следующем виде:
(2.1)
Множество объектов 1,...,z представляет собой обучающую последовательность объектов, каждый из которых характеризуется набором признаков x1,...,xN. Цель процедуры обучения - определение разделяющих функций Fi(x1,...,xN), i=1,...,m. Обучение проводится путем многократного предъявления системе распознавания различных объектов с указанием классов, к которым эти объекты принадлежат.
Обучающиеся системы распознавания "работают с учителем", как показано на рис.2.2. Эта работа заключается в том, что "учитель" (У) многократно предъявляет системе обучающие объекты (ОО) всех выделенных классов и указывает, к каким классам они принадлежат. Затем "учитель" начинает экзаменовать систему распознавания, корректируя ее ответы до тех пор, пока количество ошибок в среднем не достигнет допустимого уровня.

Рис.2.2. Схема обучающейся системы
режим обучения; режим экзамена

В состав обучающейся системы входят: ТСИ - технические средства измерения; БАО - блок алгоритмов обучения; АИ - априорная информация; БАР - блок алгоритмов распознавания. Обучение является формой адаптации системы при смене задачи распознавания.

2.3. Самообучающиеся системы

В случае, если первоначальной априорной информации достаточно лишь для определения словаря признаков x1,...,xN, но недостаточно для проведения классификации объектов, используются самообучающиеся системы. На стадии формирования самообучающейся системе предъявляют исходную совокупность объектов 1,...,z, заданных значениями своих признаков для 1 - ; ... ; для z - . Однако из-за ограниченного объема первоначальной информации система при этом не получает указаний о том, к какому классу объекты исходной совокупности принадлежат. Эти указания заменяются набором правил, в соответствии с которыми на стадии самообучения система распознавания сама вырабатывает классификацию и в дальнейшем ее придерживается. Выбранная системой классификация может отличаться от естественной.

Рис.2.3. Схема самообучающейся системы
режим самообучения; распознавание неизвестных объектов

В состав самообучающейся системы входят: ОС - объекты для самообучения; ТСИ - технические средства измерения; АИ - априорная информация; БАР - блок алгоритмов распознавания; ПК - правила классификации; ФК - формирователь классов.
Результаты решения задачи распознавания неизвестных объектов следует использовать для уточнения априорного описания классов, поэтому при построении систем распознавания целесообразно использовать принцип обратной связи. Блок априорной информации должен быть снабжен специальными алгоритмами корректировки априорных описаний классов.
Обучающиеся и самообучающиеся системы получают недостающую априорную информацию в процессе обучения или самообучения. Цель обучения и самообучения – выработать такое количество информации, которое необходимо для функционирования системы распознавания. Создание обучающихся и самообучающихся систем распознавания обусловлено тем, что на практике достаточно часто встречаются ситуации, когда отсутствует полная первоначальная априорная информация.

3. Средства и уровни понимания СИИ

Понимание – постижение смысла текста (или другого вида информации) и значения содержащейся в нем информации.
Средства понимания текстов:
• Герменевтика – использование только текста.
• Экзогетика – использование текста и всех сведений о контексте, в рамках которого этот текст создавался.
• Гомелетика – использование общих сведений о морально-этических нормах времени создания текста, мотивы и цели автора, его личностные характеристики.
Элементы средств понимания и их обозначения:
T – текст на естественном языке, предъявленный СИИ;
E – расширенный текст, включающий условия его порождения в некоторой среде;
P – расширенный текст, включающий его невербальные (неформальные) параметры, относящиеся к субъекту, создавшему текст;
TR – правила пополнения текста, опирающиеся на его структуру;
ER – правила пополнения текста, опирающиеся на знания о среде;
PR – правила пополнения текста, опирающиеся на знания о психологии личности;
A – ответ, формируемый системой;
K – знания в базе знаний;
F – факты, хранящиеся в базе фактов;
FRK – правила порождения знаний из фактов;
KM – метафорические знания;
KRM – правила порождения знаний метафорического уровня.
СИИ понимает текст, если она дает ответы, правильные с точки зрения человека (эксперта).

Рис.3.1. Общая структура системы понимания
Первый уровень понимания характеризуется схемой “TA”. СИИ этого уровня формирует ответ только на основе прямого содержания введенного текста Т. Лингвистический процессор проводит морфологический, синтаксический и семантический анализ текста и вопросов.

Рис.3.2. Первый уровень понимания
Второй уровень понимания характеризуется схемой “{T,TR}A”. СИИ использует средства логического вывода, то есть порождается информация, которая в явном виде в первоначальном тексте отсутствует. Например, при решении задачи поиска неисправности система способна локализовать положение неисправного элемента.

Рис.3.3. Второй уровень понимания
Третий уровень понимания характеризуется схемой “{T,TR,ER}A”. СИИ использует дедуктивный вывод и вывод по сценариям. Например, при решении задачи поиска неисправности система способна сообщить методы устранения выявленной неисправности.

Рис.3.4. Третий уровень понимания
Четвертый уровень понимания характеризуется схемой “{E,TR,ER}A”. СИИ выделяет условия возникновения текста и использует их для решения задачи. Например, при решении задачи поиска неисправности система способна сообщить причины возникновения неисправности.
Рис.3.5. Четвертый уровень понимания
Пятый уровень понимания характеризуется схемой “{P,TR,PR}A”. СИИ использует информацию о конкретном субъекте для коррекции своих ответов.

Рис.3.6. Пятый уровень понимания

Первый метауровень понимания характеризуется схемой “{F,FRK}K”. СИИ должна обучаться и пополнять свою базу знаний.
Второй метауровень понимания характеризуется схемой “{K,KRM}KM”. СИИ использует методы аналогий и ассоциации.

4. Классификация типов поведения

Поведение – взаимодействие субъекта с внешней средой, основанное на двигательной и психической активности.
Элементы поведения: наличие цели, наличие наблюдателя, наличие оценки. Цель может быть неосознанной субъектом в явной форме. Осознаваемый наблюдатель дает возможность субъекту взглянуть со стороны на свою деятельность. Роль наблюдателя может играть сам субъект или “мыслимый наблюдатель”. Наблюдатель должен формировать оценку деятельности субъекта. Наблюдатель является фоном, на котором планируется и строится поведение. Процесс достижения глобальной цели может включать достижение промежуточных целей, которые могут быть прямыми или косвенными.
Типы поведения:
• Нормативное поведение – определяется обществом (средой), к которому принадлежит субъект.
• Ситуационное поведение – определяется реальным, конкретным состоянием среды. Оно может вынудить нарушить правила нормативного поведения.
• Аналитическое поведение – характеризуется осознанностью целей и плана их достижения.
• Развлекательное поведение – направляется целями с низким уровнем осознания при отсутствии вреда другим индивидам.
• Игровое поведение - направляется целями нанесения ущерба противнику.

5. Модель поступка. Мотивы и реализации

Поступок имеет два основных элемента: мотив и реализацию. Эти элементы можно представить в виде пары графов: . Графы имеют одинаковый набор помеченных вершин:
I – субъект;
H – объект, на который направлен поступок;
T – оценивающий объект (наблюдатель);
N – окружающая среда;
U – морально-этические нормы общества;
S – свод юридических законов.
Вершины соединяются дугами, которым приписывают определенные коэффициенты, которые могут быть положительными или отрицательными (пунктирными). На рис.5.1 приведены графы мотива и реализации примера недальновидного поступка.

Рис.5.1. Графы примера недальновидного поступка

Субъект рассчитывает за счет положительного действия получить ответное действие с положительным весом , превышающим , то есть получить выгоду. Кроме того, он предполагает, что его персонифицированное окружение “Т” положительно воспримет его деятельность с весом , не смотря на отрицательную этическую оценку , то есть .
Если мотив и реализация в основном совпадут, то поступок следует характеризовать как “коростный”. Если вместо ожидаемой реализации, получится то, что соответствует графу , приведенному на рис.5.1, то поступок можно классифицировать как недальновидный.
Простейшие примеры графов других поступков приведены на рис.5.2. Для всех приведенных примеров считается, что мотив совпадает с реализацией.

Рис.5.2. Примеры простейших графов различных поступков

6. Машинное творчество, процедуры мышления

Основная задача машинного творчества – моделирование творческого процесса с целью использования известных и поиска новых закономерностей человеческого творческого мышления.
Человек не фиксирует своего внимания на большинстве процедур мышления. После успешного завершения поиска алгоритма решения задачи, считавшейся творческой, ее решение перестает считаться творческим процессом.
Основу творческого мышления человека составляют глобальные процедуры мышления:
1. Альтернативный выбор из множества вариантов.
2. Установление связей между начальной и целевой ситуациями.
3. Вычленение классифицирующей структуры.
4. Обобщение описаний.
5. Прогнозирование.
6. Заимствование ситуации из некоторого множества.
7. Варьирование ситуаций.
Художественные, научные и технологические произведения имеют определенную общую структуру:
• Основа – определенное множество исходных данных.
• Правила и ограничения, в том числе фантастические.
• Отклонения от правил, которые могут быть случайными, единичными и необязательными.
Литературное творчество строится на основе принципов литературных жанров, которым присущи определенные правила построения произведений:
• Задание исторических и предметных сцен.
• Разбиение персонажей на группы.
• Синтез сюжетной линии.
Стихотворные тексты не содержат полной информации и подразумевают неоднозначность восприятия, то есть читатель домысливает текст, ориентируясь на звуковую и эмоциональную направленность.
Методы машинной генерации литературных произведений используются в программах автоматического перевода и в системах диалога человек-ЭВМ.

7. Модель формирования условных рефлексов

Простейшим процессом обучения распознаванию можно считать формирование условных рефлексов. Процесс осуществляется на основе накопления положительного опыта, при этом способ определения результата опыта детально не рассматривается. Например, положительным результатом может являться факт превышения взаимной корреляционной функции двух изображений определенного порога.
Аналитические соотношения, описывающие формирование условных рефлексов, имеют следующий вид:
, (7.1)
где - реакция обучаемой системы на s раздражителей после обучающего шага n, a - безусловный раздражитель, b - нейтральный раздражитель, из которого формируется условный раздражитель, P(.) - предикат, принимающий значение, равное 1, если условие в скобках выполнено, и 0 - в противном случае, - параметр накопления воздействия нейтрального раздражителя, - порог срабатывания i-го раздражителя.
Параметр накопления воздействия нейтрального раздражителя определяется по следующим формулам:
, , (7.2)
где - случайный фактор (настроение), - функция запоминания,
- функции забывания, обмана (угасания условного рефлекса).
В процессе формирования условных рефлексов принято выделять моменты появления условного рефлекса и его угасания.
Пример возможного задания последовательности появления раздражителей и функций запоминания и угасания приведен на рис.7.1.


Рис.7.1. Диаграммы изменения функций, определяющих процесс формирования условных рефлексов

Кроме того, необходимо задать значение порога, например, N0=10. Результаты расчетов по формулам (1.1) и (1.2) удобно заносить в следующую таблицу.
Таблица 7.1.
Результаты формирования условного рефлекса
n
N
N
N
P
A
1
3
3
3
0
1
2
3
6
9
0
1
3
2
8
8
0
1
4
-1
7
7
0
0
5
3
10
13
1
1
6
-0
10
10
1
1
7
-1
9
9
0
1

Моменты пересечения порога срабатывания N0 представлены на рис.7.2.

Рис.7.2. Процесс накопления положительного опыта

Множество вариантов можно получить, варьируя уровни и диаграммы факторов, времена прерывания и прекращения положительных и отрицательных воздействий.

8. Корреляционная и пеленгационная характеристики изображений

Распознавание изображений, основанное на анализе их корреляционных свойств, считается помехоустойчивым, так как величина снижения корреляции пропорциональна уровню присутствующей помехи. Значения автокорреляционной функции (АКФ) и взаимной корреляционной функции (ВКФ) двух изображений лежат в интервале [-1, 1].
В ЭВМ изображения хранятся в виде двумерных массивов - матриц. Если изображение черно-белое, то элемент такой матрицы соответствует яркости точки изображения, значение которой квантовано и может принимать целые значения из диапазона 0-255. Цветные изображения кодируются в виде совокупности трех аналогичных матриц, каждая из которых содержит информацию об одной из цветовых компонент.
Изображение является исходной информацией для формирования набора фрагментов изображения, соответствующих определенным смещениям центра корреляционного отсчета. Следует отметить, что корреляционная функция определяется для бесконечных пределов суммирования (интегрирования), однако, для любого конкретного изображения это требование реализовать невозможно. Для решения практических задач можно вычислять приближенное значение АКФ или ВКФ, заранее ограничив пределы суммирования.
Критерием для определения размера фрагмента, ограничивающего процесс суммирования, служит радиус корреляции (РК) изображения. Существует несколько вариантов определения величины РК:
• величина относительного смещения изображений, при котором значение АКФ снижается до заданного уровня (например, 0.5 или 0.1 или 0);
• величина половины основания прямоугольника, площадь которого равна площади под графиком нормированной АКФ.
Определение радиуса корреляции, таким образом, требует использования АКФ, поэтому вычисление РК позволяет проверить правильность выбранного размера фрагмента. В первом приближении можно использовать следующее соотношение:
, (8.1)
где - размер фрагмента, - радиус корреляции.
Изображение имеет двумерную АКФ. При решении некоторых задач достаточно ограничиться одним сечением, например, горизонтальным, проходящим через центр. Использование одного сечения позволяет упростить аналитические соотношения.
Примем следующую систему обозначений: F0 - центральный фрагмент изображения, который участвует в вычислении АКФ и считается неподвижным, Fi - фрагмент, смещенный на i дискретов относительно центрального фрагмента. Пример разбиения изображения на фрагменты показан на рис.8.1.

Рис.8.1. Центральный и смещенный влево фрагменты изображения.

Алгоритм вычисления АКФ имеет следующий вид:
, (8.2)
где s - величина смещения {-3,-2,-1,0,1,2,3}, * - символ скалярного умножения матриц. Операция скалярного умножения матриц - это скалярное произведение векторов, образованных из элементов умножаемых матриц путем последовательного выстраивания их столбиков в вектора.
Ограниченность пределов вычисления АКФ приводит к потере некоторых свойств этой функции для стационарных процессов, например, симметричности. Для изображения, приведенного на рис.8.1, результат вычисления АКФ представлен в виде графика на рис.8.2.

Рис.8.2. Сечение АКФ фрагмента изображения

Оценить радиус изображения можно по следующей приближенной формуле: . (8.3.)
Наиболее точное значение РК получается при минимальном смещении, то есть при s=1. Если изображение считать изотропным, то целесообразно использовать усредненное значение по четырем возможным единичным смещениям фрагментов. Для ранее использованного изображения средний радиус корреляции вычисляется следующим образом:

В системах технического зрения находит применение метод пеленгационных характеристик. Этот метод позволяет оценивать величину рассогласования в положении двух идентичных изображений. В качестве примера можно рассматривать задачу поиска точки сверления отверстия в заготовке сложной формы. Алгоритм формирования пеленгационной характеристики можно рассматривать в качестве примера одной из форм процесса обучения. Изображение является исходной информацией для формирования набора фрагментов изображения, соответствующих определенным смещениям поля зрения системы. В качестве примера множества фрагментов поля зрения используем рис.8.1.
Задача определения направления смещения в горизонтальном направлении может быть решена с помощью формирования обобщенной матрицы смещений по следующей формуле:
. (8.4)
Для примера, приведенного на рис.8.1, процесс вычисления обобщенной матрицы смещений имеет вид:

Обобщенная матрица смещений по размерам совпадает с размером фрагмента. Пеленгационная функция в качестве аргумента имеет величину смещения и задается следующим аналитическим соотношением:
. (8.5)
Результаты расчета пеленгационной функции для рассматриваемого примера по формулам (8.4) и (8.5) представлены на рис.8.3.

Рис.8.3. Пеленгационная функция

Полученный результат наглядно иллюстрирует свойства пеленгационной функции:
• при отклонении фрагмента вправо от центра функция положительна, при отклонении влево - отрицательна;
• имеется участок функции (рабочая зона), где ее производная положительна;
• размер рабочей зоны пропорционален радиусу корреляции АКФ.
Результатом формирования ПХ является обобщенное изображение, которое запоминается системой и используется для поиска требуемого объекта. Обобщенное изображение имеет размер одиночного фрагмента, что позволяет ускорить процесс вычислений и сократить объем необходимой памяти.

9. Распознавание точечных изображений

Изображение некоторых объектов на снимках соответствует одиночным пикселям. Примерами таких систем являются системы навигации по звездам или оптические измерительные системы, использующие точечные маркеры [1]. Распознавание точечных объектов на изображениях имеет существенную особенность: радиус корреляции таких изображений составляет один пиксель. Применение обычных корреляционных методов для распознавания таких изображений невозможно, так как оптические и шумовые искажения разрушают узкие корреляционные пики.
Для идентификации точечных объектов применяют метод трасс и квазикорреляционный метод. Метод трасс предназначен для обработки последовательности кадров, которые соответствуют фазам перемещения объектов или носителя фотокамеры. Пример такой последовательности приведен на рис.9.1.

Рис.9.1. Последовательность кадров с точечными объектами

Трассы точечных объектов формируются путем совмещения краев кадров и последующим соединением ряда положений для каждого объекта, как показано на рис.9.2.

Рис.9.2. Формирование трасс точечных объектов
Полученные трассы позволяют анализировать положение и характер относительного движения точечных объектов.


Рис.9.3. Совмещение точечных изображений с помощью квазикорреляционного метода

10. Распознавание контурных изображений

Распознавание контурных изображений строится на основе определения параметров формы и ориентации контуров и соответствующих им объектов. Контур представляет собой множество упорядоченных координат точек. Каждой точке контура можно сопоставить комплексное число:
.
Параметры контура получают с помощью дискретного преобразования Фурье:
.
В результате преобразования получается вектор компонент преобразования Фурье:
.
Нулевая составляющая этого вектора представляет собой координаты геометрического центра контура.
Пара компонентов в обратном преобразовании Фурье соответствует эллипсу:
.
Этот эллипс соответствует максимально сглаженному исходному контуру, и угол наклона его главной оси отображает ориентацию контура на плоскости:
.
Определение размеров осей и угла наклона первичного эллипса позволяет нормализовать исходное изображение к параметрам эталонных образцов и осуществить классификацию одним из стандартных методов.

11. Модель живого нейрона

Кора головного мозга человека состоит из ~нейронов с высокой степенью межнейронных связей. Каждый нейрон связан примерно с других нейронов. Внутренность нейрона отделена от внешней среды плазматической мембраной. Различная концентрация положительных и отрицательных ионов внутри и вне нейрона создает разность потенциалов около 87 мВ. Нервы и мышцы способны генерировать электрические импульсы одинаковой амплитуды с длительностью 1 мс. Информация кодируется в виде количества и частоты этих импульсов.
Нейрон состоит из следующих частей: 1) тела (сомы); 2) синапсов – тонких отростков для связи с другими нейронами; 3) дендритов – коротких отростков, с которыми образуют контакт синапсы; 4) аксонов – длинных коммуникационных отростков, передающих импульсы от нейрона к мышцам и от органов чувств к нейрону; 5) глиальных (швановских) клеток – спирально закрученных клеток, покрывающих большую часть поверхности нейрона; 6) перехватов Ранвье – узкие (1 мкм) области контакта мембраны нейрона с окружающей средой; 7) разветвляющихся окончаний в мышечных волокнах. Схематичное изображение нейрона приведено на рис.11.1.

Рис.11.1. Структура живого нейрона и диаграмма импульсных последовательностей, генерируемых нейроном

Хорошей иллюстрацией работы нейрона служат диаграммы импульсных последовательностей, генерируемых нейроном. Диаграммы, демонстрирующие характер изменения импульсных последовательностей, формируемых зрительным нервом, приведены на рис.11.1. В качестве изменяемого параметра для этих диаграмм использована интенсивность световой вспышки А, последовательно уменьшаемая в 10 раз.

12. Модель нейрона. Классификация НС

Математическая модель нейрона была создана на основе представления нейрона в виде элемента, суммирующего сигналы, поступающие в него через синаптические связи. Каждому синапсу приписывается определенный коэффициент передачи (вес) электрических сигналов нервной системы. Нелинейные свойства нейрона моделируются с помощью специальной функции, которую часто называют “активационной”. Простейшая модель нейрона приведена на рис.12.1.

Рис.12.1. Модель нейрона

Математические зависимости модели нейрона имеют следующий вид:
, .
В качестве активационной функции используются либо скачкообразные функции, либо непрерывные функции. Первый тип функций проще реализуется, а второй необходим для аналитических исследований свойств нейронов. Одна из возможных форм задания активационной функции и ее первой производной:
, .
График активационной функции представлен на рис.12.2.

Рис.12.2. Непрерывная активационная функция

Множество связанных нейронов образуют нейронные сети (НС). НС в зависимости от вида основных элементов можно классифицировать следующим образом:
1. По структуре сети: сети полносвязанные, сети слоистые, сети специальной структуры.
2. По типу взаимодействия нейронов: сети с парным взаимодействием, сети с множественным взаимодействием, сети с взаимодействием нейрона с самим собой, сети с симметричным и несимметричным взаимодействием.
3. Сети с дискретными и непрерывными состояниями нейронов.
4. Сети с дискретным и непрерывным временем.
5. Сети с детерминированной или стохастической динамикой, сети синхронного, параллельного или последовательного действия.
6. Сети с различными функциями возбуждения нейронов.
7. Сети с различными алгоритмами обучения и самообучения.

13. Алгоритм обучения персептрона

Однослойные НС иногда называют персептронами. Первые опыты с НС состояли в распознавании изображений цифр. В качестве входных сигналов использовались сигналы матрицы фотоприемников. Весовые коэффициенты соответствовали регулируемым коэффициентам усиления фотоприемников. Каждому выходному каналу НС сопоставлялась одна из распознаваемых цифр , то есть выходной сигнал должен был равняться единице только в случае предъявления персептрону строго определенной цифры.
Настройка весовых коэффициентов осуществлялась по специальному алгоритму обучения, который состоял в следующем:
• Подать входной образ и вычислить выходной сигнал .
• Если выходной сигнал верен, то коррекция весовых коэффициентов не проводится.
• Если выходной сигнал не верен, и , то к вектору весовых коэффициентов прибавить вектор входных сигналов.
• Если выходной сигнал не верен, и , то из вектора весовых коэффициентов вычесть вектор входных сигналов.

14. Топологические свойства однослойных, двухслойных и трехслойных НС. Теорема Минского

Количество слоев НС определяет ее возможности по распознаванию изображений. Если рассматривать в качестве входного вектора НС координаты некоторой точки плоскости, то каждый нейрон однослойной сети может определить факт принадлежности точки определенной полуплоскости.
Будем считать, что (x,y) – координаты точки плоскости и одновременно входные сигналы нейрона. Соответствующая схема нейрона представлена на рис.14.1.

Рис.14.1. Нейрон и соответствующая разделительная линия двух полуплоскостей

Сигмоидальная сумма определяется по следующей формуле:
.
Соответствующее каноническое уравнение прямой, являющейся границей двух полуплоскостей, имеет вид:
.
В одной полуплоскости сигмоидальная сумма s>0, а в другой s<0, что отображено на рис.14.1.
Известно несколько теорем об ограниченности функциональных возможностей НС. Одной из таких теорем является теорема Минского.
Теорема Минского 1: Однослойный персептрон не может воспроизвести функцию «исключающее или».
Рассмотрим доказательство теоремы, построенное на геометрической интерпретации входных сигналов персептрона и логической функции. Персептрон должен иметь два входа, что соответствует двум аргументам функции «исключающее ИЛИ». Таблица истинности этой функции показана на рис.14.2.

Рис.14.2. Множества, которые соответствуют функции “исключающее ИЛИ”

Будем считать, что x, y – координаты точек плоскости, имена которых указаны в правом столбике таблицы истинности. Точки Т1 и Т4 должны принадлежать множеству, которое соответствует значениям функции z=1, а точки Т2 и Т3 – множеству z=0. Один из вариантов конфигурации таких множеств приведен на рис14.2.
На вход персептрона подаются координаты (х,у), которые умножаются на весовые коэффициенты w1 и w2, а затем складываются со смещением w0:
.
Полученная синаптическая сумма преобразуется активационной функцией в выходной сигнал . Выше было показано, что персептрон осуществляет линейное разделение точек плоскости, однако, как видно из рисунка, пары точек {Т1,Т4} и {Т2,Т3} невозможно разделить прямой. Таким образом, персептрон не способен воспроизвести функцию «исключающее или».
Двухслойная НС может решить более сложные задачи, комбинируя во втором слое нейронов выходные сигналы нейронов первого слоя. Для задачи идентификации положения точки этот тезис можно интерпретировать следующим образом: выходной сигнал нейрона второго слоя определяет факт принадлежности точки выпуклого многоугольника, граничные линейные участки которого определяются нейронами первого слоя. Например, для разделения множеств и , показанных на рис.14.3, необходима двухслойная НС, первый слой которой должен состоять из трех нейронов, а второй - из одного.

Рис.14.3. Области классификации точек плоскости и соответствующая двухслойная нейронная сеть, идентифицирующая точки плоскости

Весовые коэффициенты первого слоя рассчитываются на основе геометрических представлений и следующих аналитических соотношений:
, .
Из приведенных соотношений видно, что матрица весовых коэффициентов W1 и вектор смещений V1 могут быть получены в результате трансформации системы уравнений для прямых, проходящих через заданные точки плоскости. Важным моментом является переход от системы уравнений к системе неравенств, который осуществляется для каждого равенства так, чтобы точки, принадлежащие выпуклому многоугольнику, обеспечивали компонентам функции Q(X,Y) одинаковые знаки, для определенности - положительные. Из аналитической геометрии известно, что если прямая задается уравнением: aX+bY+c=0, то вектор (a,b) направлен в сторону положительной полуплоскости, образуемой этой прямой. Таким образом, если вектор (a,b) направлен во внешнюю сторону многоугольника, то для получения требуемого неравенства необходимо изменить знаки коэффициентов: -aX-bY-c>0, в противном случае изменения знаков не требуется: aX+bY+c>0.
Для примера, приведенного на рис.14.3, весовые коэффициенты нейронов первого слоя определяются следующим образом:
,, ,
Результирующий сигнал преобразуется с помощью активационной функции, приведенной на рис. 14.4. Если классифицируемая точка попадает в положительную полуплоскость, то выходной сигнал . Точку можно считать принадлежащей заданной области, только в том случае, если все выходные сигналы равны 1. Весовые коэффициенты нейрона второго слоя должны быть подобраны так, чтобы выполнялось неравенство: . Например, , .

Рис. 14.4. Ступенчатая активационная функция

Трехслойные НС позволяют распознавать области плоскости, форма которых не ограничена требованием выпуклости, так как она образуется логической комбинацией выпуклых многоугольников. На рис.14.5 представлены примеры таких фигур.

Рис.14.5. Распознаваемые области

Точки A, B и D лежат на одной прямой и это позволяет ограничить число нейронов в первом слое до пяти. Если бы продолжение прямой CD проходило выше точки А, то НС пришлось бы дополнить шестым нейроном.

Рис.14.6. Пример трехслойной нейронной сети

Первый слой НС определяет множество полуплоскостей, второй слой нейронов формирует выпуклые многоугольники, а третий слой комбинирует многоугольники для образования требуемых фигур, не обладающих свойством выпуклости.

15. Свойства НС Хопфилда

НС Хопфилда является однослойной НС, предназначенной для распознавания бинарных образов. Сеть охвачена обратной связью, как показано на рис.15.1.

Рис.15.1. НС Хопфилда
Сеть используется в качестве ассоциативной памяти. Сеть должна уметь на основе двоичного неидеального сигнала на входе сформировать сигнал идентификации или отказа на выходе. Весовые коэффициенты сети вычисляются на основе эталонной информации, которая имеет формат входной информации. - где , - количество эталонов. Если , то сигнал распознан.
. (15.1)
Число запоминаемых образов должно удовлетворять ограничению: . Кроме того, эталоны попарно должны иметь существенные корреляционные отличия. Появление на входе системы нового сигнала вызывает переходный процесс, который описывается следующими векторными соотношениями:
, , .
Возможными результатами переходного процесса могут являться:
• Одно из эталонных изображений .
• Негатив одного из эталонных изображений .
• Зацикливания длины 2 некоторых битов выходного сигнала – отказ от распознавания.
Рассмотрим пример распознавания бинарных изображений с помощью НС Хопфилда. Даны два образца изображений
,
и входное, распознаваемое изображение
.
В этом случае m=2, n=16, т.е. выполняется неравенство , возможно использование НС Хопфилда.
Данные матрицы преобразуем по столбцам в вектора:
,
,
.
Матрица весовых коэффициентов сети:

Формирование i-го элемента выходного сигнала происходит следующим образом: i-я строка матрицы скалярно умножается на вектор входного сигнала. Полученное значение подставляется в активационную функцию. Например, первый элемент выходного вектора равен:
.
Выходной вектор НС имеет вид:
.
Второй и третий выходные сигналы рассчитываются аналогично, но в качестве входного сигнала используется предыдущий выходной сигнал.
,
.
Третий выходной сигнал в точности повторяет первый, это говорит о зацикливании нейронной сети.

Рис. 15.2. Два образцовых изображения Z1, Z2, входной вектор Z3,
выходные вектора Y1, Y2, Y3.

16. Свойства НС Хемминга

НС Хэмминга формирует на выходе номер распознанного эталона. Сеть состоит из двух слоев, с обратной связью во втором слое, как показано на рис.16.1. Сеть выбирает только один эталон с минимальным расстоянием Хэмминга до входного сигнала и активизирует только один выход сети, соответствующий этому эталону.

Рис.16.1. НС Хэмминга

Весовые коэффициенты 1-го слоя инициируются следующими значениями: , , где - номер эталона, - номер входного сигнала. Весовые коэффициенты второго слоя назначаются следующим образом: , если , иначе . Число запоминаемых образов должно удовлетворять ограничению: .
Выходные сигналы первого и второго слоев имеют вид:
, ,
, .
Активационная функция первого слоя – линейная функция, второго слоя – положительная линейная ограниченная функция. Активационная функция и матрица второго слоя НС Хэмминга показаны на рис.16.2.

Рис.16.2. Активационная функция и матрица весовых коэффициентов второго слоя

Матрица имеет отрицательные и положительные элементы. Такая матрица сохраняет наибольший сигнал и ослабляет до нуля меньшие сигналы. От каждого сигнала, кроме максимального, вычитается часть других, пока он не станет нулевым (отрицательные значения исключены активационной функцией).

17. Синхронные параллельные и последовательные НС с дискретными и непрерывными состояниями и временем

Рассмотрим НС с парным взаимодействием [5]. Действие нейрона самого на себя будем считать отсутствующим. Фрагмент такой НС показан на рис. 17.1.

Рис.17.1. Фрагмент НС с парным взаимодействием
В начальный момент сеть характеризуется вектором начальных состояний: . Процесс дальнейшего изменения состояний нейронов определяется следующим уравнением:
,
где - активационная функция, - вектор потенциала активации.
Динамические свойства НС определяют одним из следующих правил:
• Синхронная динамика – каждый момент времени активны все нейроны: .
• Параллельная динамика – множество активных нейронов зависит от времени и определяется специальной функцией: .
• Последовательная динамика – нейроны работают по одному; номер активного нейрона определяется по некоторому правилу, например случайно или в зависимости от величины выходных сигналов в текущий момент времени.
Состояния НС дискретны или непрерывны, если дискретна или непрерывна активационная функция.
НС с симметричными связями , дискретными состояниями и синхронной динамикой может иметь группы зацикленных нейронов; длина зацикливания ограничена числом состояний нейрона. Последовательная динамика исключает зацикливания состояний нейронов. Параллельная динамика в общем случае уменьшает количество зацикленных нейронов, но полностью их исключить не способна.
НС с непрерывными состояниями в зависимости от вида динамики и крутизны активационной функции может иметь следующие виды предельных состояний: стационарное состояние, периодический режим, квазипериодический режим и хаотический режим.
Модель НС с непрерывным временем задают с помощью следующих уравнений:
, ,
где - линейный выход нейрона, - нелинейный выход, - внешний сигнал, - инерционность нейрона. Предельные состояния такой НС всегда стационарны.

18. Метод обратного распространения ошибки

Обучение нейронной сети методом градиентного поиска, с учетом слоистой структуры, называется методом обратного распространения ошибки (МОРО). Данный метод хорошо изучен и достаточно устойчив. Сигналы ошибки распространяются от выходов НС к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Согласно методу наименьших квадратов минимизируемой целевой функцией ошибки НС является сигнал ошибки обучения:
, (18.1)
где - реальное выходное состояние нейрона j выходного слоя N нейронной сети при подаче на ее входы p-го образа; - идеальное (желаемое) выходное состояние этого нейрона. Суммирование ведется по всем нейронам выходного слоя и по всем обрабатываемым сетью образам. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов следующим образом:
,
где - весовой коэффициент синаптической связи; - номер нейрона; - номер входа нейрона; - номер слоя; - коэффициент скорости обучения, . Производная сложной функции имеет вид:
,
где - выход нейрона ; - взвешенная сумма входных сигналов, то есть аргумент активационной функции. Для производной сигнала ошибки по выходному сигналу имеем:
.
Здесь суммирование по выполняется среди нейронов слоя .
Введя новую переменную
,
получим рекурсивную формулу для расчетов величин слоя из величин слоя :
.
Для выходного слоя:
.
Теперь можно записать основное выражение для весовых коэффициентов в обобщенномвиде:

Рассмотренный метод обучения не всегда приводит к правильному решению, что обусловлено рядом причин. Во-первых, в процессе обучения может возникнуть ситуация, когда большие положительные или отрицательные значения весовых коэффициентов сместят рабочую точку на сигмоидах многих нейронов в область насыщения. Малые величины производной от логистической функции приведут к остановке обучения, что парализует НС. Во-вторых, применение метода градиентного спуска не гарантирует, что будет найден глобальный, а не локальный минимум целевой функции. Эта проблема связана еще с одной, а именно - с выбором величины скорости обучения. Занижение скорости обучения приводит к увеличению длительности обучения. С другой стороны, слишком большие коррекции весов могут привести к потере устойчивости процесса обучения. Несмотря на указанные недостатки, рассмотренный метод считается одним из наиболее эффективных.

19. Матричная форма МОРО

Наиболее просто метод обратного распространения ошибки представляется в матричной форме. Прямое распространение сигнала по НС, состоящей из N слоев, описывается следующей системой уравнений:
, , …, , , …,
, .
Каждый вектор входного сигнала наращивается единичной компонентой, так как необходимо учитывать величину смещения в каждом слое нейронов. Обратное распространение сигнала ошибки по НС позволяет вычислить корректирующие коэффициенты с помощью следующих уравнений:
, …, , …,
,
где – функция удаления последней строки матрицы, соответствующей вектору смещений нейронного слоя.
Коррекция весовых коэффициентов НС проводится с помощью следующих уравнений:
,…, ,…, ,
где – коэффициент скорости обучения.

20. Генетический алгоритм обучения НС

Генетический алгоритм обучения состоит в совмещении процедур случайного и направленного поиска оптимального решения задачи обучения. Рассматривается сразу несколько вариантов решения (популяция), которые случайным образом заполняют область допустимых решений. Из текущей популяции строится новое поколение путем применения специальных процедур:
• Селекция – наилучшие представители популяции напрямую попадают в следующее поколение.
• Скрещивание – из представителей популяции получается два новых, посредством разрыва этих представителей по одному и тому же сечению и обмена полученными частями.
• Мутация – представитель популяции изменяется в результате замены части его элементов на противоположные.
Работа этих процедур носит случайный характер в соответствии с приписываемыми им вероятностями:
.
Численность популяции на каждом шаге ограничивается на основе схемы селекции и критерия оптимизации. В качестве такого критерия в первую очередь используется критерий минимума невязки (18.1). Каждая новая популяция циклически обучается путем применения одного из известных методов с последующей генерацией нового поколения. Реализация генетического алгоритма обучения требует значительно больших вычислительных ресурсов по сравнению с методом обратного распространения ошибки.

21. Сходимость алгоритмов обучения

Сходимость алгоритмов обучения зависит от параметров разделимости множеств распознаваемых объектов. Идеальное обучение возможно лишь в том случае, если множества распознаваемых объектов разделимы на множестве функций, реализуемых обучаемой системой. Кроме того, решения задачи обучения могут не обладать свойством однозначности.
Процесс обучения может быть представлен в следующем виде:
.
В этом случае алгоритм сходится, если выполняются следующие условия: , , .
Коэффициент скорости обучения влияет на устойчивость процесса обучения. На рис.21.1 приведены три графика изменения невязки в процессе обучения для трех значений этого коэффициента.

Рис.21.1. Пример влияния коэффициента скорости обучения на процесс обучения

Наиболее близким к оптимальному значению, судя по полученным графикам, следует считать , так как на графике для видно несколько кратковременных срывов процесса обучения, а график для соответствует замедленному уменьшению невязки.

22. Самоорганизующаяся коммуникация в системе с нейросетевым управлением

Примером эффективного применения НС служит решение задачи управления коллективом роботов, занимающихся поиском и сбором мин.
Каждый робот управляется НС прямого распространения с сигмоидальной активационной функцией. Обучение проводится генетическим алгоритмом. Структура нейросетевой системы управления одного работа приведена на рис.22.1.

Рис.22.1. НС система управления роботом
Входными сигналами системы являются:
• - информация о не обезвреженных минах;
• - сигналы направленных приемников коммуникационной информации от других роботов;
• - расстояние до j-той мины или робота в i-том секторе;
• - параметр чувствительности робота;
• – интенсивность излучаемого роботом коммуникационного сигнала.
Расчетные соотношения для входных сигналов:
, .
Обучению подвергаются 52 весовых коэффициента и параметр . Вероятность скрещивания – 0,8, мутации – 0,05. Критерий оптимизации – количество обезвреженных мин в течение 100 единиц времени. Через каждые 100 единиц времени генерируется новое поколение.
Результаты моделирования процесса сбора мин роботами представлены в виде графика (рис.22.2). Начальный участок длинной 1000 единиц времени был отведен для обучения системы, и поиск осуществлялся случайным образом. Разминирование выполнялось автоматически за 5 единиц времени. Карта имела размер 160х100 клеток/шагов, и на ней находилось 800 мин. Дальность обнаружения мин составляла 3 дискрета.

Рис.22.2. Результаты моделирования процесса сбора мин
Линия «А» на графике соответствует работе системы без обучения, то есть на основе случайного поиска. Линия «В» соответствует работе обучающейся системы, но без использования коммуникационных сигналов. Линия «С» соответствует работе обучающейся системы, использующей коммуникационные сигналы.

23. Структура микросхем, реализующих НС элементы

Специализированные цифровые нейронные кристаллы реализуют архитектуру, основанную на сочетании небольших процессорных блоков и матричных элементов памяти. Такая архитектура использует специфическую особенность НС: массовое, параллельное, многократно повторяемое умножение матрицы на вектор. В ОЗУ таких микросхем сохраняются матрицы весовых коэффициентов и входные вектора. Управление осуществляется с использованием специальных команд:
• загрузка весовых коэффициентов и данных;
• движение информации через память весов;
• коррекция весовых коэффициентов.
Технологические особенности микросхем ограничивают количество межнейронных связей; поэтому появилось несколько типов микросхем, отличающихся способами организации связи между нейронами. Наиболее просто организованы клеточные НС, структура ячеек которых показана на рис.23.1. Такая структура образована непосредственными связями нейрона только с ближайшими нейронами и магистральной связью с другими ячейками нейронов.

Рис.23.1. Структура ячейки клеточной НС
Один из возможных вариантов организации многослойной НС на основе клеточных НС микросхем приведен на фрагменте А рис.23.2.

Рис.23.2. Многослойная клеточная НС и мультиплексная НС интегральная схема
Распознавание изображений и другие высоко информативные задачи требуют использования НС с большим количеством нейронов. При этом возникает проблема большого числа входов и выходов интегральных микросхем, реализующих НС. Мультиплексирование, то есть использование одних и тех же выводов микросхемы для передачи различных сигналов за счет их временного чередования, позволяет решать эту проблему. На фрагментах В и С рис.23.2 приведены соответственно электрическая и структурная схемы мультиплексной НС интегральной схемы. Схема организации вычислительных процессов в мультиплексной НС интегральной микросхеме приведена на рис.23.3. Такая схема позволяет организовать вычисления синхронно с поступающей входной информацией и сократить число вычислительных элементов.

Рис.23.3. Схема организации вычислительного процесса
В настоящее время, микросхемы, реализующие НС элементы, используют для разработки нейросетевых компьютеров, представляющих собой результат интеграции обычных последовательных ЭВМ и нейросетевых плат.

24. Распознавание образов на основе критерия Байеса

Условием непосредственного использования критерия Байеса [2] для распознавания образов является условие полноты априорной информации. Если это условие не выполняется, то необходимо дополнительно использовать процедуры обучения или самообучения.
Считаются известными следующие величины:
возможные классы;
априорные вероятности появления объектов;
условные плотности вероятности признака;
признак, по которому осуществляется классификация.
Априорная информация используется для определения величины , которая является пороговым значением, относительно которого происходит классификация.
Правило принятия решений при классификации:
если , то ,
если , то .
Вероятностный характер распознавания допускает возможность возникновения ошибочной классификации, которую принято характеризовать вероятностями ошибок первого и второго рода. Иногда, эти ошибки называют ложной тревогой и пропуском цели соответственно.

Рис.24.1. Порог критерия Байеса
Ошибка первого рода соответствует ситуации, когда распознаваемый объект принадлежит первому множеству, но классификатор относит его ко второму классу. Вероятность ошибки первого рода определяется по формуле:
.
Ошибка второго рода: .
Условные вероятности правильных решений:
, .
Выбор значения проводят на основе учета потерь, сопряженных с правильными и ошибочными решениями. Величины потерь задаются в виде платежной матрицы:
.
Средний риск при многократном распознавании неизвестных объектов равен сумме потерь, связанных с неправильными и правильными решениями с учетом вероятностей их появления и априорными вероятностями появления объектов классов и :

. (24.1)
Пороговое значение признака для критерия Байеса выбирают так, чтобы средний риск был минимален, для чего необходимо решить уравнение: .
Вычисление производных слагаемых среднего риска приводит к следующему уравнению:
.
Окончательна форма уравнения для определения порога имеет вид:
, (24.2)
где - функция отношения правдоподобия,
- критическое значение коэффициента правдоподобия.

25. Распознавание образов с применением минимаксного критерия

Минимаксный критерий используется для построения систем распознавания, когда априорные вероятности появления объектов соответствующих классов неизвестны. В этом случае невозможно минимизировать средний риск и байесовская стратегия непосредственно неприменима.
Минимаксный критерий рассматривает наихудший вариант величин априорных вероятностей по отношению к величине среднего риска . Рассматривая классификацию на два класса, можно считать, что справедливо равенство: . Это равенство позволяет записать формулу для среднего риска (30.1) в виде функции от априорной вероятности. Типичный вид такой функции приведен на рис.25.1. Точки графика вычисляются путем решения уравнения байесовской стратегии (24.2) для каждого значения априорной вероятности .

Рис.25.1. Зависимость среднего риска от априорной вероятности
Минимаксная стратегия соответствует точке С, выбор которой обеспечивает то, что при любом значении априорной вероятности средние потери не будут превышать . Значение порога минимаксного критерия определяется из уравнения:
.
Вычисление производных слагаемых среднего риска приводит к следующему уравнению:
.
Иногда используют упрощающие соотношения и обозначения: , , . В таком случае уравнение для порога критерия минимакса имеет вид:
.
Выбор иной стратегии, например стратегии, соответствующей точке А, приводит к тому, что на интервале средний риск меньше , но на интервале потери будут больше гарантированного значения .
Минимаксная стратегия есть байесовская стратегия для наихудших значений априорных вероятностей, дающая осторожное, но гарантированное значение среднего риска.

26. Распознавание образов с применением критерия Неймана - Пирсона

Критерий Неймана-Пирсона используется для построения систем распознавания в условиях, когда неизвестны априорные вероятности появления заданных классов и платежная матрица C.
Критерий состоит в том, что задают допустимое значение условной вероятности ошибки первого рода и находят минимум условной вероятности ошибки второго рода. Из доступной информации задают условие:
.
Из определения условных вероятностей ошибок первого и второго рода и из рис.24.1. видно, что уменьшение порогового значения приводит к росту ошибки первого рода и уменьшению ошибки второго рода. Следовательно, минимальное значение ошибки второго рода достигается при максимально допустимом значении ошибки первого. Уравнение для порога критерия Неймана-Пирсона имеет вид:
.
Значение параметра задается на основе опытной информации о процессе распознавания в конкретных условиях.

27. Процедура последовательных решений в распознавании образов

Процесс распознавания часто строится не на одном признаке, а на некотором множестве признаков (векторе признаков), физическая природа которых существенно различна. Увеличение числа признаков приводит к росту стоимости распознавания, поэтому стремятся к минимизации размерности вектора признаков. Процедура последовательных решений предназначена для решения задач распознавания при использовании минимального числа признаков и состоит в следующем:
• После измерения очередного признака задействуется алгоритм распознавания, использующий все имеющиеся к данному моменту времени признаки.
• В зависимости от результатов распознавания либо объект считается распознанным, либо принимается решение о необходимости продолжения измерений.
Процедура последовательных решений на каждом шаге формирует два пороговых значения для функции отношения правдоподобия. Для этого задаются допустимыми значениями ошибок первого и второго рода. Значения порогов вычисляют по формулам:
, .

Рис. 27.1. Критические области процедуры последовательных решений
Значение функции отношения правдоподобия вычисляют по формуле:
.
Алгоритм процедуры последовательных решений:
• Если , то распознаваемый объект .
• Если , то распознаваемый объект .
• Если , то принимается решение о получении очередного нового признака.
Процедура последовательных решений применяется, например, для диагностирования некоторых заболеваний, когда получение новых анализов о состоянии организма больного связано с риском для здоровья.

28. Пример определения пороговых значений для вероятностных алгоритмов распознавания

Заданы следующие функции условной плотности вероятности:
,
.
Параметры и константы этих функций имеют следующие значения:
, , , , , , .
Графики функций и приведен на рис.28.1.


Рис.28.1. Графики функций условной плотности вероятности

С целью упрощения процесса поиска пороговых значений, параметры распределений подобраны так, что для всех критериев значения порогов находятся в интервале [x1,x2], поэтому в уравнениях используются правая ветвь функции f1(x) и левая - f2(x). Для критерия Байеса уравнение имеет вид: .
Подстановка численных значений и последовательные преобразования позволяют получить квадратное уравнение:
, ,
, .
Решение квадратного уравнения дает следующее значение порога критерия Байеса: .
Уравнение для порога критерия минимакса имеет вид:
.
Подставив в это уравнение заданные функции получим:
,
, ,
.
Решение кубического уравнения дает следующее значение порога критерия минимакса: .
Уравнение для порога критерия Неймана-Пирсона имеет вид:
.
Подставив в это уравнение заданные функции, получим:
,
, ,
.
Решение кубического уравнения дает следующее значение порога критерия Неймана-Пирсона: .

29. Фонетическая и просодическая структуры речи. Распознавание речи

Фонема – минимальная смысловая единица речи. В русском языке 42 фонемы: 6 гласных и 36 согласных; в английском – 20 гласных и 24 согласных; во французском – 16 гласных и 20 согласных.
Аллофоны – оттенки фонем, появление которых обусловлено влиянием соседних фонем. Количество аллофонов гласных – 480, согласных – 8800.
Просодия речи – лингвистическое понятие, отображающее интонацию и ударение системы речевого общения. Она позволяет:
• определять коммуникативную направленность высказывания;
• определять логический смысл;
• выделять главное и общее;
• вычленять семантически связанные отрезки речи.
Интонация и ударение физически реализуются совокупностью акустических средств – просодических характеристик речи, к которым относятся:
• мелодика – изменение частоты основного тона голоса;
• ритмика – текущее изменение длительности звуков и пауз;
• энергетика – текущее изменение интенсивности звука.
Процесс чтения текста предполагает наличие процедуры формирования основного тона, интенсивности звука, длительности звуков и пауз на основе анализа входного текста. Преобразование текста в последовательность фонем должно сопровождаться выделением информации, необходимой для задания просодических характеристик речи.
Речевой аппарат человека представляется в виде двух параллельных каналов – ротового и носового, образующих единую акустическую систему, возбуждаемую периодическими колебаниями голосовых связок, либо турбулентным шумом. Распространение акустических волн в такой системе описывается уравнением Вебстера:
,
где – функция площади сечения тракта вдоль оси распространения волн, Р – акустическое давление, с – скорость звука, t – время.
В результате решения уравнения получается аналитическое выражение для передаточной функции речевого тракта:
,
где р – комплексная переменная, - постоянная времени, - коэффициент затухания. Такая формула соответствует произведению резонансных звеньев, каждое из которых соответствует определенной n-ной форманте и m-ной антиформанте речевого сигнала. Анализ передаточных функций речевого тракта показал, что достаточно полно описать акустические характеристики можно используя формантную модель, показанную на рис.29.1.

Рис.29.1. Формантная модель акустики речевого тракта
Основные параметры формантной модели:
- частота основного тона, - частоты 1,2,3-й формант,
- амплитуды ротовых и носовых формант голосового возбуждения, амплитуда аспиративного возбуждения, - амплитуда, частота и полоса пропускания фрикативных (губных) формант.
Приведенная модель используется в системах синтеза речи.
Трудности в распознавании речевых образов связаны с чрезвычайной изменчивостью основных характеристик речевого сигнала. Информационная структура речевого сигнала складывается из следующих групп элементов:
• элементы информационной структуры – смысловое содержание, физическое и эмоциональное состояние, индивидуальность голоса, характеристики среды;
• элементы слухового восприятия – фонемный состав, интонация, тембр, громкость, тон, темп;
• виды модуляции – спектральная, амплитудная, частотная, фазовая, широтная модуляция, манипуляция переносчиками;
• типы переносчиков – тональный, импульсный, шумовой.
Процесс передачи информации о фонемном составе связан с постоянной сменой комбинаций включения переносчиков, с изменением частоты основного тона на смычках звонких взрывных звуков.
Свойства речевой системы связи:
• В процессе речевого общения осуществляется параллельная передача различных видов информации.
• Для передачи каждого вида одновременно используется несколько видов модуляции.
• Все виды модуляции участвуют в процессе передачи информации.
Распознавание речевых сигналов требует применения разнообразных методов. Достаточно устойчивые образы слов позволяет получать частотно-временной алгоритм, пример работы которого представлен на рис.29.2.

Рис.29.2. Частотно-временные образы слова «пирамида»

30. Исчисление предикатов

Предикат – это высказывательная функция, определенная на некотором множестве М, то есть такая n-местная функция Р, которая каждому упорядоченному набору элементов множества М сопоставляет некоторое высказывание, обозначаемое .
Предикат – фундаментальное понятие математической логики, являющееся условием, сформулированным в терминах некоторого точного логико-математического языка. Предикат содержит обозначения для произвольных объектов – переменные. При замещении переменных именами объектов предикат задает точно определенное высказывание.
Предикат, имеющий одну переменную, называется свойством, а предикат с двумя переменными – отношением.
Исчисление предикатов первого порядка – формальный язык, выражающий разнообразные утверждения.
Правильно построенные формулы (ППФ) –допустимые выражения исчисления предикатов. Элементы формул: предикатные символы, символы переменных, функциональные символы, символы констант.
Система продукций – обобщение вычислительного формализма, использующего предикаты.
Пример: - предикат, который имеет значение «истина», если . Если , то предикат возвратит значение «ложь».

31. Высказывания. Кванторы и их свойства

Исчисление предикатов использует специальные операторы – кванторы, которые могут быть двух видов:
- квантор общности,
- квантор существования.
Связанная переменная в ППФ – квантифицированная переменная. Свободная переменная – не квантифицированна.
Высказывание – ППФ, у которой все переменные связанные.
Первый порядок исчисления предикатов не допускает квантификации предикатных и функциональных символов.
Пример высказывания и соответствующей ППФ:
= «Все слоны серые».
В данном примере свойство «Слон(х)» определяет возможность отношения «Цвет(х,Серый».
Свойства кванторов:
1. .
2. .
3. .
4. .
5. .
6. .
Пример интерпретации первого свойства:
Не существует ни одного слона, боящегося мышей. = Все слоны не боятся мышей.
Пример представления высказывания в исчислении предикатов:
Все кубики, находящиеся на кубиках, которые были сдвинуты или были скреплены с кубиками, которые сдвигались, также были сдвинуты:

.

32. Правила вывода. Унификация

Цель: на основе множества ППФ получить новые ППФ.
Правило вывода 1: Модус поненс - операция, создающая ППФ W2 из ППФ вида W1 и W1W2.
Правило вывода 2: Специализация - создает ППФ W(А) из ППФ (x)W(А), где А - любой символ константы.
Унификация – процесс поиска подстановочных термов на место переменных. Обозначение подстановок: , где - новая переменная, - заменяемая переменная. - подстановка s применяется к каждому элементу множества ППФ .
Множество ППФ называется унифицируемым, если существует подстановка s такая, что . Такая подстановка называется унификатором. Применение унификатора сворачивает множество в один элемент.

33. Выполнимость и удовлетворимость ППФ

Если ППФ имеет значение Т ("истина") для всех возможных интерпретаций, то она называется выполненной (тавтологией). Пример: .
Метод таблицы истинности может всегда определить выполнимость любой ППФ, не содержащей переменных.
Теорема о неразрешимости исчисления предикатов: Невозможно найти универсальный метод установления факта выполненности квантифицированных ППФ.
Если ППФ выполнена, то существует процедура, позволяющая установить выполнимость этой ППФ (полуразрешимость).
Интерпретация удовлетворяет множеству ППФ, если каждая ППФ этого множества имеет значение Т ("истина") при этой интерпретации.
ППФ логически следует из множества S ППФ, если каждая интерпретация, удовлетворяющая S, удовлетворяет также и Х (но взаимной однозначности нет).

34. Алгоритм преобразования предикатов в предложения

Предложение – правильно построенная формула (ППФ), состоящая из дизъюнкции литералов (предикатов).
Теорема: Любая ППФ исчисления предикатов может быть преобразована во множество предложений.
Пример ППФ: .
Этапы преобразования:
1. Исключение символов импликации подстановкой вместо : .
2. Ограничение области действия символа отрицания одной атомарной формулой (закон Моргана): .
3. Разделение квантофицированных переменных: . Переменные переименовываются так, чтобы каждый квантор имел свою переменную.
4. Исключение кванторов существования путем введения сколемовской функции. Эта функция в качестве аргументов должна содержать переменные, связанные кванторами общности, в область действия которых попадает исключаемый квантор существования. Если не входит в область действия никакого , то вводится просто константа: . , – сколемовская функция.
5. Преобразование в предварительную форму: все перемещаются в начало ППФ: .
6. Приведение матрицы к конъюктивной нормальной форме. Используется замена : .
7. Исключение кванторов общности. Предполагается, что все переменные относятся к .
8. Исключение символов (конъюнкции). Переход к множеству ППФ, каждая из которых является дизъюнкцией литералов, т.е. предложений.
9. Переименовывание переменных. Символы переменных должны быть изменены так, чтобы каждый присутствовал только в одном предложении:
.

35. Резолюция и резольвента

Резолюция - правило вывода, применяемое к ППФ в виде предложений.
Дано: .
Результат: (резольвента).
Резольвента логически следует из своих предложений.
Если предложения содержат переменные и задаются множеством литералов и , соединенных знаком дизъюнкции , и если можно определить соответствующие подмножества и , такие, что для объединения и существует наиболее общий унификатор, то резольвента имеет вид:
.
Два предложения могут иметь более одной резольвенты. Количество резольвент равно количеству способов выбора подмножеств и .

36. Система опровержения на основе резолюций

Правило построения резолюций позволяет формализовать процесс доказательства теорем. Система доказательств использует метод доказательства от “противного”.
Дано: S - множество ППФ.
Доказать: W - целевая ППФ.
Алгоритм:
1) К множеству S добавляется отрицание ППФ W.
2) Расширенное множество преобразуется в множество предложений.
3) Ищется резолюция, представленная пустым предложением, т.е. соответствующая противоречию.
4) Если пустое предложение найдено, то теорема считается доказанной.
5) Если не удается получить резолюцию, соответствующую противоречию, то теорема считается не доказанной.
Пример: Имеются следующие утверждения:
1) Кто может читать, тот грамотный: .
2) Дельфины не грамотны: .
3) Некоторые дельфины обладают интеллектом: .
Требуется доказать: некоторые из тех, кто обладает интеллектом, не могут читать: .
Множество утверждений соответствует следующим предложениям:
1)
2)
3) , , где А, В – сколемовские константы.
4) – отрицание доказываемой теоремы.
Процесс поиска противоречивой резолюции представляют в виде диаграммы, называемой деревом резолюций. Для рассматриваемого примера диаграмма представлена на рис.36.1. Базисное множество резолюций расположено в верхней строке диаграммы, а вычисляемые резолюции располагаются на более низких уровнях.

Рис36.1. Диаграмма вычисления резолюции
Рассматриваемое утверждение следует считать доказанным, так найдено пустое предложение.

37. Стратегии управления процессом поиска доказательства методом резолюций. Стратегии упрощения при вычислении резолюций

Процесс поиска доказательства методом резолюций в общем случае требует большого объема вычислений и ресурсов памяти, так как количество порождаемых предложений растет, как число возможных сочетаний предложений базисного множества и предложений более низких уровней резолюций. Необходимость предотвращения или ослабления комбинаторного взрыва обусловила применение специальных стратегий.
Виды стратегий:
• стратегия поиска в ширину,
• стратегия опорного множества,
• стратегия предпочтения одночленам,
• стратегия линейная по входу,
Стратегия поиска в ширину предусматривает полный перебор возможных резольвент на каждом уровне резолюций до обнаружения пустого предложения. Эта стратегия является полной, то есть она всегда приводит к решению, если оно существует.
Стратегия опорного множества состоит в том, что в каждой резольвенте один из родителей порожден потомком отрицания целевой ППФ. Все такие резольвенты несут идею обратного рассуждения. Стратегия позволяет сократить число резольвент на нижних уровнях.
Стратегия предпочтения одночленам является модификацией стратегии опорного множества, предусматривающей преимущественное использование однолитеральных предложений для вычисления резольвент нижних уровней. Такая стратегия концентрирует поиск в направлении пустого предложения.
Стратегия линейная по входу требует обязательной принадлежности одного из родительских предложений базовому множеству. Пример предыдущего параграфа соответствует этой стратегии.
Ограничения, вводимые стратегиями, приводят к увеличению глубины диаграммы опровержения и отсутствию полноты стратегии. На рис.38.1 приведена диаграмма процесса поиска доказательства в ширину, которая показывает, что доказательство получено на третьем уровне резолюций, в отличии от линейной стратегии (рис.37.1), позволившей завершить поиск лишь на четвертом уровне.

Рис.37.1. Диаграмма процесса поиска доказательства в ширину
Наличие в базовом множестве предложений, состоящих их трех и более литералов вызывает появление на более низких уровнях резолюций все более длинных предложений, которые могут содержать более четырех литералов.
Снижение скорости роста новых предложений при вычислении резолюций обеспечивают, применяя стратегии упрощения:
• Любое предложение, содержащее литерал и его отрицание, может быть отброшено. Например: .
• Если литерал, входящий в предложение, для любых допустимых интерпретаций имеет значение “ложь”, то его можно исключить. Например: эквивалентно .
• Предложение в неудовлетворимом множестве, которое подсуммируется с другим предложением, можно отбросить. Если является подмножеством , то подсуммирует . Например: подсуммирует .

38. Извлечение ответа из опровержения, основанного на резолюции. Этапы процесса извлечения ответа

Извлечение ответа – это преобразование дерева опровержения в дерево доказательства с некоторым утверждением в корневой вершине. Это утверждение может быть использовано в качестве ответа. Дерево доказательств – это доказательство методом резолюции, которое основано на аксиомах и тавтологиях.
Алгоритм извлечения ответа основан на преобразовании в тавтологию каждого предложения, возникающего в результате отрицания целевой функции.
Этапы извлечения ответа:
A. Поиск дерева опровержения методом резолюций. Отмечаются подмножества унификации, то есть литералы с изменяемыми аргументами.
B. Сколемовские функции в предложениях, являющихся результатом отрицания целевой функции, заменяются на новые переменные.
C. Предложения, являющиеся результатом отрицания целевой функции, преобразуются в тавтологии.
D. Модификация дерева опровержений в дерево доказательств при неизменном множестве унификаторов.
E. Получение ответа в корневой вершине.
В качестве примера рассмотрим следующую логическую задачу:
“Если Джим ходит туда же, куда ходит Джон, и если Джон находится в школе, то где Джим?”
Задача содержит два утверждения, которые в предикатной форме имеют следующий вид:
,
,
где х – названия мест, в которых могут находится Джон и Джим.
Целевая функция, соответствующая вопросу, имеет вид:
,
что буквально можно трактовать следующим образом:
«существует место X, такое, что в нем находится Джим».
Дерево опровержения строится обычным образом и показано на рис.38.1.

Рис.38.1. Дерево опровержения
Дерево доказательств показано на рис.38.2 и строится следующим образом:
• К каждому предложению, порожденному отрицанием целевой функции, добавляется его отрицание, то есть ППФ преобразуется в тавтологию.
• Вычисляются резолюции, аналогично дереву опровержений.
• В корневой вершине формируется ответ.

Рис.38.2. Дерево доказательств

39. Теоремы Гёделя, Тарского и Черча о неполноте формальных систем

Общее представление о перспективах и рамках развития систем искусственного интеллекта в области формализации знаний и формальных методов получения новых знаний дают теоремы Гёделя, Тарского и Черча.
Первая теорема Гёделя (1931 год): Невозможно формализовать полностью любую систему знаний. Если доказано, что какая-либо формальная система знаний непротиворечива, значит она не полна.
Эта теорема фактически утверждает, что человеческое мышление полностью формализовать невозможно, так как существует неисчерпаемое поступательное развитие формальных представлений об окружающем человеке мире.
Вторая теорема Гёделя: Невозможно доказательство непротиворечивости формальной системы средствами той же системы.
Теорема Тарского (1935 г.): Существуют формальная системы, для которых всякая интерпретация приводит к выражениям, одновременно истинным и недоказуемым.
Гёдель: “То, что истинно, всегда недоказуемо, то есть понятие истинности неформализуемо”.
Теорема Черча (1936 г.): Исчисление предикатов первого порядка неразрешимо, то есть существуют неразрешимые формальные системы.
Приведенные теоремы фактически утверждают, что внедренные информационные технологии обречены на переделку, адаптацию или полную замену другими технологиями. Кроме того, они обосновывают необходимость воспроизведение в базах знаний нелогичных мыслительных операций: абсурда, интуиции, аллегорий, шкал времени и пространства.

40. Экспертные системы

Экспертная система — это программа (на современном уровне развития техники), которая заменяет эксперта в той или иной области.
ЭС предназначены, главным образом, для решения практических задач, возникающих в слабо структурированной и трудно формализуемой предметной области. ЭС были первыми системами, которые привлекли внимание потенциальных потребителей продукции искусственного интеллекта.
Цель таких систем состоит в том, чтобы объединить в одной ЭС знания нескольких экспертов, и получить в результате систему, которая может то, чего ни один из ее создателей не может. В настоящее время сложилась определенная технология разработки ЭС, которая включает следующие шесть этапов: идентификация, концептуализация, формализация, выполнение, тестирование и опытная эксплуатация.
Существует два подхода к процессу построения модели предметной области, которая является целью разработчиков ЭС на этапе концептуализации. Признаковый или атрибутивный подход предполагает наличие полученной от экспертов информации в виде троек объект — атрибут — значение атрибута, а также наличие обучающей информации. Второй подход, называемый структурным (или когнитивным), осуществляется путем выделения элементов предметной области, их взаимосвязей и семантических отношений.
Обучающая информация может быть задана на основании прецедентов правильных экспертных заключений, например, с помощью метода извлечения знаний, получившего название "анализ протоколов мыслей вслух".
Структурный подход к построению модели предметной области предполагает выделение следующих когнитивных элементов знаний:
1. Понятия. 2. Взаимосвязи. 3. Метапонятия. 4. Семантические отношения.
Выделяемые понятия предметной области должны образовывать систему, под которой понимается совокупность понятий, обладающая следующими свойствами: уникальностью (отсутствием избыточности); полнотой (достаточно полным описанием различных процессов, фактов, явлений и т.д. предметной области); достоверностью (валидностью — соответствием выделенных единиц смысловой информации их реальным наименованиям) и непротиворечивостью (отсутствием омонимии).
Последним этапом построения модели предметной области при концептуальном анализе является установление семантических отношений между выделенными понятиями и метапонятиями. Установить семантические отношения — это значит определить специфику взаимосвязи, полученной в результате применения тех или иных методов. Для этого необходимо каждую зафиксированную взаимосвязь осмыслить и отнести ее к тому или иному типу отношений.
Существует около 200 базовых отношений, например, "часть — целое", "род — вид", "причина — следствие", пространственные, временные и другие отношения. Для каждой предметной области помимо общих базовых отношений могут существовать и уникальные отношения.


41. Модели представления знаний

Существуют два типа методов представления знаний: формальные (логические) и неформальные (семантические, реляционные) модели. Эпистомологическая полнота представления знаний базируется на категориях: "истинно", "ложно", "сомнительно", "правдоподобно", "вероятно" и тому подобное.
В основе формальных моделей лежит строгая математическая теория. Логический вывод - основная операция в СИИ - в формальных системах строг и корректен, поскольку подчинен жестким аксиоматическим правилам.
Неформальная модель строится на основе учета конкретной предметной области и поэтому не обладает универсальностью, которая присуща моделям формальным. Вывод в неформальных системах во многом определяется самим исследователем, который и отвечает за его корректность.
В основе логических моделей лежит формальная система, задаваемая четверкой вида: M = . Множество T есть множество базовых элементов различной природы, например слов из некоторого ограниченного словаря, деталей детского конструктора, входящих в состав некоторого набора и т.п. Важно, что для множества T существует некоторый способ определения принадлежности или непринадлежности произвольного элемента к этому множеству. Процедура такой проверки может быть любой, но за конечное число шагов она должна давать положительный или отрицательный ответ на вопрос, является ли x элементом множества T. Обозначим эту процедуру П(T).
Множество P есть множество синтаксических правил. С их помощью из элементов T образуют синтаксически правильные совокупности. Например, из слов ограниченного словаря строятся синтаксически правильные фразы, из деталей детского конструктора с помощью гаек и болтов собираются новые конструкции. Декларируется существование процедуры П(P), с помощью которой за конечное число шагов можно получить ответ на вопрос, является ли совокупность X синтаксически правильной.
В множестве синтаксически правильных совокупностей выделяется некоторое подмножество A. Элементы A называются аксиомами. Как и для других составляющих формальной системы, должна существовать процедура П(A), с помощью которой для любой синтаксически правильной совокупности можно получить ответ на вопрос о принадлежности ее к множеству A.
Множество B есть множество правил вывода. Применяя их к элементам A, можно получать новые синтаксически правильные совокупности, к которым снова можно применять правила из B. Так формируется множество выводимых в данной формальной системе совокупностей. Если имеется процедура П(B), с помощью которой можно определить для любой синтаксически правильной совокупности, является ли она выводимой, то соответствующая формальная система называется разрешимой. Это показывает, что именно правило вывода является наиболее сложной составляющей формальной системы.
Для знаний, входящих в базу знаний, можно считать, что множество A образуют все информационные единицы, которые введены в базу знаний извне, а с помощью правил вывода из них выводятся новые производные знания. Другими словами формальная система представляет собой генератор порождения новых знаний, образующих множество выводимых в данной системе знаний. Это свойство логических моделей позволяет хранить в базе лишь те знания, которые образуют множество A, а все остальные знания получать из них по правилам вывода.
В основе сетевых моделей лежит конструкция, названная семантической сетью. Сетевые модели формально можно задать в виде H = . Здесь I есть множество информационных единиц; C1, C2, ..., Cn - множество типов связей между информационными единицами. Отображение Г задает между информационными единицами, входящими в I, связи из заданного набора типов связей.
В зависимости от типов связей, используемых в модели, различают классифицирующие сети, функциональные сети и сценарии. В классифицирующих сетях используются отношения структуризации. Такие сети позволяют в базах знаний вводить разные иерархические отношения между информационными единицами. Функциональные сети характеризуются наличием функциональных отношений. Их часто называют вычислительными моделями, так как они позволяют описывать процедуры "вычислений" одних информационных единиц через другие. В сценариях используются каузальные отношения, а также отношения типов "средство - результат", "орудие - действие" и т.п. Если в сетевой модели допускаются связи различного типа, то ее обычно называют семантической сетью.
Продукционные модели используют некоторые элементы логических и сетевых моделей. Из логических моделей заимствована идея правил вывода, которые здесь называются продукциями, а из сетевых моделей - описание знаний в виде семантической сети. В результате применения правил вывода к фрагментам сетевого описания происходит трансформация семантической сети за счет смены ее фрагментов, наращивания сети и исключения из нее ненужных фрагментов. Таким образом, в продукционных моделях процедурная информация явно выделена и описывается иными средствами, чем декларативная информация. Вместо логического вывода, характерного для логических моделей, в продукционных моделях появляется вывод на знаниях.
Фреймовые модели используют фиксированные жесткие структуры информационных единиц, которые называются протофреймами. Протофреймы состоят из слотов. Значением слота может быть практически что угодно (числа или математические соотношения, тексты на естественном языке или программы, правила вывода или ссылки надругие слоты данного фрейма или других фреймов). В качестве значения слота может выступать набор слотов более низкого уровня, что позволяет во фреймовых представлениях реализовать "принцип матрешки". При конкретизации фрейма ему и слотам присваиваются конкретные имена и происходит заполнение слотов. Таким образом, из протофреймов получаются фреймы - экземпляры. Переход от исходного протофрейма к фрейму - экземпляру может быть многошаговым, за счет постепенного уточнения значений слотов.
Список литературы

1. Анисимов Б. В. Распознавание и цифровая обработка изображений. - М: Высшая школа, 1983. - 295с.
2. Горелик А. Л., Скрипкин В. А. Методы распознавания. - М: Высшая школа, 1984. - 208с.
3. Гинзбург В. М. Формирование и обработка изображений в реальном времени. - М.: Радио и связь, 1986. - 232с.
4. Фомин В. Н. Математическая теория обучаемых опознающих систем. - Л.: Ленинградский ун-т, 1976. - 236с.
5. Меламед И. И. Нейронные сети и комбинаторная оптимизация. // Автоматика и телемеханика. - 1994. - №10. - С. 3-40.
6. Нильсон Н. Принципы искусственного интеллекта. -М.: Мир, 1985. – 376с.
7. Искусственный интеллект. Справочник в 3-х книгах. // Под ред. Поспелова Д. А. - М.: Наука, 1990.
8. Дуда Р., Харт П. Распознавание образов и анализ сцен. – М.: Мир, 1976. – 464с.
9. Осовский С. Вычислительные нейронные сети. – М.: Финансы и статистика, 2002. – 344с.
10. Люгер Дж.Ф. Искусственный интеллект: Стратегии и методы решения сложных проблем.: - М: Вильямс, 2003 г. 864 с.
11. Рутковскиая Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. - М.: Радио и связь, 2004 - 383с.
12. Джонс М. Т. Программирование искусственного интеллекта в приложениях. – М.: ДМК, 2004 - 311 с.

Содержание
Введение 3
1. Основные направления исследования СИИ 3
2. Классификация СИИ 4
2.1. Системы без обучения 4
2.2. Обучающиеся системы 5
2.3. Самообучающиеся системы 6
3. Средства и уровни понимания СИИ 8
4. Классификация типов поведения 11
5. Модель поступка. Мотивы и реализации 12
6. Машинное творчество, процедуры мышления 13
7. Модель формирования условных рефлексов 14
8. Корреляционная и пеленгационная характеристики изображений 17
9. Распознавание точечных изображений 22
10. Распознавание контурных изображений 23
11. Модель живого нейрона 24
12. Модель нейрона. Классификация НС 26
13. Алгоритм обучения персептрона 27
14. Топологические свойства однослойных, двухслойных и трехслойных НС. Теорема Минского 28
15. Свойства НС Хопфилда 33
16. Свойства НС Хемминга 36
17. Синхронные параллельные и последовательные НС с дискретными и непрерывными состояниями и временем 37
18. Метод обратного распространения ошибки 39
19. Матричная форма МОРО 41
20. Генетический алгоритм обучения НС 42
21. Сходимость алгоритмов обучения 42
22. Самоорганизующаяся коммуникация в системе с нейросетевым управлением 43
23. Структура микросхем, реализующих НС элементы 45
24. Распознавание образов на основе критерия Байеса 47
25. Распознавание образов с применением минимаксного критерия 49
26. Распознавание образов с применением критерия Неймана - Пирсона 51
27. Процедура последовательных решений в распознавании образов 51
28. Пример определения пороговых значений для вероятностных алгоритмов распознавания 53
29. Фонетическая и просодическая структуры речи. Распознавание речи 55
30. Исчисление предикатов 58
31. Высказывания. Кванторы и их свойства 59
32. Правила вывода. Унификация 60
33. Выполнимость и удовлетворимость ППФ 60
34. Алгоритм преобразования предикатов в предложения 62
35. Резолюция и резольвента 63
36. Система опровержения на основе резолюций 64
37. Стратегии управления процессом поиска доказательства методом резолюций. Стратегии упрощения при вычислении резолюций 65
38. Извлечение ответа из опровержения, основанного на резолюции. Этапы процесса извлечения ответа 67
39. Теоремы Гёделя, Тарского и Черча о неполноте формальных систем 69
40. Экспертные системы 70
41. Модели представления знаний 72
Список литературы 76

Виктор Иванович Капля,
Егор Викторович Капля,
Елена Владимировна Коробцова.

Системы искусственного интеллекта

Учебное пособие по дисциплине
"Системы искусственного интеллекта"

Редактор: Е.М. Марносова
Темплан 2006 г. поз.№ _2__
Лицензия ИД № 04790 от 18.05.2001

Подписано в печать __________ Форматы 60х84 1/16
Бумага газетная. Печать офсетная.
Усл. печ. л. _4,6_ Уч.- изд.л. _4,8_ Тираж _150_ экз.
Заказ _______


Волгоградский государственный технический университет.
400131 Волгоград, проспект им. В.И. Ленина, 28
РПК «Политехник»
Волгоградского государственного технического университета.
400131 Волгоград, ул. Советская, 35
Искусственный интеллект как научное направление,

Искусственный интеллект (ИИ) - это наука о концепциях, позволяющих ВМ делать такие вещи, которые у людей выглядят разумными. Центральные задачи ИИ состоят в том, что бы сделать ВМ более полезными и чтобы понять принципы, лежащие в основе интеллекта.

представление знаний, рассуждений и задач;

эпистомологическая полнота представления знаний и эвристически эффективные стратегии поиска решения задач;


категории и понятия, относимые обычно к эпистомологическим: "истинно", "ложно", "сомнительно", "правдоподобно", "вероятно
Эвристический метод решения задачи при этом рассматривался как свойственный человеческому мышлению "вообще", для которого характерно возникновение догадок о пути решения задачи с последующей проверкой их. Ему противопоставлялся используемый в ЭВМ алгоритмический метод, который интерпретировался как механическое осуществление заданной последовательности шагов, детерминированно приводящей к правильному ответу. Трактовка эвристических методов решения задач как сугубо человеческой деятельности и обусловила появление и дальнейшее распространение термина ИИ.
В противоположность ранним работам Ньюэлла и Саймона эти исследования больше относились к формальным математическим представлениям. Способы решения задач в этих исследованиях развивались на основе расширения математической и символической логики

модели представления знаний: алгоритмические, логические, сетевые и продукционные модели; сценарии;

Описания предметных областей, выполненные в логических языках, называются (формальными) логическими моделями. Для представления математического знания в математической логике давно пользуются логическими формализмами - главным образом исчислением предикатов, которое имеет ясную формальную семантику и операционную поддержку в том смысле, что для него разработаны механизмы вывода. Поэтому исчисление предикатов было первым логическим языком, который применили для формального описания предметных областей, связанных с решением прикладных задач.
Сетевые модели
Введем ряд определений. Под сущностью будем понимать объект произвольной природы. Этот объект может существовать в реальном мире. В этом случае он будет называться П-сущностью. В базе знаний ему соответствует некоторое описание, полнота которого определяется той информацией, которую имеет о П-сущности ИС. Такое представление в базе знаний называется М-сущностью. Отметим, что могут существовать М-сущности, для которых в окружающем ИС мире нет соответствующих П-сущностей. Такие М-сущности представляют собой абстрактные объекты, полученные в результате операций типа обобщения внутри базы знаний.
Разделение на два типа сущностей позволяет использовать в сетевых моделях идеи, впервые сформулированные в теории семиотических моделей и основанном на них ситуационном управлении. Под семиотическими моделями проблемных областей будет пониматься комплекс процедур, позволяющих отображать в базе знаний П-сущности и их связи, фиксируемые в проблемной области инженером по знаниям, в совокупность связанных между собой М-сущностей.
В общем виде под продукцией понимается выражение следующего вида:
(i); Q; Р; А=>В; N.
Здесь i-имя продукции, с помощью которого данная продукция выделяется из всего множества продукций. В качестве имени может выступать некоторая лексема, отражающая суть данной продукции (например, "покупка книги" или "набор кода замка"), или порядковый номер продукции в их множестве, хранящемся в памяти системы.
Элемент Q характеризует сферу применения продукции. Такие сферы легко выделяются в когнитивных структурах человека. Наши знания как бы "разложены по полочкам". На одной "полочке" хранятся знания о том, как надо готовить пищу, на другой-как добраться до работы и т. п. Разделение знаний на отдельные сферы позволяет экономить время на поиск нужных знаний. Такое же разделение на сферы в базе знаний ИС целесообразно и при использовании для представления знаний продукционных моделей.
Основным элементом продукции является ее ядро: А=>В. Интерпретация ядра продукции может быть различной и зависит от того, что стоит слева и справа от знака секвенции =>. Обычное прочтение ядра продукции выглядит так: ЕСЛИ A, ТО B, более сложные конструкции ядра допускают в правой части альтернативный выбор, например, ЕСЛИ А, ТО B1, ИНАЧЕ B2. Секвенция может истолковываться в обычном логическом смысле как знак логического следования В из истинного А (если А не является истинным выражением, то о В ничего сказать нельзя). Возможны и другие интерпретации ядра продукции, например A описывает некоторое условие, необходимое для того, чтобы можно было совершить действие В.
Элемент Р есть условие применимости ядра продукции. Обычно Р представляет собой логическое выражение (как правило, предикат). Когда Р принимает значение "истина", ядро продукции активизируется. Если Р ложно, то ядро продукции не может быть использовано. Например, если в продукции "НАЛИЧИЕ ДЕНЕГ; ЕСЛИ ХОЧЕШЬ КУПИТЬ ВЕЩЬ X, ТО ЗАПЛАТИ В КАССУ ЕЕ СТОИМОСТЬ И ОТДАЙ ЧЕК ПРОДАВЦУ" условие применимости ядра продукции ложно, т. е. денег нет, то применить ядро продукции невозможно.
Элемент N описывает постусловия продукции. Они актуализируются только в том случае, если ядро продукции реализовалось. Постусловия продукции описывают действия и процедуры, которые необходимо выполнить после реализации В. Например, после покупки некоторой вещи в магазине необходимо в описи товаров, имеющихся в этом магазине, уменьшить количество вещей такого типа на единицу. Выполнение N может происходить не сразу после реализации ядра продукции.
Сценарии.
Особую роль в системах представления знаний играют стереотипные знания, описывающие известные стандартные ситуации реального мира. Такие знания позволяют восстанавливать информацию, пропущенную в описании ситуации, предсказывать появление новых фактов, которых можно ожидать в данной ситуации, устанавливать смысл происхождения ситуации с точки зрения более общего ситуативного контекста.
Для описания стереотипного знания используются различные модели. Среди них наиболее распространенными являются сценарии. Сценарием называется формализованное описание стандартной последовательности взаимосвязанных фактов, определяющих типичную ситуацию предметной области. Это могут быть последовательности действий или процедур, описывающие способы достижения целей действующих лиц сценария (например, обед в ресторане, командировка, полет самолета, поступление в вуз). В ИС сценарии используются в процедурах понимания естественно-языковых текстов, планирования поведения, обучения, принятия решений, управления изменениями среды и др.


экспертные системы: классификация и структура;

инструментальные средства проектирования, разработки и отладки; этапы разработки;

примеры реализации.

Формальные модели представления знаний.
Система ИИ в определенном смысле моделирует интеллектуальную деятельность человека и, в частности, - логику его рассуждений. В грубо упрощенной форме наши логические построения при этом сводятся к следующей схеме: из одной или нескольких посылок (которые считаются истинными) следует сделать "логически верное" заключение (вывод, следствие). Очевидно, для этого необходимо, чтобы и посылки, и заключение были представлены на понятном языке, адекватно отражающем предметную область, в которой проводится вывод. В обычной жизни это наш естественный язык общения, в математике, например, это язык определенных формул и т.п. Наличие же языка предполагает, во - первых, наличие алфавита (словаря), отображающего в символьной форме весь набор базовых понятий (элементов), с которыми придется иметь дело и, во - вторых, набор синтаксических правил, на основе которых, пользуясь алфавитом, можно построить определенные выражения.
Логические выражения, построенные в данном языке, могут быть истинными или ложными. Некоторые из этих выражений, являющиеся всегда истинными. Объявляются аксиомами (или постулатами). Они составляют ту базовую систему посылок, исходя из которой и пользуясь определенными правилами вывода, можно получить заключения в виде новых выражений, также являющихся истинными.
Если перечисленные условия выполняются, то говорят, что система удовлетворяет требованиям формальной теории. Ее так и называют формальной системой (ФС). Система, построенная на основе формальной теории, называется также аксиоматической системой.
Формальная теория должна, таким образом, удовлетворять следующему определению:
всякая формальная теория F = (A, V, W, R), определяющая некоторую аксиоматическую систему, характеризуется:
наличием алфавита (словаря), A,
множеством синтаксических правил, V,
множеством аксиом, лежащих в основе теории, W,
множеством правил вывода, R.
Исчисление высказываний (ИВ) и исчисление предикатов (ИП) являются классическими примерами аксиоматических систем. Эти ФС хорошо исследованы и имеют прекрасно разработанные модели логического вывода - главной метапроцедуры в интеллектуальных системах. Поэтому все, что может и гарантирует каждая из этих систем, гарантируется и для прикладных ФС как моделей конкретных предметных областей. В частности, это гарантии непротиворечивости вывода, алгоритмической разрешимости (для исчисления высказываний) и полуразрешимости (для исчислений предикатов первого порядка).
ФС имеют и недостатки, которые заставляют искать иные формы представления. Главный недостаток - это "закрытость" ФС, их негибкость. Модификация и расширение здесь всегда связаны с перестройкой всей ФС, что для практических систем сложно и трудоемко. В них очень сложно учитывать происходящие изменения. Поэтому ФС как модели представления знаний используются в тех предметных областях, которые хорошо локализуются и мало зависят от внешних факторов.