Гибридная модель нейронной сети на основе моделей персептрона и art-2 Аннотация В




Скачать 10,85 Kb.
НазваниеГибридная модель нейронной сети на основе моделей персептрона и art-2 Аннотация В
Дата04.02.2016
Размер10,85 Kb.
ТипДокументы

СЕКЦИЯ 6

А.В. ГАВРИЛОВ

Новосибирский государственный технический университет

avg@vt.cs.nstu.ru


ГИБРИДНАЯ МОДЕЛЬ НЕЙРОННОЙ СЕТИ НА ОСНОВЕ

МОДЕЛЕЙ ПЕРСЕПТРОНА И ART-2


Аннотация

В докладе рассматривается модель гибридной нейронной сети, состоящей из модели ART-2 для кластеризации образов и персептрона - для предварительной обработки образов, т.е. для формирования вторичных признаков. Эта модель может использоваться в мобильных роботах для распознавания новых объектов или сцен в поле зрения робота при его движении.


Постановка задачи. Применение модели ART-2 Гроссберга-Карпентера [1] для решения задач классификации и кластеризации весьма привлекательно, так как эта модель совмещает в себе свойства пластичности и стабильности, а также не требует априорного знания о фиксированном количестве необходимых классов.

Однако, эта модель имеет и существенные недостаток. Она предполагает использование всего одного слоя нейронов (не считая входного, ассоциированного с сенсорами). Это приводит к тому, что нейронная сеть работает только с метрикой первичных признаков и вычисляет расстояние между образами (для классификации или создания нового кластера – выходного нейрона), используя обычно евклидово расстояние. Это приводит к тому, что для многих применений модель ART-2 оказывается малопригодной. Например, для кластеризации и распознавания образов мобильным роботом [2, 3] требуется распознавать объект в разных ракурсах и располагающийся в разных частях поля зрения, т.е. распознавание должно быть инвариантным относительно преобразований изображения, таких как сдвиги и вращения.

Инвариантность распознавания обеспечивают многослойные персептроны, так как в них на промежуточных слоях в процессе обучения формируются вторичные признаки. Можно сказать, что в персептронах каждый слой обеспечивает преобразование одной метрики образов в другую.

В докладе предлагается комбинированная модель [4], совмещающая в себе достоинства многослойного персептрона и модели ART-2.

Комбинированная модель нейронной сети. В предлагаемой модели первые несколько слоев нейронов организованы как персептрон прямого распространения, выходы которого являются входами модели Гроссберга-Карпентера ART-2. Персептрон обеспечивает преобразование метрики первичных признаков в метрику вторичных признаков в пространстве значительно меньшей размерности. Нейронная сеть ART-2 классифицирует образы по вторичным признакам. Обучение персептрона, в основе которого лежит обратное распространение ошибки, обеспечивает «притяжение» выходного вектора персептрона к центру уже распознанного кластера. Можно сказать, что распознанный класс является контекстом, в котором распознаются другие образы из обучающей выборки, и в некоторых пределах система «готова распознавать» его и в дальнейшем до тех пор пока в обучающей выборке не появится входной вектор, который персептрон преобразует в вектор, очень отличающийся от вектора-центра «кластера-контекста».

Функционирование предложенной модели описывается следующим алгоритмом, в котором реализуется обучение без учителя.

  1. В персептроне формируются веса связей, равные половине количества нейронов предыдущего слоя. Количество выходных нейронов Nout модели ART-2 считается равным нулю.

  2. Предъявляется очередной пример. Вычисляются выходы нейронов в персептроне.

  3. Если Nout=0, то формируется выходной нейрон с весами связей, равными значениям входов модели ART-2 (выходов персептрона).

  4. Если Nout>0, то в модели ART-2 выполняется обычный для нее алгоритм вычисления расстояний между центрами существующих кластеров (весовых векторов выходных нейронов) и входным вектором модели ART-2. Если расстояние для нейрона-победителя больше определенной величины R, то формируется новый кластер так же, как в шаге 3.

  5. Если расстояние для нейрона-победителя меньше R, то в модели ART-2 пересчитываются веса связей для нейрона-победителя, приближая центр кластера к входному распознанному вектору модели ART2 с учетом количества распознанных ранее векторов этого кластера (чем их было больше, тем меньше изменение весов нейрона-победителя). А для персептрона выполняется пересчет весов по алгоритму обратного распространения ошибки. При этом выходным эталонным вектором считается новый вектор весов выходного нейрона победителя модели ART-2, и количество итераций может быть небольшим (в частности, может быть всего одна итерация).

  6. Алгоритм повторяется с шага 2 до тех пор, пока есть обучающие примеры.

Работа предложенной модели поясняется на рис. 1.





Рис. 1. Пояснение работы алгоритма функционирования гибридной модели


Здесь показано пространство вторичных признаков, в котором точками изображаются выходные вектора персептрона (входные вектора модели ART-2) и центры кластеров, на распознавание которых настроены выходные нейроны модели. На рисунке изображены следующие точки:

1 – новый образ, для которого создан кластер с радиусом R,

2 – новый образ, распознанный как относящийся к этому кластеру,

3 – новый центр кластера, вычисленный в пункте 5 алгоритма,

4 – новый выходной вектор персептрона, приближенный к центру кластера в результате работы алгоритма обратного распространения ошибки,

5 – новый образ, распознанный как принадлежащий другому кластеру.

Эксперименты. Для исследования предложенной модели была разработана программа генерации серии изображений со сдвигом по одной из осей и программная модель нейронной сети, обрабатывающая эту серию изображений. На рис. 2 показана одна из серий изображений, использованная в экспериментах.









Рис. 1. Серия изображений, использованных в экспериментах


В экспериментах использовались также серии нарисованных простых изображений а также, последовательность из двух разных подпоследовательностей.

Предложенный алгоритм обучения без учителя в экспериментах показал хорошие результаты при сравнительно незначительном изменении каждого следующего изображения в обучающей последовательности. Например, при обработке приведенной на рисунке серии новый кластер формировался только при появлении 12-го (последнего из приведенных на рисунке) изображения. При этом были использованы следующие параметры модели:

количество входных нейронов (пикселов) – 10000 (100х100),

количество нейронов в промежуточном слое персептрона – 100,

количество нейронов в выходном слое персептрона (во входном слое ART-2) – 10,

R = 0.01,

рациональная сигмоида со смещением a = 1,

при пересчете весов персептрона использовалась только одна итерация.

Существенных изменений в функционировании модели не наблюдалось при снижении количества нейронов (в скрытом слое – 10, в выходном слое персептрона – 5).

Заключение. Предложенная комбинированная модель нейронной сети может быть использована в мобильном роботе, когда надо отслеживать последовательность изображений, видимых роботом при его движении, и выявлять в ней новые изображения (существенные изменения в видимой роботом сцене).

Модификацией этого алгоритма может быть алгоритм, в котором ограничено количество создаваемых кластеров. В этом случае, если количество кластеров (выходных нейронов) достигло предела, возникает проблема, что делать с образами, которые не распознаются, т.е. не могут быть отнесены ни к одному кластеру. Предлагается в этом случае увеличить параметр R (радиус кластеров) на некоторый шаг и попытаться снова применить алгоритм распознавания и так до тех пор, пока новый образ не будет отнесен к одному из кластеров. После этого, необходимо уменьшить количество кластеров (выходных нейронов), объединяя кластеры с центрами, попавшими в один кластер, и соответственно меняя веса связей между выходами персептрона и выходными нейронами-кластерами.

Модификацией этого алгоритма может быть алгоритм обучения с учителем, в котором прежде, чем применять процедуру увеличения радиуса и сокращения выходных нейронов, система запрашивает «учителя» что делать – применять эту процедуру или создавать новый кластер. В качестве «учителя» может быть не только запрос к пользователю, но и какой-то дополнительный тест на новизну образа.

Планируются следующие дальнейшие исследования предложенной гибридной модели нейронной сети:

математическое обоснование предложенных алгоритмов,

исследование влияния параметров персептрона и ART-2 на эффективность работы нейронной сети,

испытание предложенной модели на программной модели мобильного робота и реальном роботе,

исследование различных модификаций алгоритма гибридной модели.


Список литературы


  1. Carpenter G., A., Grossberg S. Pattern Recognition by Self-Organizing Neural Networks, Cambridge, MA, MIT Press, 1991.

  2. Gavrilov A.V., Gubarev V.V., Jo K.-H., Lee H.-H. Hybrid Neural-based Control System for Mobile Robot // Int Symp. KORUS-2004, Tomsk, 2004. Vol. 1. P. 31-35.

  3. Гаврилов А.В., Губарев В.В., Джо К.-Х., Ли Х.-Х. Гибридная система управления мобильного робота // Мехатроника, автоматизация, управление. 2004. № 8. С.30-37.

  4. Гаврилов А.В. Комбинированная модель нейронной сети на основе моделей персептрона и ART-2 // Материалы Всерос. Семинара «Нейроинформатика и ее применение», Красноярск, 2004.




УДК 004.032.26(06) Нейронные сети

Похожие:

Гибридная модель нейронной сети на основе моделей персептрона и art-2 Аннотация В iconМаксимизация энтропии входов и выходов многослойной нейронной сети при моделировании процессов функционирования бортовой аппаратуры космического аппарата
Основное внимание уделено способам формирования обучающей выборки, реализующим принцип максимизации энтропии входов и выходов многослойной...
Гибридная модель нейронной сети на основе моделей персептрона и art-2 Аннотация В iconА. А. Галиев. Модель космоса гуннов в основе традиционного мировоззрения лежит модель Социума и Космоса, созданного в результате первотворения. Образ Вселенной
Космоса, реконструируется на основе анализа мифологических, ритуальных и иных текстов (1). Модель Космоса является основным инструментом...
Гибридная модель нейронной сети на основе моделей персептрона и art-2 Аннотация В iconУчебный курс содержит базовые понятия: коммуникации, социальные коммуникации, политические коммуникации, агенты политических коммуникаций, политические нововведения,
Анализ теоретических концепций и моделей политической коммуникации. Сравнение моделей политической коммуникации на зарубежных и отечественных...
Гибридная модель нейронной сети на основе моделей персептрона и art-2 Аннотация В iconПрограмма I международной Молодежной Деловой Игры “Модель вто
Пленарное заседание «еэфм и система международных моделей оон: история, современность и будущее»
Гибридная модель нейронной сети на основе моделей персептрона и art-2 Аннотация В iconПрочность и деформативность железобетонных несущих конструкций при агрессивных воздействиях окружающей среды (Экспериментальная база. Оценка сопротивления на основе математических моделей. Экспериментальное обоснование. Мониторинг эксплуатации)
...
Гибридная модель нейронной сети на основе моделей персептрона и art-2 Аннотация В iconСписок лекционных тем по курсу «Основы теории систем и системного анализа»
Моделирование. Построение математических моделей. Математическая модель. Математическое моделирование
Гибридная модель нейронной сети на основе моделей персептрона и art-2 Аннотация В iconМодель делового совершенства, предлагаемая Европейским фондом по управлению качеством (efqm)
Модель делового совершенства efqm является признанной на европейском уровне методологией всесторонней оценки деятельности организации...
Гибридная модель нейронной сети на основе моделей персептрона и art-2 Аннотация В icon2. Разновидности графовых моделей сложных объектов
Целью настоящей работы является изучение основных методов формального представления объектов проектирования разновидностями графовых...
Гибридная модель нейронной сети на основе моделей персептрона и art-2 Аннотация В iconМеханика сплошной среды
Положительность коэффициентов вязкости. Термодинамическая модель линейного упругого тела. Тензор теплового расширения. Гипотеза Дюгамеля-Неймана....
Гибридная модель нейронной сети на основе моделей персептрона и art-2 Аннотация В icon«Аналого-цифровой преобразователь в кодах «золотой пропорции» на основе нейронной архитектуры», представленной на соискание ученой степени кандидата технических наук по специальности 05. 13. 05 – «Элементы и устройства вычислительной техники и систем управления»
Е. Е. Суханов, ст преп. Н. В. Третьяков, ст преп. С. А. Тюрин, к т н доцент В. И. Фрейман, к т н., доцент И. Ф. Федорищев, к т н...
Разместите кнопку на своём сайте:
Библиотека


База данных защищена авторским правом ©lib2.znate.ru 2012
обратиться к администрации
Библиотека
Главная страница