БИОФИЗИКА, 2009, том 54, вып.3, c.500-507
БИОФИЗИКА СЛОЖНЫХ СИСТЕМ
УДК 577.3
УЗНАВАНИЕ И ВО СП P ОИЗВЕДЕНИЕ: НЕЙРОСЕТЕВАЯ МОДЕЛЬ © 2009 г. Е.В. Будилова* **, М.П. Карпенко*, Л.М. Качалова*, А.Т. Терехин* **
*Институт когнитивной нейрологии Современной гуманитарной академии, 109029, Москва,
Нижегородская ул, 32;
**Биологический факультет Московского государственного университета им. М.В. Ломоносова,
119899, Москва,Воробьевы Горы
E-mail: terekhin_a@mail.ru Поступила в p едакцию 24.04.07 г. После доработки 11.08.08 г.
П р оведен ср авнительный анализ возможностей узнавания и воспр оизведения специально скон-струир ованной нейр онной сети, в котор ой узнавание основано на вычислении сетью величины, интерпретируемой как знакомость образа. Знакомость вычисляется сетью с помощью моди-фицир ованной функции энергии Хопфилда, в которой значение внутренней суммы заменяется ее знаком. Благодаря этой замене вычисление знакомости естественным обр азом согласуется с базовыми уравнениями динамики сети Хопфилда и фактически сводится к вычислению скалярного произведения векторов состояния сети в два последующих временных шага.
Ключевые слова: сеть Xопфилда, функция энергии, узнавание, воспроизведение.
В работе [1] рассматривалась связанная с феноменом блокирования памяти проблема психологически пар адоксального контр аста между знанием субъекта о том, что некоторая информация содер жится в его памяти и невозможностью извлечь эту информацию. Объяснение этого контраста было основано на различии процессов узнавания и воспроизведения мозгом человека. Это р азличие обнаруживается не только на психологическом, но и на нейробио-логическом уровне. Наблюдения за пациентами с нарушениями медиальной теменной доли (эн-торинальная, периринальная и парагиппокам-пальная кора) и/или гиппокампа приводят к выводу о том, что медиальная теменная доля в большей степени ответственна за узнавание, а гиппокамп - за воспроизведение [2,3]. Эти наблюдения позволяют сделать и более определенное заключение о центральной роли пе-риринальной коры в процессе узнавания знакомых образов - визуальных, слуховых, вербальных и др. [4,5]. В опытах на обезьянах было показано, что примерно четверть нейронов периринальной коры активно отвечает на предъявление нового образа и очень слабо и кратко на предъявление уже знакомого [6].
МОДЕЛЬ
Для объяснения этого явления была построена нейросетевая модель узнавания и воспроизведения, основанная на использовании
модифицированной функции энер гии сети Хопфилда [7,8], которую мы назвали «знакомостью» и определили для сети из N нейронов как:
N (N \
E\Xt) = sign
i=i
Ywp j)
j=i
(i)
где х(Х) и ) - со стояние нейрона I и значение синаптического веса между нейронами I и ] в момент времени t. Динамика самой сети определяется правилом Мак-Каллока и Питтса [9]:
( п \
xi(t+1) = sign
Ywp )xj(t)
j=1
(2)
а динамика синаптических весов для всех j Ф i - правилом Xебба [10]:
Wij(t+1) = Wj(t) + Xi(t)Xj(t).
(3)
После применения фор мулы (2) формула (1) пр иобретает вид:
N
E *(Xt) = Zx;(t)X;(t+1),
(4)
i=1
т.е. знакомость равна просто скалярному произведению векторов состояний нейронов в два последующих временны х шага. В работе [1] (см. также [11]) предложена архитектура нейронной
мь мп
600 -
Pис. 1. Зависимости cpедниx Mf и Mn (кривые 1, 4 соответственно) и 99% нормальных границ Mf -2,33Sf и Mn + 2,335"n (кривые 2, 3 соответственно) от P для сети из 700 нейронов.
Pис. 2. Зависимость Pmax от N (аппроксимирующая кривая задана формулой P = 0,0185N2).
сети, вычисляющей знакомо сть на о снове фо р-мулы (4) и напр авляющей результат на дополнительный N +1)-й «узнающий» нейр он.
П р и по стр оении данной сети были сделаны два предположения относительно функциони-р ования узнающего нейр она: 1) значения пр е-дыдущих весов связей от входных нейр онов к этому нейр ону забываются, и 2) нейр он N +1 находится в активном со стоянии пр и фор ми-ровании новых весов. Второе предположение можно сфо р мулир овать и иначе - вес связи от нейр она ] к нейр ону N +1 увеличивает ся, если нейр он находится в активном со стоянии (независимо от со стояния нейр она N +1), т .е. фо р-мула (3) для узнающего нейр она модифицир у-ет ся следующим обр азом:
w
N+1,j
(t +1) = Xj(t).
(5)
С ледует, однако, подчер кнуть, что вопр о с о существовании в реальной нейронной сети мозга вообще и в пер ир инальной кор е в частно сти такого типа нейр онов, т .е. нейр онов, обучающихся по модифицированному правилу Хебба (5), выходит за р амки данной р аботы.
В данной работе сравниваются возможности узнавания и воспр оизведения сети, пр едложен -ной в работе [1]. В Приложении приведены пр огр аммы на языке МаЙаЬ, реализующие необходимые нейр о сетевые вычисления.
Таблица 1
УЗНАВАНИЕ ПОЛНОС ТЬЮ П РЕДЪЯВЛЕННОГО НЕИСКАЖЕННОГО ОБР АЗА
Для каждого значения вычисляются средние M f и M n и ср еднеквадр атичные отклонения S f и S n значений знакомо сти E * для знакомых (f = familiar) и незнакомых (n = novel) обр азов и строится график зависимости Mf, Mn, Mf -2,33Sf и Mn + 2,33Sn от P. Пересечение 99% но р мальных гр аниц M f - 2,33S f и M n + 2,33S n отклонений E * от ср едних M f и M n опр еделяет максимальное значение, при котором ошибка узнавания не п р евышает 1%. Из рис. 1 следует, что Pmax « 900°-
Р езультаты р асчетов по пр огр амме 2 пр и-ведены в табл. 1.
На рис. 2 эти результаты представлены в виде графика вместе с регрессионной кривой P max = 0,0185N2, аппр оксимир ующей зависимость Pmax от N.
max
УЗНАВАНИЕ И СКАЖЕННОГО ОБРАЗА
Возникает еще один важный вопр о с, связанный с возможностями сети, предложенной в работе [1]. Выше было сказано, что ее емко сть узнавания 0,0185N2 при больших N гораздо больше ее емко сти во спр оизведения 0,145N. Однако пр и этом р ечь шла о пр едъявлении полного обр аза. Как хор ошо сеть будет узнавать обр аз, если он пр едъявлен не полно стью?
N
100
150
200
250
300
350
400
450
500
550
600
650
700
750
800
P„
173
459
774
1218
1667
2387
2987
3912
4677
5587
6657
7842
9087
10406
11599
В табл. 2 для N = 700, Р = 100 и К = 10 пр иведены результаты расчетов для серии значений сие, показывающих, что для узнавания с ошибкой не более 1% достаточно правильно предъявить сети примерно 15,5% информации об образе.
Таблица 2
а Ь с й еггог сие
861 139 8 992 0,074 0,10
904 96 6 994 0,051 0,11
948 52 11 989 0,032 0,12
974 26 7 993 0,017 0,13
983 17 5 995 0,011 0,14
983 17 7 993 0,012 0,15
995 5 10 990 0,008 0,16
997 3 10 990 0,007 0,17
999 1 7 993 0,004 0,18
1000 0 8 992 0,004 0,19
1000 0 8 992 0,004 0,20
Однако пр и увеличении Р до 4500 (т.е. пр и-мерно до половины емкости памяти узнавания сети из 700 нейронов), как видно из табл. 3, ра ссчитанной пр и N = 700 и К = 1, для получения ошибки узнавания в 1% требуется правильно предъявлять около 70% образа.
Таблица 3
а Ь с й еггог сие
3785 715 35 4465 0,083 0,50
4341 159 33 4467 0,021 0,60
4468 32 40 4460 0,008 0,70
4499 1 37 4463 0,004 0,80
4500 0 35 4465 0,004 0,90
4500 0 41 4459 0,005 1,00
И наконец, при увеличении Р до 9000 (т.е. почти до полной емкости памяти узнавания сети из 700 нейронов), как видно из табл. 4, для ошибки в 1% требуется предъявлять образ пр актически полностью.
Таблица 4
а Ь с й еггог сие
4121 4879 80 8920 0,276 0,50
5940 3060 85 8915 0,175 0,60
7393 1607 65 8935 0,093 0,70
8277 723 76 8924 0,044 0,80
8699 301 86 8914 0,022 0,90
8898 102 97 8903 0,011 1,00
ВО СП РОИЗВЕДЕНИЕ И С КАЖЕННОГО ОБРАЗА
Для сравнения, для той же сети из 700 нейронов, были вычислены возможности воспроизведения полного образа при предъявлении его искаженного варианта. Для этого была использована прогр амма, реализующая сеть Хоп-филда, т.е. обучаемая в соответствии с формулой (2) и релаксирующая к аттракторному состоянию в соответствии с формулой (1).
В табл. 5 приведены результаты расчетов для N = 700, К = 10 и Р = 10, 20, ... , 120. Для каждого значения числа предъявляемых образов Р и каждого значения неискаженной доли предъявляемого образа, сие = 0; 0,1; 0,2; ... , 1,0, вычислялись четыре характеристики успешности распознавания предъявленны х КхР образов: доля полностью воспроизведенных образов; доля образов, воспроизведенных на 99%; доля образов, воспроизведенных на 95%; доля случаев достижения аттрактора (независимо от точности воспроизведения образа) не более, чем за 15 шагов.
Из табл. 5 видно, что полное воспроизведение образа в 99% случаев возможно при первоначальном запоминании сетью не более 50 образов, причем при запоминании 10 образов необходимо предъявить сети примерно 20% правильной информации об образе, при запоминании 20 обр азов - 25%, при запоминании 30 -30%, при запоминании 40 - 40%, а пр и запоминании 50 - почти 100%. П ри большем числе первоначально запомненных образов значительная часть предъявленных даже полностью правильных образов воспроизводится сетью с искажениями. Например, при Р = 100 лишь 10% предъявленных неискаженных образов воспроизводится полностью правильно, а при Р = 120 - ни одного.
Если требовать, чтобы образ воспроизводился в 99% случаев лишь с точностью в 99%, то, как видно из табл. 5, при полном предъявлении образа это возможно примерно при 75 первоначально запомненных образах, а воспроизведение с точностью в 95% возможно при 85.
Таким образом, можно сделать вывод, что удовлетворительное воспроизведение искаженного образа сетью Хопфилда из 700 нейронов возможно пр и запоминании ею пр имерно половины образов, соответствующих максимальной емкости памяти воспроизведения этой сети (0,145N = 100). Например, чтобы при 50 запомненных образах образ воспроизводился в 99% случаев с точностью 99%, требуется предъявить лишь 40% правильной информации об
Таблица 5
р сие 100% 99% 95% г <16 Р сие 100% 99% 95% г <16
10 0 0,04 0,04 0,03 0,96 40 0,2 0,58 0,59 0,57 0,6
10 0,1 0,56 0,56 0,72 0,98 40 0,3 0,97 0,98 0,98 0,98
10 0,2 0,98 0,98 1 1 40 0,4 0,99 1 1 1
10 0,3 1 1 1 1 40 0,5 1 1 1 1
10 0,4 1 1 1 1 40 0,6 1 1 1 1
10 0,5 1 1 1 1 40 0,7 0,98 1 1 1
10 0,6
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.