ШНМ FeedForward Back Propagation

Штучні нейронні мережі зворотного поширення похибки (Back Propagation). Навчальний алгоритм зворотного поширення.

Для мереж прямого поширення сигналу (FeedForward, або FF) використовуються алгоритми навчання з учителем. Існує велика кількість різних моделей ШНМ FF для усіх їх характерним є паралельне з’єднання ШН у прошарки та послідовне з’єднання прошарків між собою.

Вибір моделі ШНМ FF залежить від типу розв’язуваної задачі. Такі мережі застосовують у випадку задач класифікації розпізнавання та ідентифікації, програмування. Навчання таких мереж передбачає корекцію ваг в залежності від отриманої похибки на виході. Оскільки мережа може мати декілька (>1) прошарків, то постає суттєва проблема для корекції ваг внутрішніх прошарків це відома похибка на виході нейронів. Тому потрібномати якісь алгоритми які дозволятимуть похибку на виході усієї мережі перевищувати та розподіляти між нейронами на попередні прошарки. Такий спосіб називається зворотнім поширенням похибки( Backpropagation). Це правило до розробки цілої моделі ШНМFFBP

Мережі зворотного поширення похибки(МЗП) були одними із перших продуктивних мереж, що дозволяли вирішувати значно складніші інтелектуальні задачі, а ніж перцептрони. Для таких мереж було розроблено особливий алгоритм, який називається BackPropagation, що базувався на поширені похибки з вихідного прошарку, на нейрони прихованих прошарків.

1.Структура МЗП

МЗП можуть містити декілька прошарків, але не менш ніж два. Деколи говорять про так званий 0-вий прошарок на якому здійснюється розподіл вхідних сигналів між нейронами 1-ого прошарку.

Схематично МЗП з 2-ма активними прошарками можна зообразити так

x₁ W _ij 1 V _jk 1 out₁ T₁

x₂ 2 2 out₂ T₂

x_N M L out_L T_L

0-ий прошарок немає ваг, він виконує функцію розподілу вхідних сигналів.

2ий- прошарок є вихідним

1-ий прошарок вважається прихованим. Саме для цього прошарку невідома похибка на його виході

Кількість елементів у кожному прошарку є довільною і не пов’язаною між собою(n вхідних сигналів, M нейронів 1-ого прошарку,L – нейронів в 2-му прошарку)

T₁,T₂,…,T_L – це відомі очікувані значення виходів ШНМ. Величина Т_К-outK, яка є похибкою виходу К-ого нейрона буде поширюватися в зворотньому напрямку на нейрони попередніх прошарків.

У нейрони активних прошарків в якості передатної функції використовується нелінійні сигмоїдні(логістичні) функції. Вибір передатної функції у вигляді сигмоїдних є доцільним оскільки їх похідна легко виражається черз ту саму функцію

F(Ʃ)= ;

F`(Ʃ)= - = = = - = αF(Ʃ)-αF²(Ʃ)=

= αF(Ʃ)(1-F(Ʃ))

Як видно похідна прямуватиме до максимального значення, коли величини суматора ∑→0. Природньо, що для такої передатної функції слід розглядати вхідні сигнали не лише додаткові, а й від’ємні. Це дозволить отримувати довільні значення суматора. Навчання таких багатошарових мереж потребує особливого підходу при налаштуванні ваг: адже відома похибка між очікуванним результатом та виходами нейронів лише на останьому, вихідному прошарку. А для всіх внутрішніх прихованих прошарків не можна встановити похибку, оскількі невідомо, які еталонні результати мають бути на їх виході. Тому в основу алгоритму ВР покладено переміщення похибки з останнього вихідного прошарку по синаптичних зв’язках попередні прошарки. При цьому корекція ваг проводиться згідно з так званими квадтратичним критерієм якості навчання. В алгоритмі ВР виділено такі 2 основні фази

1.корекція ваг останнього прошарку для якого відома похибка;

2.корекція ваг прихованих прошарків.

1)Корекція ваг вихідного прошарку.

Незменшуючи загальності розглянемо фрагмент ШНМ з одним нейроном у вихідному прошарку

.

p f_p. Ʃ _i f_i y _i = f_i(Ʃ_i) = T_i

. Wp_i -y_i

Тут Ʃ_і та f_i це значення суматора та передатної функції і-ого нейрона вихідного прошарку

Wp_i вага синаптичного звя’зку між р-тим нейроном прихованого прошарку та і-тим нейроном вихідного прошаркую

y_i=f_i(Ʃ_i) – вихід і-ого нейрона

y_i*=T_i – очікуване еталонне значення виходу і-ого нейрона

ξ=y_{i *} – y_i=y_i*-f_i похибка виходу і-ого нейрона.

Уякості квадратичного критерію ефективності навчання використовується величина = (y_i* - f_i)² (1)

Згідно з (1) корекція ваг проводиться за методом градієнтного або найшвидшого спуску. При цьому приріст ваги визначається

∆Wp_i=-ɣp_i (2)

ɣp_i – коефіцієнт навчання

Складну похідну у (2) обчислимо наступним чином

= · = · (3)

Враховуючи представлення суматора

Ʃ_i=Ʃ_pWp_i - (4)

Де це вихід р-ого нейрона попереднього прошарку,j-1.

А також вигляд активності функції

f _i(Ʃ_i)=

Складену похідну у (3) запишемо так:

= -2(y_i* - f_i)=-2(y_i* - f_i)=-2ξ_i (5)

= 2α f _i(1- f _i) (6)

= (7)

Підставимо (3),(5),(6),(7), у (2)

2 – (5), α – (6), ɣp_i – (2), ξ_i – (5), f _i(1- f _i) – 6, (7)

ΔWp_i=2αɣp_iξ_i f _i(1- f _i) (8)

Таким чином корекція ваг нейронів прихованого прошарку здійснюється за формулою

= +2ɣp_i δp_i

(9)

деδp_i =2α _i (1- )

Як видно корекція ваг здійснюється пропорційно до величини похибки ξ_i,

до величини сигналу з попереднього прошарку і пропорційно похідній передатної функції α (1- ).

2) Корекція ваг нейронів прихованого прошарку

Не зменшуючи загальності розглянемо фрагменти ШНМ з одним нейроном в прихованому прошарку.

j -1 прошарок y_i ξ_i y_i*

Ʃ_i f_i y_i ξ_i=y_i*-y_i y_i*

y_mξ_m

Тут позначено та - це суматор і передатно функція р-ого нейрона прихованого прошарку. - ваговий коефіцієнт зв’язків між h-тим нейроном попереднього прошарку та р-тим нейроном прихованого прошарку.

Ʃ_і, f _i,y_i = f _i – це сумматор, передатна функція, вихід і-ого нейрона вихідного прошарку.

=y_i*-y_i – це похибка на виході і-ого нейрона

Похибки на виходах нейронів останнього прошарків проштовхуватимуться на попередні прошарки, при цьому вони сумуватимуться із урахуванням вагових коефіцієнтів зв’язків.

Для корекції ваг прихованого прошарку теж використовується квадратичний критерій як навчання. В цьому випадку приріст ваг здійснюється за формулою

Δ = -ɣ_hp = -ɣ_hp (10)

Квадратичний критерій якості навчання обирався як лінійна комбінація таких жеж критеріїв для нейронів вихідного прошарку.

Знову розпишемо усі похідні

= = · · · · (11)

У (11) послідовно будемо підставляти вирази для кожного із співмножників.

= -2ξ_i (12)

= 2α (1- (13)

= Wp_i (14)

= 2α (1- ) (15)

= X_n (16)

Підстановка (12,13,14,15,16) у (11) дає:

= = (1- f _p)x_n (17)

Остаточно алгоритм корекції ваг прихованого прошарку записується так:

= + ɣ_npX_n (18)

= (1- (19)

Як видно із (19) величина корекцій ваги прихованого прошарку залежить від величини вхідного сигналу х_nта від суми зважених похибок прихованого прошарку які у свою чергу залежать від вихідного прошарку.

Аналогічно схемам (18) можна застосовувати і для більшої кількості прихованих прошарків. При цьому нові величини у формулі (19) обчислюватимуться через попередні величини та похідну в передатної функції.

2.2. ШНМ FFCounterPropagation(зустрічного поширення)

Дата добавления: 2015-08-31