Паралич сети

Трудности обучения сети обратного распространения.

Экспоненциальное сглаживание.

Импульс.

Добавление нейронного смещения.

Разновидности сети обратного распространения.

Лекция 5. Разновидности сетей обратного распространения. Трудности обучения сетей обратного распространения. Сеть встречного распространения. Упрощенная структура сети встречного распространения.

Во многих случаях желательно наделять каждый нейрон обучаемым смещением. Это позволяет сдвигать начало отсчета логической функции, давая эффект, аналогичный подстройке порога персептронного нейрона, и приводит к ускорению процесса обучения. Эта возможность может быть легко введена в обучающий алгоритм с помощью добавляемого к каждому нейрону веса, присоединенного к +1. Этот вес обучается так же, как и все остальные веса, за исключением того, что подаваемый на него сигнал равен +1, а не выходу нейрона предыдущего слоя.

Метод, названный импульсом, заключается в добавлении к коррекции веса члена, пропорционального величине предыдущего изменения веса. Как только происходит коррекция, она «запоминается» и служит для модификации всех последующих коррекций. Уравнения коррекции модифицируются следующим обра­зом:

D wpq,k(n+1) = h(dq,kOUT p,j) + a[Dwpq,k(n)],

wpq,k(n+1) = wpq,k(n) + D wpq,k(n+1),

где a - коэффициент импульса, обычно устанавливается около 0,9.

Используя метод импульса, сеть стремится идти по дну узких оврагов поверхности ошибки (если таковые имеются), а не двигаться от склона к склону. Этот метод, по-видимому, хорошо работает на некоторых задачах, но дает слабый или даже отрицательный эффект на других.

Метод, основанный на экспоненциальном сглаживании, может иметь преимущество в ряде приложений.

D wpq,k(n+1) = a D wpq,k(n) + (1-a)dq,kOUT p,j,

Затем вычисляется изменение веса

wpq,k(n+1) = wpq,k(n) + hD wpq,k(n+1),

где a коэффициент сглаживания, варьируемый и диапазоне от 0,0 до 1,0. Если a равен 1,0, то новая коррекция игнорируется и повторяется предыдущая. В области между 0 и 1 коррекция веса сглаживается величиной, пропорциональной a. По-прежнему, h является коэффициентом скорости обучения, служащим для управления средней величиной изменения веса.

В процессе обучения сети значения весов могут в результате коррекции стать очень большими величинами. Это может привести к тому, что все или большинство нейронов будут функционировать при очень больших значениях OUT, в области, где производная сжимающей функции очень мала. Так как посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может практически замереть. В теоретическом отношении эта проблема плохо изучена. Обычно этого избегают уменьшением размера шага h, но это увеличивает время обучения. Различные эвристики использовались для предохранения от паралича или для восстановления после него, но пока что они могут рассматриваться лишь как экспериментальные.

Дата добавления: 2014-01-11