Алгоритм обучения Хебба

МЕТОД ОБУЧЕНИЯ ХЭББА

ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ

Обучающие алгоритмы могут быть классифицированы как алгоритмы обучения с учителем и без учителя. В первом случае существует учитель, который предъявляет входные образы сети, сравнивает результирующие выходы с требуемыми, а затем настраивает веса сети таким обра­зом, чтобы уменьшить различия. Трудно представить такой обучающий механизм в биологических системах; следова­тельно, хотя данный подход привел к большим успехам при решении прикладных задач, он отвергается исследователя­ми, полагающими, что искусственные нейронные сети обя­зательно должны использовать те же механизмы, что и человеческий мозг.

Во втором случае обучение проводится без учителя, при предъявлении входных образов сеть самоорганизуется посредством настройки своих весов согласно определенно­му алгоритму. Вследствие отсутствия указания требуемого выхода в процессе обучения результаты непредсказуемы с точки зрения определения возбуждающих образов для конк­ретных нейронов. При этом, однако, сеть организуется в форме, отражающей существенные характеристики обучающе­го набора. Например, входные образы могут быть класси­фицированы согласно степени их сходства так, что образы одного класса активизируют один и тот же выходной ней рон.

Работа [2] обеспечила основу для большинства алго­ритмов обучения, которые были разработаны после ей выхода. В предшествующих этой работе трудах в обп^ виде определялось, что обучение в биологических систе­мах происходит посредством некоторых физических измене­ний в нейронах, однако отсутствовали идеи о том, каки» образом это в действительности может иметь место. Осно­вываясь на физиологических и психологических исследова­ниях, Хэбб в [2] интуитивно выдвинул гипотезу о том, каким образом может обучаться набор биологических ней­ронов. Его теория предполагает только локальное взаимо­действие между нейронами при отсутствии глобального учителя; следовательно, обучение является неуправляе­мым. Несмотря на то что его работа не включает матема­тического анализа, идеи, изложенные в ней, настолько ясны и непринужденны, что получили статус универсальных допущений. Его книга стала классической и широко изуча­ется специалистами, имеющими серьезный интерес в этой области.

По существу Хэбб предположил, что синаптическое соединение двух нейронов усиливается, если оба эти нейрона возбуждены. Это можно представить как усиление синапса в соответствии с корреляцией уровней возбужден­ных нейронов, соединяемых данным синапсом. По этой причине алгоритм обучения Хэбба иногда называется кор­реляционным алгоритмом. Идея алгоритма выражается следующим равенством:

где w_ij(t) - сила синапса от нейрона i к нейрону j,в момент времени t, NET_i - уровень возбуждения пресинаптического нейрона; NET_j - уровень возбуждения постсинаптического нейрона.

Концепция Хэбба отвечает на сложный вопрос, каким образом обучение может проводиться без учителя. В мето­де Хэбба обучение является исключительно локальным явлением, охватывающим только два нейрона и соединя­ющий их синапс; не требуется глобальной системы обратной связи для развития нейронных образований.

Последующее использование метода Хэбба для обуче­ния нейронных сетей привело к большим успехам, но наря­ду с этим показало ограниченность метода; некоторые образы просто не могут использоваться для обучения этим методом. В результате появилось большое количество расширений и нововведений, большинство из которых в значительной степени основано на работе Хэбба.

Дата добавления: 2014-01-15