| |
(Y = 0,1). Активация выхода определяется на основе сравнения суммарного
входного уровня с пороговой величиной (?) по следующей формуле:
Y = 1, если ? (Vi Xi) > ?, в противном случае Y = 0.
Рис. 1. Линейный пороговый элемент, в котором Хi — входные уровни активации,
Vi — веса связей, ? — пороговая величина, a Y — выходной уровень активации.
Манипулируя весами связи или пороговыми величинами, можно синтезировать
общие логические функции. Напр. логический элемент И может быть сконструирован
следующим образом. Предположим, что некий элемент имеет два входа (X1, Х2),
каждый с весом связи 0,50 (V1 = V2 = 0,50), и что пороговая величина этого
элемента ? = 0,75. Согласно правилу активации Мак-Каллока — Питтса, для того
чтобы суммарный входной уровень превысил данную величину порога и тем самым
инициировал выход (Y), должны быть активными оба входа (X1 = Х2 = 1). Тот же
самый элемент может быть преобразован в логический элемент ИЛИ снижением порога
до величины менее 0,50 или повышением веса входов до величины более 0,75.
Наконец, для полноты логической системы, можно сконструировать оператор НЕ
путем инвертирования правила активации, так что когда суммарный входной уровень
превышает величину порога, элемент, который бы в противном случае инициировался
(Y = 1), будет выключаться (Y = 0). Это инвертированное правило активации может
быть записано как:
Y = 1, если не ? (Vi Xi) > ?, тогда Y = 0.
Синаптическая фасилитация
Истоки правил обучения для сетей кроются в идее, сформулированной впервые в
общих чертах Хеббом. Коротко говоря, он применил старый закон смежности к
уровню нейронной активности и утверждал, что синаптическая передача будет
получать выигрыш в эффективности всякий раз, когда пресинаптическая активность
оказывается смежной по времени с постсинаптической активностью. На рис. 2
приведен пример хеббовского элемента. Этот хеббовский элемент имеет две входные
связи. Один вход (Xi), наз. здесь «сигнальным» входом («cue» input), не
обладает изначально весом связи и, следовательно, не способен активизировать
элемент. Др. вход (Х0), обычно наз. «обучающим» входом («teacher» input), имеет
фиксированный большой вес (V0 = 1), позволяющий активизировать элемент и
вызвать «ответный» выход («response» output). При совмещении во времени обоих
входов, сигнальный вход будет обеспечивать пресинаптическую активность (Xi), а
обучающий вход будет вызывать постсинаптическую активность (Y). В мат. терминах,
изменение веса связи (?Vi) выражается в виде произведения двух уровней
активности. Это правило обучения может быть записано как ?Vi = сХiY, где с —
коэффициент пропорциональности (0 < с < 1).
Рис. 2. Хеббовский адаптивный элемент, в котором Xi — уровень сигнального
входа, Vi — адаптивный вес связи, Х0 — уровень обучающего входа, a Y — уровень
выходной реакции.
Если по хеббовскому правилу научение находится в строгой зависимости от
смежности уровней активации, согласно др. правилам научение зависит от ошибки в
способности веса сигнального входа соответствовать обучающему входу. Одно из
наиболее часто используемых правил этого рода известно под разными
наименованиями: правило допустимой ошибки (дельта), правило Ресколы — Вагнера
(the Rescorla — Wagner rule), правило Видроу — Хоффа (the Widrow — Hoff rule) и
правило наименьших средних квадратов (least-mean squares rule). При наличии
множества одновременных сигнальных входов это правило может быть записано как
?Vi = с (V0X0 — ? [Vi Xi]) Xi. Анализ этого правила показывает, что когда
суммарный вход (? [Vi Xi]) существенно отличается от активации, вызываемой
обучающим входом (V0 X0), это приводит к резкому изменению веса связи каждого
подходящего входа (?Vi). И наоборот, когда это различие мало, изменение также
будет малым.
Правило исправления ошибок (error-correction rule) оказывается более
сложным, чем хеббовское правило смежности, однако имеет 3 осн. преимущества при
моделировании ассоциативного обучения.
1. Самоограничивающиеся приращения. Тогда как правило смежности порождает
веса связи, к-рые растут линейно, правило исправления ошибок является
самоограничивающимся. Эта его особенность производит отрицательное ускорение,
к-рое можно наблюдать в большинстве кривых научения.
2. Обратимость. Правило смежности продуцирует только положительные
приращения в научении, тогда как правило исправления ошибок порождает не только
положительные, но и отрицательные приращения (или затухание). В частности, в
правиле смежности, отсутствие обучающего входа (Х0) исключает любые приращения,
но при этом не влечет эффекта затухания. В свою очередь, в правиле исправления
ошибок, отсутствие обучающего входа означает, что вычитаемый член уравнения
принимает отрицательные значения (-? [Vi Xi]), тем самым производя понижение
веса связи (Vi). Т. о., правило исправления ошибок может отслеживать изменения
прогнозируемого значения «сигнального» входа для определенного «обучающего»
входа.
3. Избирательность. Когда имеется множество сигналов, хеббовское правило
смежности применяется независимо к каждому входу. В отличие от него, правило
исправления ошибок предполагает, что изменение ассоциативной силы для каждого
входа зависит от результирующей ошибки по всем активным входам. Напр., если
определенный набор сигнальных входов уже приобрел высокие веса, то тогда
разность членов (V0X0 — ? [Vi Xi]) будет приближаться к нулю и тем самым
препятствовать приобретению веса дополнительными, одновременно действующими
сигналами. Т. о., избыточные сигналы будут эффективно подавляться. Кроме того,
|
|
