Описание алгоритма

Обратное распространение ошибки применяется к многослойным сетям, нейроны которых имеют нелинейность с непрерывной производной, например такую:

Нелинейность такого вида удобна простотой расчета производной:

Для обучения сети используется P пар векторов сигналов: входной вектор I и вектор, который должен быть получен на выходе сети D. Сеть, в простом случае, состоит из N слоев, причем каждый нейрон последующего слоя связан со всеми нейронами предыдущего слоя связями, с весами w ^[n] .

При прямом распространении, для каждого слоя рассчитывается (и запоминается) суммарный сигнал на выходе слоя (S ^[n] ) и сигнал на выходе нейрона. Так, сигнал на входе i-го нейрона n-го слоя:

Здесь w _(i,j) - веса связей n-го слоя. Сигнал на выходе нейрона рассчитывается применением к суммарному сигналу нелинейности нейрона:

Сигнал выходного слоя x ^[N] считается выходным сигналом сети O.

По выходному сигналу сети O и сигналу D, который должен получится на выходе сети для данного входа, рассчитываться ошибка сети. Обычно используется средний квадрат отклонения по всем векторам обучающей выборки:

Для обучения сети используется градиент функции ошибки по весам сети. Алгоритм обратного распространения предполагает расчет градиента функции ошибки "обратным распространением сигнала" ошибки. Тогда частная производная ошибки по весам связей рассчитывается по формуле:

Здесь δ - невязка сети, которая для выходного слоя рассчитывается по функции ошибки:

А для скрытых слоев - по невязке предыдущего слоя:

Для случая сигмоидной нелинейности и среднего квадрата отклонения как функции ошибки:

Собственно обучение сети состоит в нахождении таких значений весов, которые минимизируют ошибку на выходах сети. Существует множество методов, основанных или использующих градиент, позволяющих решить эту задачу. В простейшем случае, обучение сети проводится при помощи небольших приращений весов связей в направлении, противоположенном вектору градиента:

Такой метод обучения называется "оптимизация методом градиентного спуска" и, в случае нейросетей, часто считается частью метода обратного распространения ошибки.

Методы обучения

Другие известные методы, основанные на обратном распространении ошибки:

quickprop

Аппроксимация сечения поверхности ошибки вдоль градиента параболой, и выбор шага таким образом, чтобы достичь минимума за один шаг, метод позволяет ускорить сходимость за счет оптимального выбора шага;

вероятностный backprop

Шаг оптимизации выбирается случайным образом из облака, рассеяного вдоль вектора градиента. По мере обучения дисперсия рассеивания искусственно снижается, метод позволяет избежать ловушки локального минимума и найти более оптимальное решение за меньшее время;

Топология сетей

Метод обратного распространения ошибки может применяться для обучения не только сетей с простейшей многослойной топологией, но и для сетей с черезслойными и обратными связями. Сети с обратными связями, т.н. рекуррентные сети, обладают внутренним состоянием и их отклик зависит не только от входного вектора, но и от предыдущих входных векторов. Такие сети используются в обработке сигналов и предсказании временных последовательностей. Расширение обратного распространение ошибки для рекуррентных сетей называется "обратное распространение ошибки сквозь время" (back propagation through time).