An Empirical Study of Learning Speed in Back-Propagation Networks

Большинство конективистстких обучающихся систем (или "нейросетей") используют разновидность алгоритма обратного распространения (back-propagation). Однако, обучение при помощи обратного распространения для многих приложений слишком медленно и плохо масштабируется, когда задачи становятся большей размерности и сложности. Факторы, контролирующие скорость обучения малопонятны. Я начал систематическое, эмпирическое изучения скорости обучения в алогоритмах, сходных с обратным распространением на различных тестовых задачах. Цель была двоякой: разработать быстрый алгоритм обучения и сделать вклад в методологию, который будет иметь значение в будущих исследованиях такого рода.

Эта статья описывает результаты, достигнутые в течении первых шести месяцев исследований. К этому времени я рассмотрел только небольшое количество тестовых задач, но результаты обнадеживают: я разработал новый алгоритм обучения, который быстрее стандартного алгоритма обратного распространения на порядок величины или более и, как оказалось, он хорошо масштатабируется при увеличении размерности задачи.

Оригинал статьи: An Empirical Study of Learning Speed in Back-Propagation Networks (как PDF)