При обучении нейросети используются два множества: обучающее и контрольное. Примеры из обучающего множества предъявляются сети, и, в зависимости от правильности отклика, веса сети корректируется. Ошибка, которую сеть дает на примерах обучающего множества называется ошибкой обучения.

Примеры из контрольного множества также предъявляются сети, но отклик сети на контрольное множество не используется для обучения. Ошибка на примерах контрольного множества называется ошибкой обобщения.

Как правило, если архитектура сети удачно подобрана, ошибка обобщения снижается вместе с ошибкой обучения. Но при длительном обучении, несмотря на продолжающееся снижение ошибки обучения, ошибка обобщения может начать расти. С этого момента сеть называется переобученной и ее отличительная особенность - она хорошо работает на примерах обучающей выборки и сравнительно плохо на примерах генеральной совокупности.

Способность нейросетей к обобщения является одним из основных преимуществ этого метода, поэтому так важно обращать внимание на ошибку обобщения при обучении и оценке качества сети.