теорема Колмогорова-Арнольда НЕЙРОННЫЕ СЕТИ

А.Н. Колмогоровым и В.В. Арнольдом в 1957 году была доказана теорема о представимости непрерывных функций нескольких переменных суперпозицией непрерывных функций одной переменной, которая в 1987 году была переложена Хехт–Нильсеном для нейронных сетей:

 любая функция нескольких переменных может быть представлена двухслойной НС
 с прямыми полными связями с N нейронами входного слоя, (2N+1) нейронами 
скрытого слоя с ограниченными  функциями активации (например, сигмоидальными) 
и М нейронами выходного слоя с неизвестными функциями активации.

Из теоремы Колмогорова–Арнольда–Хехт–Нильсена (КАХН) следует, что для любой функции многих переменных существует отображающая ее НС фиксированной размерности, при настройке (обучении) которой могут использоваться три степени свободы:
- область значений сигмоидальных функций активации нейронов скрытого слоя;
- наклон сигмоид нейронов этого слоя;
- вид функций активации нейронов выходного слоя.

Точной оценки числа нейронов К в скрытом слое для каждой конкретной
выборки с р элементами нет, однако можно использовать одно из наиболее
простых приближенных соотношений:(потом допишу)

Comments

vedro-compota's picture

147 просмотров и в личный блог) мог и куда-нибудь в раздел о математике))))
отличная заметка. мозг начал плавиться)))

_____________
матфак вгу и остальная классика =)