Диффузные алгоритмы обучения нейронных сетей прямого распространения

Abstract

Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове математичне сподівання і матрицю коваріації, пропорційну великому параметру λ. Знайдено асимптотичні зображення при λ→∞ РФК — дифузні алгоритми навчання (ДАН). Показано, що на відміну від їх прототипу РФК з великим, але скінченним λ, їм властива робастність відносно накопичення помилок округлення. Із ДАН при певних спрощуючих припущеннях отримуємо ELM-алгоритм (extreme learning machine). Показано, що ДАН можуть перевершувати ELM-алгоритм за точністю апроксимації.

The problem of training feedforward neural networks is considered. To solve it, new algorithms are proposed. They are based on the asymptotic analysis of extended Kalman filter (EKF) and on a separable network structure. Linear weights are interpreted as diffusion random variables with zero expectation and covariance matrix proportional to an arbitrarily large parameter λ. Asymptotic expressions as λ→∞ for the EKF are derived. They are called diffusion learning algorithms (DLA). It is shown that they, unlike their prototype EKF with large yet finite λ are robust with respect to the accumulation of rounding errors and that under certain simplifying assumptions, the ELM (extreme learning machine) algorithm follows from the DLA. A numerical example shows that the accuracy of the DLA may be higher than that of the ELM algorithm.