Алгоритмы обучения нейронных сетей и нейро-фаззи систем c сепарабельной структурой

Abstract

Рассматриваются задачи обучения нейронных сетей и нейро-фаззи систем, приводящие к сепарабельным моделям структурам, нелинейным относительно некоторых неизвестных параметров и линейным относительно других неизвестных. Предлагаются новые алгоритмы их обучения, в основе которых нелинейная оптимизационная задача, включающая априорную информацию только о нелинейно входящих параметрах. Предполагается, что она может быть получена по обучающему множеству, распределению генерирующей выборки или лингвистической информации. Для решения задачи используются метод Гаусса Ньютона с линеаризацией в окрестности последней оценки, асимптотические представления псевдоинверсий возмущенных матриц и сепарабельная структура моделей. Полученные алгоритмы обладают рядом важных свойств: не требуется подбора начальных значений для линейно входящих параметров, который может приводить к расходимости, но при этом нет необходимости находить частные производные от проекционной матрицы; могут быть использованы в режимах последовательной и пакетной обработки; как частный случай, из них следуют известные алгоритмы, а моделирование показывает, что разработанные алгоритмы могут превосходить известные по точности и скорости сходимости.

Розглянуто задачі навчання нейронних мереж і нейро-фаззі систем, що призводять до сепарабельних моделей структур, нелінійних щодо деяких невідомих параметрів і лінійних щодо інших. Запропоновано нові алгоритми їх навчання, в основі яких нелінійна оптимізаційна задача, що включає апріорну інформацію тільки про нелінійні параметри. Робиться припущення, що її можна отримати за навчальною множиною, розподілом генеруючої вибірки або лінгвістичної інформації. Для розв язання задачі використано метод Гаусса Ньютона з лінеаризацією в околі останньої оцінки, асимптотичні зображення псевдоінверсії збурених матриць і сепарабельну структуру моделей. Отримані алгоритми мають низку важливих властивостей: не потрібен підбір початкових значень для лінійних параметрів, який може призвести до розбіжності, при цьому не потрібно знаходити частинні похідні від проекційної матриці; можуть використовуватися в режимах послідовного і пакетного оброблення; як окремий випадок, з них походять відомі алгоритми, а моделювання показує, що розроблені алгоритми можуть перевершувати відомі алгоритми за точністю і швидкістю збіжності.

We consider the problem of training of neural networks and neural-fuzzy systems, leading to separable models structures nonlinear in some unknown parameters and linear in the others. New algorithms for their training are proposed, based on the nonlinear optimization problem that includes a priori information only on nonlinear input parameters. It is assumed that it can be obtained on a training set, the distribution of the generating set or linguistic information. To solve the problem, the Gauss–Newton method with linearization in the vicinity of the last estimate, asymptotic representations of the pseudo-inverse of perturbed matrices, and separable structure of the models are used. The obtained algorithms have several important properties: they do not require selection of initial values of the linear parameters, which may lead to divergence, but at the same time it is not necessary to find the partial derivatives of the projection matrix; they can be used in serial mode and batch processing; as a special case, well-known algorithms follow from them, and the simulation shows that the proposed algorithms can surpass them in accuracy and rate of convergence.