Виявлення та оброблення невизначеностей у формі неповних даних методами інтелектуального анализу

Abstract

Розглянуто методи оброблення пропущених даних і запропоновано їх класифікацію з урахуванням видів вхідних даних, типів та форматів даних, причин пропусків, зумовлених проявом впливу невизначеностей навколишнього світу і об’єкта моделювання. Досліджено спільні ознаки та відмінності існуючих методів оброблення, визначено особливості їх застосування для дозаповнення пропущених даних залежно від характеру невизначеностей. Показано, що традиційний підхід до заповнення пропусків середнім значенням не дозволяє отримати достовірні прогнози у багатьох випадках через зміну характеру вибірки. Запропоновано використання методів інтелектуального аналізу даних для оброблення пропущених значень та наведено приклад заповнення пропусків даних методами регресійного аналізу, зокрема за допомогою оцінок прогнозів.

In this paper, the methods for processing missing data are reviewed. The classification of methods depending on input data, data types and formats, and causes of data incompleteness associated with influence of uncertainties of the outside world and modeling object is proposed. The commonalities and differences between existing methods are investigated. The application peculiarities of these methods for filling missing data depending on properties of uncertainties are determined. It is shown that the traditional approach for filling the missing data by average values does not allow obtaining correct forecasts in many cases due to changes in sample’s properties. The usage of data mining methods technologies for dealing with missing data is proposed. An example of using regression methods is shown for filling missing data, in particular, using the forecast evaluation.