Основні аспекти семантичного анотування великих даних

Abstract

Семантичні анотації, в силу своєї структурованості, є невід’ємною складовою ефективного вирішення задач великих даних. Але, сама проблема визначення семантичних анотацій є досить не тривіальною. Ручне анотування є не прийнятним для великих даних з огляду на їх розмір та різнорідність, а також трудомісткість та вартосність самого процесу, задача повністю автоматичного анотування для великих даних поки що не має вирішення. Тобто вирішення задачі семантичного анотування вимагає сучасних змішаних підходів, які б на основі та із застосуванням існуючого теоретичного апарату, а саме методів та моделей машинного навчання, статистичного навчання, роботи з контентами різних форматів представлення, обробки текстів природньою мовою, тощо, забезпечували вирішення основних задач анотування: виявлення та витягнення сутностей та відношень з контенту будь-якого типу та визначення семантичних анотацій за основі існуючих джерел знань (словників, онтологій, тощо). Отримані анотації повинні бути точними та забезпечувати подальшу можливість вирішення прикладних задач з анотованими даними. Слід зазначити, що контенти великих даних є дуже різноманітними, як наслідок, дуже різняться їх властивості, що підлягають анотуванню. Це вимагає різних метаданих для опису даних та обумовлює наявність великої кількості різних стандартів метаданих для даних різних типів чи форматів представлення. Але, для ефективного вирішення задачі анотування треба мати узагальнену характеристику типів метаданих, в межах якої розглядати їх специфіку. Визначення загальної класифікації метаданих та спільних аспектів та підходів до семантичного анотування контенту великих даних за їх допомогою і є метою даної роботи.

Semantic annotations, due to their structure, are an integral part of the effective solution of big data problems. However, the problem of defining semantic annotations is not trivial. Manual annotation is not acceptable for big data due to their size and heterogeneity, as well as the complexity and cost of the annotation process, the automatic annotation task for big data has not yet decision. So, resolving the problem of semantic annotation requires modern mixed approaches, which would be based on and using the existing theoretical apparatus, namely methods and models of machine learning, statistical learning, working with content of different types and formats, natural language processing, etc. It also should provide solutions for main annotation tasks: discovering and extracting entities and relationships from content of any type and defining semantic annotations based on existing sources of knowledge (dictionaries, ontologies, etc.). The obtained annotations must be accurate and provide a further opportunity to solve application problems with the annotated data. Note that the big data contents are very different, as a result, their properties that should be annotated are very different too. This requires different metadata to describe the data. It leads to large number of different metadata standards for data of different types or formats appears. However, to effectively solve the annotation problem, it is necessary to have a generalized description of the metadata types, and we have to consider metadata specificity within this description. The purpose of this work is to define the general classification of metadata and determinate common aspects and approaches to big data semantic annotation