Модель рекурентної нейронної мережі для генерації музики

Abstract

У роботі розглядається можливість генерації музичних композицій, використовуючи рекурентні нейронні мережі. Запропоновано та розглянуто два методи генерації музичних творів – на рівні нот та на рівні акордів. Проведено дослідження обох методів та визначено їх переваги та недоліки. Далі для розробки обрано метод генерації на рівні нот, для якого детально описано процес пошуку та обробки даних для навчання генерації музики за допомогою рекурентної нейронної мережі. Це дозволяє автоматизувати генерацію музичних творів без втручання людини. Для побудованої моделі виконано програмну реалізацію запропонованого рішення, проведені експерименти та їх верифікація за участю фокус-групи людей щодо визначення авторства створеної музики – людина чи комп'ютер.

The paper considers the possibility of generating musical compositions using recurrent neural networks. Two approaches to the generation of musical works are proposed and considered, namely using the method of notes and the method of chords. The research of both methods was carried out, and their advantages and disadvantages were formulated. As a result it was decided to use the method of notes as the main one for music generation. The process of searching and processing data for learning a music neural network is described in detail, the algorithm for converting data from MIDI format to your own text for use in a neural network is considered in detail. The learning process of the neural network was also described, and the learning speed was compared using GPUs and CPUs, as a result of which it was determined that learning takes place faster using a graphics processor, in some cases 5.5 times. As a result of testing the operation of the neural network, it was determined that the optimal characteristics of the recurrent neural network for music generation is a network consisting of 4 LSTM layers, each with a dimension of 600 neurons. As music generation cannot be assessed by objective characteristics, a special focus group survey was conducted to assess quality. It shows that music generated by a neural network received almost the same marks as music. written by a man. It should be considered as a great result. It was also determined that it was difficult for the survey participants to correctly identify the author of a musical work, since they correctly identified the authors in only 58% of cases. The proposed solution allows to easily generate musical compositions without human intervention.