Фактори продуктивності застосування моделей штучного інтелекту у хмарі з використанням GPU

Abstract

Експериментально дослідженні фактори, що впливають на продуктивність застосування готових неромережних моделей у хмарних системах різної архітектури з графічними прискорювачами. Оцінені накладні видатки пов’язані з мікросервісною і розподіленою архітектурою, вплив пам’яті, мережі, розміру пакетів, синхронної і асинхронної взаємодії. Продемонстровано складний нелінійний характер впливу параметрів системи у різних комбінаціях.

Цель статьи: экспериментально исследовать факторы, влияющие на производительность применения готовых нейросетевых моделей в облачных системах различной архитектуры с графическими ускорителями. Результаты. Оценены накладные расходы, связанные с микросервисной и распределенной архитектурами, влияние памяти, сети, размера пакетов, синхронного и асинхронного взаимодействия. Продемонстрирован сложный нелинейный характер влияния параметров системы в различных комбинациях.

The purpose of the paper is to experimentally investigate the factors that influence the performance of a ready-to-use neural network model application in GPU cloud systems of various architectures. Results. Overheads related to microservices and distributed architectures, memory, network, batch size, synchronous and asynchronous interactions are estimated. The complex nonlinear nature of the influence of the system parameters in various combinations is demonstrated.