APPROACH TO DEVELOPING ARCHITECTURE OF A HETEROGENEOUS MULTICOMPUTER TASK PLANNING SYSTEM

Анотація

When developing the architecture of a distributed task scheduling system, developers inevitably face the problem of ensuring the operation of the system as a whole unit. Despite the scalability advantage of heterogeneous multicomputer systems based on nodes with network operating systems, developers face challenges in ensuring the security and transparency of the system. The correct architectural approach in the development of such systems will help to level their shortcomings, as well as ensure fault tolerance and data consistency. When designing distributed task planning systems, it is necessary to consider the problem of load balancing at the nodes that participate in the execution of tasks, so the literature on this topic was considered. The article also analyzes other modern literature on the development of distributed systems in general. The design of a distributed system is considered from the standpoint of analysis of interaction models, message brokers, different types of architecture and consensus algorithms. Different models of interaction in distributed systems are also considered – remote procedure call (RPC), remote method invocation (RMI), message-oriented middleware (MOM), streams (streaming) - and the most flexible for building a distributed task scheduling system is identified. The article compares different brokers ( RabbitMQ, Apache Kafka, ZeroMQ) for routing messages within a distributed system with an emphasis on the reliability of message delivery. In addition, such architectures as grid and cluster are considered, their key features are generalized, and the characteristics of the developed system are presented. Methods for ensuring data consistency in distributed systems Paxos and Raft are also described. The failover model is presented to simplify system development and startup. In addition, the BPMN scheme of running the task within the developed distributed system, as well as the scheme of the architecture of the developed system are presented. The article presents the results of an experiment to determine the scalability of the developed system, as well as analyzes the features of the Golang programming language on which the developed system is written.

При розробці архітектури розподіленої системи планування задач розробники неминуче стикаються з проблемою забезпечення роботи системи як єдиного цілого.  Хоча гетерогенні мультикомп’ютерні системи, які будуються на основі вузлів з мережевими операційними системами, і мають перевагу в гнучкості масштабування системи, їх розробники стикаються з проблемами при забезпеченні безпеки та прозорості функціонування системи. Правильний архітектурний підхід при розробці таких систем допоможе нівелювати їхні недоліки, а також забезпечити відмовостійкість і консистентність даних. При проектуванні розподілених систем планування задач потрібно зважати на проблему збалансування навантаження на вузлах, які беруть участь у виконанні задач, тому була розглянута література, присвячена цій тематиці. У статті також проаналізовано іншу сучасну літературу, присвячену розробці розподілених систем в цілому. Проектування розподіленої системи розглянуто з позиції аналізу моделей взаємодії, брокерів повідомлень, різних типів архітектури та алгоритмів консенсусу. Виділено різні моделі взаємодії в розподілених системах: виклик відділених процедур (RPC), віддалений виклик методів (RMI), обмін повідомленнями (MOM), використання потоків (streaming) і визначено найбільш гнучкі з них для побудови розподіленої системи планування задач. В статті зроблено порівняння різних брокерів (RabbitMQ, Apache Kafka, ZeroMQ) для маршрутизації повідомлень в межах розподіленої системи з акцентом на надійність доставки повідомлень. Крім цього, розглянуті такі архітектури як: грід та кластер, узагальнено їх ключові особливості і представлено характеристики розробленої системи. Також, охарактеризовані методи забезпечення узгодженості даних в розподілених системах Paxos і Raft. Запропоновано використовувати failover модель для спрощення розробки і запуску системи. Крім цього, представлено BPMN схему запуску задачі в межах розробленої розподіленої системи, а також схему архітектури розробленої системи. В статті представлені результати проведеного експерименту з визначення можливості масштабування розробленої системи, а також проаналізовано особливості роботи мови програмування Golang, якою написана розроблена система.