Українські науковці створили гібридну AI-систему для розподілених обчислень

Команда українських дослідників з Національного технічного університету України «Київський політехнічний інститут імені Ігоря Сікорського» розробила революційну гібридну архітектуру штучного інтелекту для оптимізації планування завдань у великомасштабних розподілених обчислювальних системах.

Нова система поєднує розподілені планувальники штучного інтелекту (AIS) із централізованим рівнем дерева рішень (DT), що дозволяє досягти надзвичайно високої точності та адаптивності при розподілі обчислювальних ресурсів. На відміну від традиційних підходів, які часто стикаються з проблемами в неоднорідних середовищах, запропонована дворівнева архітектура ефективно вирішує питання оптимального використання ресурсів.

Система працює на рівні кластерів через планувальники штучного інтелекту, які здійснюють попередній відбір відповідних вузлів на основі чотирьох ключових показників: продуктивності, швидкості передачі даних, оперативного часу та рівня безпеки. Архітектура нейронної мережі використовує два приховані рівні з функціями активації ReLU, тоді як рівень дерева рішень застосовує вдосконалений алгоритм CART для остаточного вибору вузла, враховуючи як основні характеристики, так і історичні дані про продуктивність.

Експериментальні дослідження, проведені на різних масштабах розгортання — від 5 кластерів (500 вузлів) до 30 кластерів (15000 вузлів), продемонстрували вражаючі результати. Гібридний підхід досягає 99−100% точності у виборі вузлів, що значно перевершує точність автономного планувальника AI (94−96%). При цьому система зберігає стабільну ефективність і прозорість процесів прийняття рішень незалежно від масштабу.

Розроблена архітектура виявилася особливо ефективною для хмарних обчислювальних середовищ, розгортань Інтернету речей (IoT) та розподілених систем, які потребують складного розподілу ресурсів. Система пропонує масштабоване, точне та інтерпретоване рішення для планування, яке ефективно поєднує локальний штучний інтелект із централізованим прийняттям рішень.

Процес роботи системи складається з шести основних етапів: аналіз завдань, розподіл по кластерах, попередній відбір вузлів на основі AI, оцінка через дерево рішень, призначення завдань та постійний моніторинг. Така структура забезпечує ефективне використання ресурсів при збереженні адаптивності та масштабованості системи.

Порівняно з традиційними підходами, такими як Round Robin та Least Connections, розроблена архітектура демонструє значні переваги у складності прийняття рішень, адаптивності та інтелектуальному відборі вузлів. Система здатна автоматично адаптуватися до змін у середовищі без необхідності ручного втручання.

Нейронна мережа, що використовується в AI-планувальнику, має оптимізовану архітектуру з вхідним шаром, двома прихованими шарами (32 та 16 нейронів відповідно) та вихідним шаром. Така конфігурація забезпечує баланс між складністю моделі та точністю прогнозування.

Дослідники використовували спеціально розроблений симуляційний фреймворк для генерації навчальних та оціночних даних, що дозволило моделювати різноманітні конфігурації кластерів та поведінку вузлів. Це забезпечило всебічне тестування системи в різних умовах експлуатації.

Рівень дерева рішень, реалізований на основі алгоритму CART, забезпечує фінальну фільтрацію та уточнення попереднього вибору, зробленого розподіленими AI-планувальниками. Це дозволяє досягти майже ідеальної точності у виборі вузлів при збереженні прозорості процесу прийняття рішень.

Дослідники також окреслили перспективи подальшого вдосконалення системи, зокрема через інтеграцію методів навчання з підкріпленням та оптимізацію продуктивності. Це може включати впровадження паралельної обробки для оцінки дерева рішень, стратегічне кешування поширених шляхів прийняття рішень та використання GPU-прискорення для обчислень нейронної мережі.

Дослідження проведене під керівництвом професора Вадима Мухіна та Вячеслава Кулика з КПІ ім. Ігоря Сікорського. Результати роботи відкривають нові можливості для оптимізації розподілених обчислювальних систем та можуть знайти широке застосування в різних галузях, де потрібен динамічний розподіл ресурсів у розподілених середовищах.