Method and Tool for Analyzing the Performance of Large Language Models for Complex Tasks Solution

Counts differ because each database indexes a different set of publications. We treat OpenAlex as the canonical count; Google Scholar is not shown (no API, and crawling it violates its ToS).

Проаналізовано сучасні підходи до оцінки ефективності великих мовних моделей для виконання комплексних задач, які включають одночасний аналіз нормативно-правових документів та числових даних. Розглянуто проблеми інтеграції різнорідної інформації, забезпечення логічної узгодженості результатів та порівняння моделей за різними критеріями: коректністю, стабільністю, часом обробки та дотриманням інструкцій. Актуальність дослідження зумовлена швидким розвитком великих мовних моделей та необхідністю вибору оптимальних рішень для задач прикладного характеру, де помилки можуть мати суттєві наслідки. Основу методу становить багатокритеріальний підхід, який передбачає одночасний аналіз результатів моделей на комплексному запиті: обробка нормативних документів та CSV-даних із середньодобовими концентраціями забруднювачів повітря. Для оцінки результатів використано показники коректності, стабільності, часу виконання, вартості, використання токенів та дотримання інструкцій. Запропоновано математичну модель агрегування результатів, що включає усереднення показників по множині тестових задач, виділення множини Парето-оптимальних моделей, побудову скаляризованої функції корисності для визначення оптимальної конфігурації моделі залежно від заданих вагових коефіцієнтів. Апробація методу на прикладі міста Вінниця показала, що різні моделі мають суттєві відмінності у здатності формувати узгоджені висновки. На основі аналізу моделями нормативних порогів визначено оптимальну кількість пунктів спостереження для різних забруднювачів, що забезпечує репрезентативний моніторинг якості повітря. Запропонований підхід дозволяє враховувати специфіку комплексних прикладних задач, інтегрувати різнорідні дані та підвищує обґрунтованість вибору моделей для практичного застосування. Встановлено, що моделі класу GPT-4o та GPT-5.1 забезпечують кращий баланс між коректністю та стабільністю з прийнятним рівнем ресурсних витрат. На прикладному рівні отримано обґрунтовані рекомендації щодо кількості пунктів спостереження атмосферного повітря для міста Вінниця, що підтверджує здатність моделей інтегрувати нормативні вимоги та числові дані. Показано, що коректність таких рішень істотно залежить не лише від якості моделі, але й від її стабільності та здатності дотримуватись інструкцій.