Валідація архітектурних гіпотез у нейронних деревах рішень за допомогою пошуку нейронних архітектур
DOI:
https://doi.org/10.18523/2617-3808.2025.8.50-56Ключові слова:
пошук нейронних архітектур, нейронні дерева рішень, автоматизоване машинне навчання, комп’ютерний зір, складність вузлівАнотація
У цій роботі запропоновано автоматизовану та об’єктивну методику перевірки архітектурних гіпотез за допомогою пошуку нейронних архітектур (Neural Architecture Search, NAS). Основна ідея полягає в застосуванні NAS як інструменту для оцінки теоретичних припущень щодо структури моделей без ручного налаштування архітектур або впливу суб’єктивних рішень дослідника. Для демонстрації підходу було перевірено гіпотезу про те, що складність вузлів у нейронних деревах рішень (Neural Decision Trees, NDTs) зменшується зі збільшенням глибини дерева. Це припущення зустрічається в науковій літературі та використовується як обґрунтування для побудови спеціалізованих архітектур, однак раніше не було перевірене на систематичній експериментальній основі.
У межах дослідження було розроблено повністю автоматизований експериментальний фреймворк для генерації, навчання та оцінювання сотень архітектур NDT з різними конфігураціями вузлів. Для пошуку ефективної структури дерев було використано метод баєсівської оптимізації (Treestructured Parzen Estimator, TPE). Складність вузлів оцінювали за кількома метриками: кількістю параметрів, кількістю обчислювальних операцій, кількістю нейронів у шарі та глибиною шару. Для аналізу зв’язку між глибиною вузлів і їхньою складністю застосовували коефіцієнт рангової кореляції Спірмена (Spearman’s rank correlation coefficient).
За результатами обчислювального експерименту, що охопив понад 300 згенерованих моделей на синтетичному класифікаційному датасеті, не було виявлено жодної стабільної або статистично значущої залежності між глибиною вузла та його складністю. Отримані результати свідчать про те, що припущення, сформовані на основі окремих прикладів або інтуїції, можуть не узагальнюватися на інші задачі або домени. Це підкреслює важливість емпіричної перевірки теоретичних архітектурних міркувань, а також необхідність уважного проєктування простору пошуку в NAS.
Запропонований підхід може бути використаний для перевірки інших архітектурних гіпотез у різноманітних типах нейронних мереж, що робить його перспективним інструментом у дослідженнях у сфері автоматизованого машинного навчання.
Посилання
- Elsken, T., Metzen, J. H., & Hutter, F. (2019). Neural architecture search: A survey. Journal of Machine Learning Research, 20 (55), 1–21.
- He, X., Zhao, K., & Chu, X. (2021). AutoML: A survey of the state-of-the-art. Knowledge-based systems, 212, 106622.
- Hutter, F., Kotthoff, L., & Vanschoren, J. (2019). Automated machine learning: methods, systems, challenges. Springer Nature.
- Kontschieder, P., Fiterau, M., Criminisi, A., & Bulo, S. R. (2015). Deep neural decision forests. In Proceedings of the IEEE international conference on computer vision (pp. 1467–1475).
- Krizhevsky, A., Hinton, G., & others. (2009). Learning multiple layers of features from tiny images.
- Liu, H., Li, Y., Shen, Y., Zhao, D., & Xie, C. (2019). NNI: Neural Network Intelligence.
- Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., & others. (2019). Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, 32.
- Ren, P., Xiao, Y., Chang, X., Huang, P.-Y., Li, Z., Chen, X., & Wang, X. (2021). A comprehensive survey of neural architecture search: Challenges and solutions. ACM Computing Surveys (CSUR), 54 (4), 1–34.
- Roy, A., & Todorovic, S. (2016). Monocular depth estimation using neural regression forest. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 5506–5514).
- Spearman, C. (2010). The proof and measurement of association between two things. International journal of epidemiology, 39 (5), 1137–1150.
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Авторське право (c) 2025 A. Mykytyshyn, N. Shvai
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Автори, які публікуються у цьому журналі, погоджуються з такими умовами:
а) Автори зберігають за собою авторські права на твір на умовах ліцензії CC BY 4.0 Creative Commons Attribution International License, котра дозволяє іншим особам вільно поширювати (копіювати і розповсюджувати матеріал у будь-якому вигляді чи форматі) та змінювати (міксувати, трансформувати, і брати матеріал за основу для будь-яких цілей, навіть комерційних) опублікований твір на умовах зазначення авторства.
б) Журнал дозволяє автору (авторам) зберігати авторські права без обмежень.
в) Автори мають право укладати самостійні додаткові угоди щодо поширення твору (наприклад, розміщувати роботу в електронному репозитарії), за умови збереження посилання на його першу публікацію. (Див. Політика Самоархівування)
г) Політика журналу дозволяє розміщення авторами в мережі Інтернет (наприклад, у репозитаріях) тексту статті, як до подання його до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
