Збереження енергії для автономних агентів із використанням навчання з підкріпленням

Автор(и)

  • Володимир Олегович Беймук Національний університет «Києво-Могилянська академія», Україна
  • Дмитро Олександрович Кузьменко Національний університет «Києво-Могилянська академія», Україна https://orcid.org/0009-0009-9296-1450

DOI:

https://doi.org/10.18523/2617-3808.2025.8.68-75

Ключові слова:

автономне водіння, навчання з підкріпленням, компроміс швидкість-ефективність, енергоефективність, симуляція перегонів

Анотація

Метою роботи є дослідження можливостей алгоритмів навчання з підкріпленням для формування стратегій автономного водіння з урахуванням компромісу між енергоефективністю та швидкістю.
Робота реалізована з використанням алгоритму Soft Actor-Critic у середовищі Assetto Corsa шляхом додавання штрафу за витрату пального у функцію винагороди. Досліджено вплив різних рівнів штрафу на витрати пального та швидкість руху. Також проаналізовано ключові поведінкові зміни, зокрема прискорення, оберти двигуна, передачі та амплітуди кермового кута.

Біографії авторів

Володимир Олегович Беймук, Національний університет «Києво-Могилянська академія»

випускник бакалаврської програми «Комп’ютерні науки» факультету інформатики Національного університету «Києво-Могилянська академія», volodymyr.beimuk@ukma.edu.ua

Дмитро Олександрович Кузьменко, Національний університет «Києво-Могилянська академія»

студент PhD програми «Комп’ютерні науки», старший викладач кафедри мультимедійних систем Національного університету «Києво-Могилянська академія», kuzmenko@ukma.edu.ua

Посилання

  1. Betz, J., Zheng, H., Liniger, A., Rosolia, U., Karle, P., Behl, M., Krovi, V., & Mangharam, R. (2022). Autonomous Vehicles on the Edge: A Survey on Autonomous Vehicle Racing. IEEE Open Journal of Intelligent Transportation Systems, 3, 458–488. https://doi.org/10.1109/OJITS.2022.3181510.
  2. Brockman, G., Cheung, V., Pettersson, L., Schneider, J., Schulman, J., Tang, J., & Zaremba, W. (2016). OpenAI Gym [Preprint]. arXiv. https://doi.org/10.48550/ARXIV.1606.01540.
  3. Elallid, B. B., Benamar, N., Hafid, A. S., Rachidi, T., & Mrani, N. (2022). A Comprehensive Survey on the Application of Deep and Reinforcement Learning Approaches in Autonomous Driving. Journal of King Saud University - Computer and Information Sciences, 34 (9), 7366–7390. https://doi.org/10.1016/j.jksuci.2022.03.013.
  4. Haarnoja, T., Zhou, A., Abbeel, P., & Levine, S. (2018). Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor (Version 2) [Preprint]. arXiv. https://doi.org/10.48550/ARXIV.1801.01290.
  5. Hu, X., Li, S., Huang, T., Tang, B., Huai, R., & Chen, L. (2024). How Simulation Helps Autonomous Driving: A Survey of Sim2real, Digital Twins, and Parallel Intelligence. IEEE Transactions on Intelligent Vehicles, 9 (1), 593–612. https://doi.org/10.1109/TIV.2023.3312777.
  6. Kim, H., Pyeon, H., Park, J. S., Hwang, J. Y., & Lim, S. (2020). Autonomous Vehicle Fuel Economy Optimization with Deep Reinforcement Learning. Electronics, 9 (11), 1911. https://doi.org/10.3390/electronics9111911.
  7. Remonda, A., Hansen, N., Raji, A., Musiu, N., Bertogna, M., Veas, E., & Wang, X. (2024). A Simulation Benchmark for Autonomous Racing with Large-Scale Human Data [Preprint]. arXiv. https://doi.org/10.48550/arXiv.2407.16680.
  8. Revell, J., Welch, D., & Hereford, J. (2022). Sim2real: Issues in transferring autonomous driving model from simulation to real world. SoutheastCon 2022, 296–301. https://doi.org/10.1109/SoutheastCon48659.2022.9764110.
  9. Sutton, R. S., & Barto, A. G. (1998). Reinforcement Learning: An Introduction. MIT Press. https://books.google.ca/books?id=CAFR6IBF4xYC.
  10. Song, Y., Lin, H., Kaufmann, E., Durr, P., & Scaramuzza, D. (2021). Autonomous Overtaking in Gran Turismo Sport Using Curriculum Reinforcement Learning. 2021 IEEE International Conference on Robotics and Automation (ICRA), 9403–9409. https://doi.org/10.1109/ICRA48506.2021.9561049.
  11. Tang, X., Huang, B., Liu, T., & Lin, X. (2022). Highway Decision-Making and Motion Planning for Autonomous Driving via Soft Actor-Critic. IEEE Transactions on Vehicular Technology, 71 (5), 4706–4717. https://doi.org/10.1109/TVT.2022.3151651.

##submission.downloads##

Опубліковано

2025-11-26

Номер

Том 8 (2025): Наукові записки НаУКМА. Комп’ютерні науки

Розділ

Нейронні мережі та машинне навчання

Ліцензія

Авторське право (c) 2025 V. Beimuk, D. Kuzmenko

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Автори, які публікуються у цьому журналі, погоджуються з такими умовами:

а) Автори зберігають за собою авторські права на твір на умовах ліцензії CC BY 4.0 Creative Commons Attribution International License, котра дозволяє іншим особам вільно поширювати (копіювати і розповсюджувати матеріал у будь-якому вигляді чи форматі) та змінювати (міксувати, трансформувати, і брати матеріал за основу для будь-яких цілей, навіть комерційних) опублікований твір на умовах зазначення авторства.

б) Журнал дозволяє автору (авторам) зберігати авторські права без обмежень.

в) Автори мають право укладати самостійні додаткові угоди щодо поширення твору (наприклад, розміщувати роботу в електронному репозитарії), за умови збереження посилання на його першу публікацію. (Див. Політика Самоархівування)

г) Політика журналу дозволяє розміщення авторами в мережі Інтернет (наприклад, у репозитаріях) тексту статті, як до подання його до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).