Видалення тіней на зображенні з використанням генеративних змагальних мереж

Автор(и)

  • Vladyslav Andronik студент бакалаврської програми «Комп’ютерні науки» факультету інформатики Національного університету «Києво-Могилянська академія», Україна
  • Olena Buchko кандидат технічних наук, старший викладач кафедри інформатики факультету інформатики Національного університету «Києво-Могилянська академія», Україна

DOI:

https://doi.org/10.18523/2617-3808.2020.3.75-82

Ключові слова:

генеративні змагальні мережі, видалення тіней, генерування тіней

Анотація

Точне виявлення тіні на зображенні є складним завданням, оскільки досить важко зрозуміти, чи затемнення або сірий колір є причиною тіні. У цій статті запропоновано метод видалення тіней на зображенні з використанням генеративних змагальних нейронних мереж. Навчання мережі відбувається без нагляду, тобто не залежить від трудомісткого збирання даних і маркування даних. Метод видалення тіней на зображенні базується на методі непідконтрольного передання зображень між різними доменами. Було використано дві мережі: першу – для додавання тіней у зображення, а другу – для видалення тіней. Набір даних ISTD використовували для чіткості оцінювання, оскільки він містить основні зображення, що не мають тіні, а також тіньові маски.

Матеріал надійшов 10.06.2020

Біографії авторів

Vladyslav Andronik, студент бакалаврської програми «Комп’ютерні науки» факультету інформатики Національного університету «Києво-Могилянська академія»

vlad.andronik00@gmail.com

Olena Buchko, кандидат технічних наук, старший викладач кафедри інформатики факультету інформатики Національного університету «Києво-Могилянська академія»

olena.buchko@ukma.edu.ua

Посилання

  1. Almahairi, A., Rajeshwar, S., Sordoni, A., & other. (2018). Courville. Augmented CycleGAN: Learning many-to-many mappings from unpaired data. In ICML (pp. 195–204).
  2. Barrow, H., & Tenenbaum, J. (1978). Recovering intrinsic scene characteristics from images. Comp. Vision Systems.
  3. Chuang, Y., Goldman, D. B., & other. (2003). Shadow matting and compositing. ACM ToG, 22 (3), 494–500.
  4. Cucchiara, R., Grana, C., Piccardi, M., & other. (2001). Improving shadow suppression in moving object detection with HSV color information. In IEEE Intelligent Transportation Systems (pp. 334–339). Proceedings, Oakland, CA.
  5. Ding, B., Long, C., Zhang, L., & Xiao, C. (2019). ARGAN: Attentive Recurrent Generative Adversarial Network for Shadow Detection and Removal. In IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South) (pp. 10212–10221).
  6. Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., WardeFarley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). Generative adversarial nets. In NIPS.
  7. Guo, R., Dai, Q., & Hoiem, D. (2013). Paired Regions for Shadow Detection and Removal. In IEEE Transactions on Pattern Analysis and Machine Intelligence, 35 (12), 2956–2967.
  8. Hu, X., Fu, C., Zhu, L., Qin, L., & Heng, P. (2019). Directionaware Spatial Context Features for Shadow Detection and Removal. In IEEE Transactions on Pattern Analysis and Machine Intelligence.
  9. Hu, X., Jiang, Y., Fu, C., & Heng, P. (2019). Mask-Shadow GAN: Learning to Remove Shadows From Unpaired Data. In IEEE/CVF International Conference on Computer Vision (ICCV) (pp. 2472–2481). Seoul, Korea (South).
  10. Isola, P., Zhu, J., Zhou, T., & Efros, A. A. (2017). Image-to-Image Translation with Conditional Adversarial Networks. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 5967–5976).
  11. Johnson, J., Alahi, A., & Fei-Fei, Li. (2016). Perceptual losses for real-time style transfer and super-resolution. In ECCV (pp. 694–711).
  12. Karras, T., Laine, S., & Aila, T. (2019). A Style-Based Generator Architecture for Generative Adversarial Networks. In IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR) (pp. 4396–4405). Long Beach, CA, USA.
  13. Kim, J., Kim, M., Kang, H., & Lee, K. (2020). U-gat-it: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation.
  14. In ICLR.
  15. Lee, Hsin-Ying, Tseng, Hung-Yu, Huang, Jia-Bin, Singh, Maneesh, Yang, & Ming-Hsuan. (2018). Diverse image-to-image translation via disentangled representations. In ECCV (pp. 35–51).
  16. Li, Z., & Snavely, N. (2018). Learning Intrinsic Image Decomposition from Watching the World. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 9039–9048). Salt Lake City, UT.
  17. Maxwell, B. A., Friedhoff, R. M., & Smith, C. A. (2008). An illu­minant dichromatic reflection model for understanding images. In CVPR.
  18. Mikic, I., Cosman, P. C., & other. (2000). Moving shadow and object detection in traffic scenes. In Proceedings 15th International Conference on Pattern Recognition. ICPR-2000 (Vol. 1, pp. 321–324). Barcelona, Spain.
  19. Mirza, M., & Osindero, S. (2014). Conditional generative adversarial nets. arXiv preprint arXiv.
  20. Miyato, T., Kataoka, T., Koyama, M., & Yoshida, Y. (2018). Spectral normalization for generative adversarial networks. In ICLR.
  21. Pathak, D., Krahenbuhl, P., Donahue, J., & other. (2016). Context encoders: Feature learning by inpainting. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
  22. Qu, L., Tian, J., He, S., & other. (2017). DeshadowNet: A Multicontext Embedding Deep Network for Shadow Removal. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 2308–2316).
  23. Shin, Y., Sagong, M., Yeo, Y., Kim, S., & Ko, S. (2020). PEPSI++: Fast and Lightweight Network for Image Inpainting. In IEEE Transactions on Neural Networks and Learning Systems.
  24. Waltz, D. L. (1972). Generating semantic descriptions from drawings of scenes with shadows. Cambridge, MA, USA, Tech. Rep.
  25. Wang, J., Li, X., & Yang, J. (2018). Stacked Conditional Generative Adversarial Networks for Jointly Learning Shadow Detection and Shadow Removal. IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 1788–1797). Salt Lake City.
  26. Xiaodong, Cun, Chi-Man, Pun, & Cheng, Shi1. (2020). Towards Ghost-free Shadow Removal via Dual Hierarchical Aggregation Network and Shadow Matting GAN. Association for the Advancement of Artificial Intelligence.
  27. Zhou, B., Khosla, A., Lapedriza, A., Oliva, A., & Torralba, A. (2016). Learning Deep Features for Discriminative Localization. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 2921–2929). Las Vegas, NV.
  28. Zhu, J., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks. In IEEE International Conference on Computer Vision (ICCV) (pp. 2242–2251). Venice.

##submission.downloads##

Як цитувати

[1]
V. Andronik і O. Buchko, «Видалення тіней на зображенні з використанням генеративних змагальних мереж», NRPCOMP, т. 3, с. 75–82, Груд 2020.

Номер

Том 3 (2020): Наукові записки НаУКМА. Комп’ютерні науки

Розділ

Статті

Ліцензія

Авторське право (c) 2020 Vladyslav Andronik, Olena Buchko

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Автори, які публікуються у цьому журналі, погоджуються з такими умовами:

а) Автори зберігають за собою авторські права на твір на умовах ліцензії CC BY 4.0 Creative Commons Attribution International License, котра дозволяє іншим особам вільно поширювати (копіювати і розповсюджувати матеріал у будь-якому вигляді чи форматі) та змінювати (міксувати, трансформувати, і брати матеріал за основу для будь-яких цілей, навіть комерційних) опублікований твір на умовах зазначення авторства.

б) Журнал дозволяє автору (авторам) зберігати авторські права без обмежень.

в) Автори мають право укладати самостійні додаткові угоди щодо поширення твору (наприклад, розміщувати роботу в електронному репозитарії), за умови збереження посилання на його першу публікацію. (Див. Політика Самоархівування)

г) Політика журналу дозволяє розміщення авторами в мережі Інтернет (наприклад, у репозитаріях) тексту статті, як до подання його до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).