Transport automation research Transport automation research Автоматика на транспорте 2412-9186 92220 10.20295/2412-9186-2024-10-04-360-371 ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ УПРАВЛЕНИЯ INTELLIGENT CONTROL SYSTEMS ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ УПРАВЛЕНИЯ Algorithm of complexing sensor data for tasks of automatic control of rolling stock АЛГОРИТМ КОМПЛЕКСИРОВАНИЯ СЕНСОРНЫХ ДАННЫХ ДЛЯ ЗАДАЧ АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ ПОДВИЖНЫМ СОСТАВОМ Иванов Вадим Федорович Ivanov Vadim Fedorovich v.ivanov@vniias.ru Охотников Андрей Леонидович Ohotnikov Andrey Leonidovich a.ohotnikov@vniias.ru Градусов Александр Николаевич Gradusov Aleksandr Nikolaevich a.gradusov@vniias.ru АО «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте» (АО «НИИАС») Санкт-Петербург Россия JSC “NIIAS” Saint-Petersburg Russian Federation Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте Moscow RU Scientific Research and Design Institute of Informatization, Automation and Communication in Railway Transport Moscow RU АО «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте» (АО «НИИАС»), Санкт-Петербург Россия JSC “NIIAS” Saint-Petersburg Russian Federation 19 12 2024 19 12 2024 10 4 360 371 18 12 2024 https://atjournal.ru/en/nauka/article/92220/view

В статье дан анализ исследований и работ по обработке сенсорных данных и навигации для подвижных объектов, в том числе с автоматическим управлением. Указано на необходимость интеграции решений на основе технического зрения и нейронных сетей с учетом состояния окружающей среды. Дано описание алгоритма и методов для комплексирования данных, получаемых от сенсорных датчиков бортовой системы технического зрения подвижного состава. В рамках работы алгоритма осуществляется траекторная обработка данных: подтверждение (удаление) наблюдаемых объектов, построение их траекторий, оценка скоростей и координат, формирование списка глобальных объектов. Для расчета модели движения объекта применяется расширенный фильтр Калмана, Венгерский алгоритм и осуществляется расчет расстояния Махаланобиса. Подробно описаны этапы обнаружения, сопровождения и идентификации объектов-препятствий, а также определения их параметров (класса, координат и скорости). Приведены опытные показатели, используемые в данном исследовании. Подтверждена актуальность и показана практическая применимость описанного подхода для задач автоматического управления подвижным составом.

the article analyzes the research and works on processing Sensor data processing and navigation for mobile objects, including those with automatic control. automatic control. It is pointed out the necessity of integration of solutions based on vision and neural networks, taking into account the state of the environment. on the basis of vision and neural networks, taking into account the state of the environment. environment. The description of the algorithm and methods for complexing data received from sensor sensors of the onboard vision system of the rolling stock. Within the framework of the algorithm work the trajectory data\ processing: confirmation (removal) of the observed objects, construction of their trajectories, estimation of velocities and coordinates, formation of the list of global objects. To calculate the object motion model, an extended Kalman filter is applied Kalman filter, Hungarian algorithm and calculation of the Mahalanobis distance. Detailed The stages of detection, tracking and identification of obstacle objects are described in detail, as well as determination of their parameters (class, coordinates and velocity). The Experimental indicators used in this study. Relevance relevance and shown practical applicability of the described approach for the tasks of automatic control of rolling stock in the conditions of a digital railroad

 система технического зрения комплексирование данных идентификация объектов трекинг объектов ковариационная матрица кластеризация расширенный фильтр Калмана Венгерский алгоритм расстояние Махаланобиса vision system sensor fusion object identification object tracking covariance matrix clustering extended Kalman filter Hungarian algorithm Mahalanobis distance

Розенберг Е. Н., Дзюба Ю. В., Батраев В. В. О направлениях развития цифровой железной дороги // Автоматика, связь, информатика. 2018. № 1. С. 9–13. Rozenberg E. N., Dzyuba Yu. V., Batraev V. V. O napravleniyah razvitiya cifrovoy zheleznoy dorogi // Avtomatika, svyaz', informatika. 2018. № 1. S. 9–13. Охотников А. Л., Попов П. А. Беспилотное управление локомотивом: вчера, сегодня и завтра // Автоматика, связь, информатика. 2019. № 8. С. 12–17. DOI: 10.34649/AT.2019.8.8.002 Ohotnikov A. L., Popov P. A. Bespilotnoe upravlenie lokomotivom: vchera, segodnya i zavtra // Avtomatika, svyaz', informatika. 2019. № 8. S. 12–17. DOI: 10.34649/AT.2019.8.8.002 Otte M. W. A Survey of Machine Learning Approaches to Robotic Path-Planning. University of Colorado at Boulder: Boulder, CO, USA, 2009. Otte M. W. A Survey of Machine Learning Approaches to Robotic Path-Planning. University of Colorado at Boulder: Boulder, CO, USA, 2009. Dulac-Arnold G., Mankowitz D., Hester T. Challenges of Real-World Reinforcement Learning // arXiv. 2019. URL: arXiv:1904.12901 Dulac-Arnold G., Mankowitz D., Hester T. Challenges of Real-World Reinforcement Learning // arXiv. 2019. URL: arXiv:1904.12901 Zhao Y., Zhang Y., Wang S. A Review of Mobile Robot Path Planning Based on Deep Reinforcement Learning Algorithm // J. Phys. Conf. Ser. 2021. Vol. 2138. P. 012011. Zhao Y., Zhang Y., Wang S. A Review of Mobile Robot Path Planning Based on Deep Reinforcement Learning Algorithm // J. Phys. Conf. Ser. 2021. Vol. 2138. P. 012011. Deshpande S., Kashyap A. K., Patle B. K. A review on path planning AI techniques for mobile robots // Robot. Syst. Appl. 2023. Vol. 3. P. 27–46. Deshpande S., Kashyap A. K., Patle B. K. A review on path planning AI techniques for mobile robots // Robot. Syst. Appl. 2023. Vol. 3. P. 27–46. Janji S., Kliks A. Neural Networks for Path Planning // arXiv. 2022. URL: arXiv:2207.00874 Janji S., Kliks A. Neural Networks for Path Planning // arXiv. 2022. URL: arXiv:2207.00874 Bharadwaj H., Kumar E. V. Comparative study of neural networks in path planning for catering robots // Procedia Comput. Sci. 2018. Vol. 133. P. 417–423. Bharadwaj H., Kumar E. V. Comparative study of neural networks in path planning for catering robots // Procedia Comput. Sci. 2018. Vol. 133. P. 417–423. Obstacle detection in a field environment based on a convolutional neural network security / T. Li [et al.] // Enterp. Inf. Syst. 2022. Vol. 16. P. 472–493. Obstacle detection in a field environment based on a convolutional neural network security / T. Li [et al.] // Enterp. Inf. Syst. 2022. Vol. 16. P. 472–493. Nowakowski M., Kurylo J. Usability of Perception Sensors to Determine the Obstacles of Unmanned Ground Vehicles Operating in Off-Road Environments // Appl. Sci. 2023. Vol. 13. P. 4892. Nowakowski M., Kurylo J. Usability of Perception Sensors to Determine the Obstacles of Unmanned Ground Vehicles Operating in Off-Road Environments // Appl. Sci. 2023. Vol. 13. P. 4892. Deep Multi-modal Object Detection for Autonomous Driving / A. Ennajar [et al.] // Proceedings of the 2021 18th International Multi-Conference on Systems, Signals & Devices (SSD) (Monastir, Tunisia, 22–25 March 2021). P. 10. Deep Multi-modal Object Detection for Autonomous Driving / A. Ennajar [et al.] // Proceedings of the 2021 18th International Multi-Conference on Systems, Signals & Devices (SSD) (Monastir, Tunisia, 22–25 March 2021). P. 10. Reinoso O., Payá L. Special Issue on Visual Sensors // Sensors. 2020. Vol. 20. P. 910. Reinoso O., Payá L. Special Issue on Visual Sensors // Sensors. 2020. Vol. 20. P. 910. 3D Recognition Based on Sensor Modalities for Robotic Systems: A Survey / S. Manzoor [et al.] // Sensors. 2021. Vol. 21. P. 7120. 3D Recognition Based on Sensor Modalities for Robotic Systems: A Survey / S. Manzoor [et al.] // Sensors. 2021. Vol. 21. P. 7120. Xie D., Xu Y., Wang R. Obstacle detection and tracking method for autonomous vehicl based on threedimensional LiDAR // Int. J. Adv. Robot. Syst. 2019. Vol. 16. P. 1729881419831587. Xie D., Xu Y., Wang R. Obstacle detection and tracking method for autonomous vehicl based on threedimensional LiDAR // Int. J. Adv. Robot. Syst. 2019. Vol. 16. P. 1729881419831587. Сравнение оценок качества комплексирования разноспектральных изображений и алгоритмы улучшения качества низкоконтрастных изображений для систем видеонаблюдения / С. Н. Кириллов [и др.] // Цифровая обработка сигналов и ее применение — DSPA‑2019: доклады 21‑й Международной конференции. 2019. С. 403–408. Sravnenie ocenok kachestva kompleksirovaniya raznospektral'nyh izobrazheniy i algoritmy uluchsheniya kachestva nizkokontrastnyh izobrazheniy dlya sistem videonablyudeniya / S. N. Kirillov [i dr.] // Cifrovaya obrabotka signalov i ee primenenie — DSPA‑2019: doklady 21‑y Mezhdunarodnoy konferencii. 2019. S. 403–408. Журавлев Ю. И., Рязанов В. В., Сенько О. В. «Распознавание». Математические методы. Программная система. Практические применения. М.: ФАЗИС, 2006. 176 с. Zhuravlev Yu. I., Ryazanov V. V., Sen'ko O. V. «Raspoznavanie». Matematicheskie metody. Programmnaya sistema. Prakticheskie primeneniya. M.: FAZIS, 2006. 176 s. Bar-Shalom Y., Li X.-R. Multitarget-multisensor tracking: principles and techniques. Vol. 19. Storrs, CT: YBs, 1995. Bar-Shalom Y., Li X.-R. Multitarget-multisensor tracking: principles and techniques. Vol. 19. Storrs, CT: YBs, 1995. Эддоус М., Стэнсфилд Р. Методы принятия решений / пер. с англ. под ред. член-корр. РАН И. И. Елисеевой. М.: Аудит, ЮНИТИ, 1997. 590 с. Eddous M., Stensfild R. Metody prinyatiya resheniy / per. s angl. pod red. chlen-korr. RAN I. I. Eliseevoy. M.: Audit, YuNITI, 1997. 590 s. Охотников А. Л. Ситуационное беспилотное управление // ИТНОУ: Информационные технологии в науке, образовании и управлении. 2019. № 3(13). С. 96–107. Ohotnikov A. L. Situacionnoe bespilotnoe upravlenie // ITNOU: Informacionnye tehnologii v nauke, obrazovanii i upravlenii. 2019. № 3(13). S. 96–107. Гиззатов А. С., Иванов В. Ф. Привязка координат подвижного состава к цифровой модели пути // Навигация и управление движением: материалы ХXV Юбилейной конференции молодых ученых (Санкт-Петербург, 21–24 марта 2023 года). СПб.: Концерн «Центральный научно-исследовательский институт «Электроприбор», 2023. С. 32–34. Gizzatov A. S., Ivanov V. F. Privyazka koordinat podvizhnogo sostava k cifrovoy modeli puti // Navigaciya i upravlenie dvizheniem: materialy HXV Yubileynoy konferencii molodyh uchenyh (Sankt-Peterburg, 21–24 marta 2023 goda). SPb.: Koncern «Central'nyy nauchno-issledovatel'skiy institut «Elektropribor», 2023. S. 32–34. ISO 8855:2011 — Road vehicles — Vehicle dynamics and road-holding ability — Vocabulary. URL:/ https://www.iso.org/standard/51180.html ISO 8855:2011 — Road vehicles — Vehicle dynamics and road-holding ability — Vocabulary. URL:/ https://www.iso.org/standard/51180.html Способ автоматической калибровки датчиков машинного зрения рельсового транспортного средства: патент № 2811766 C1 Российская Федерация, МПК G06T 7/80 / И. А. Дейлид [и др.]; заявл. 20.04.2023; опубл. 17.01.2024; заявитель ОАО «РЖД». Sposob avtomaticheskoy kalibrovki datchikov mashinnogo zreniya rel'sovogo transportnogo sredstva: patent № 2811766 C1 Rossiyskaya Federaciya, MPK G06T 7/80 / I. A. Deylid [i dr.]; zayavl. 20.04.2023; opubl. 17.01.2024; zayavitel' OAO «RZhD». Устройство комплексирования данных от обнаруженных препятствий для скоростного электропоезда: патент № 042050 / В. Ф. Иванов [и др.]; заявл. 04.02.2021; опубл. 29.12.2022; заявитель ОАО «РЖД». Ustroystvo kompleksirovaniya dannyh ot obnaruzhennyh prepyatstviy dlya skorostnogo elektropoezda: patent № 042050 / V. F. Ivanov [i dr.]; zayavl. 04.02.2021; opubl. 29.12.2022; zayavitel' OAO «RZhD».