Запечатлевая движение,
Создавая истории

Обзор

11 июня команда профессора Фэя Гао из Чжэцзянского университета опубликовала статью под названием "Точные агрессивные маневры в воздухе на основе сенсомоторных политик" в журнале Science Robotics.

Исследование демонстрирует, как квадрокоптер может выполнять агрессивные маневры через узкие наклонные проемы, используя только бортовые сенсоры, без внешнего позиционирования или планирования траектории.

В ходе экспериментальной проверки система оптического захвата движения NOKOV обеспечивала высокоточную оценку состояния, поддерживая тестирование аппаратуры в контуре (HIL), генерацию искусственных проемов и оценку летных характеристик.

Научная основа исследования

Традиционные методы пролета беспилотников через проемы обычно основываются на нескольких модулях, таких как оценка состояния, планирование траектории и управление. Потеря информации и накопление ошибок между модулями могут существенно влиять на эффективность в условиях жестких ограничений при полете.

Вдохновившись принципами биологической сенсомоторной координации, исследователи разработали сквозную сенсомоторную стратегию, которая напрямую преобразует визуальные и инерциальные наблюдения в команды управления полетом, обеспечивая принятие решений от восприятия к управлению без явного планирования траектории. 

Принцип работы и реализация системы

Система захвата движения NOKOV в эксперименте

В данном исследовании система оптического захвата движения NOKOV служила инфраструктурой получения эталонных данных для экспериментов с беспилотными аппаратами.

Ее основные функции включали:

• Обеспечение высокоточной оценки состояния квадрокоптера для тестирования в контуре (HIL)

• Поддержка генерации изображений искусственных проемов для проверки стратегий

• Запись эталонных траекторий полета для количественной оценки

• Предоставление обратной связи по полному состоянию для базовых экспериментов по замкнутому управлению

Благодаря предоставлению точных эталонных данных о движении система обеспечила безопасную, воспроизводимую и поддающуюся количественной оценке проверку эффективности восприятия, управления и переноса решений из симуляции в реальные условия эксплуатации беспилотника.

Цитирование

Tianyue Wu et al., Precise aggressive aerial maneuvers with sensorimotor policies. Sci. Robot. 11, eaeb0180 (2026). DOI: 10.1126/scirobotics.aeb0180

Экспериментальная проверка

Команда исследователей разработала платформу на базе пользовательского квадрокоптера, оснащенную:

• Монокулярная камера

• Контроллер полета PX4

• NVIDIA Jetson Orin NX

Для тестирования в контуре квадрокоптер выполнял изученную стратегию, в то время как изображения искусственных проемов генерировались с использованием объединенных данных бортового ИММ и замеров системы захвата движения NOKOV. Данный подход снижал риск столкновений, сохраняя реалистичную динамику полета и условия управления.

Эксперименты включали:

• Проход через наклонные проемы с неизвестной ориентацией

• Реактивный полет через динамические проемы

• Последовательный проход через узкие проемы

• Проход через проемы различной геометрии

• Полеты на фоне различных визуальных сцен

На видео показано: (1) реальный проход через наклонные проемы с ранее неизвестной ориентацией; (2) реактивный проход через динамические проемы; (3) последовательный проход через близко расположенные проемы; (4) проход через проемы с разной геометрией; и (5) проход через узкие проемы на разнообразном визуальном фоне.

Обучение стратегии и перенос из симуляции в реальность

В исследовании применялся метод информированного сброса (IR) для повышения эффективности исследования методом обучения с подкреплением, а также случайные возмущения, рандомизация отклика и задержек для сокращения разрыва между результатами симуляции и реальной среды. IR облегчал агенту попадание в области допустимых решений, повышая средний коэффициент успеха для задачи с одним проемом примерно с 70% до 96%, а также помогая стратегии избегать локальных оптимумов при прохождении серии проемов. Рандомизация существенно повысила устойчивость сжатой зрительной стратегии к расхождениям в динамике и шумам наблюдений.

Оценка производительности относительно базовых систем сравнения

Базовый вариант 1 ^[1] использовал известные координаты и ориентацию проема и опирался на систему оптического захвата движения NOKOV для предоставления обратной связи по полному состоянию в реальном времени для замкнутого управления квадрокоптером и отслеживания эталонной траектории. Такая конфигурация позволяет обеспечить точное слежение за траекторией в замкнутом контуре при наличии привилегированной информации о состоянии от систем захвата движения.

Базовый вариант 2 ^[2] осуществлял проход через узкие проемы путем слияния данных визуальных и инерциальных сенсоров, оценки позы и быстрого онлайн-перепланирования.

Эксперименты показали, что, несмотря на работу с косвенными визуальными наблюдениями и отсутствием внешнего позиционирования, предложенная зрительная стратегия достигла коэффициентов успеха, сопоставимых с методами отслеживания траектории, использующими привилегированную информацию, одновременно устраняя явное распространение ошибок и несоответствие моделей.

Основные выводы

• Сквозная сенсомоторная стратегия для агрессивного полета беспилотников

• Высокоскоростной проход через узкие наклонные проемы исключительно за счет бортовых сенсоров

• Проверка в контуре с использованием аппаратного обеспечения при поддержке системы захвата движения NOKOV

• Отслеживание эталонных траекторий и оценка производительности

• Высокоточный захват движения для оценки состояния БПЛА и верификации переноса из симуляции в реальность

Список литературы

[1] Z. Wang, X. Zhou, C. Xu, F. Gao, Geometrically constrained trajectory optimization for multicopters. IEEE Trans. Robot. 38, 3259–3278 (2022).

[2] D. Falanga, E. Mueggler, M. Faessler, D. Scaramuzza, “Aggressive quadrotor flight through narrow gaps with onboard sensing and computing using active vision” in Proceedings of the 2017 IEEE International Conference on Robotics and Automation (ICRA) (IEEE, 2017), pp. 5774–5781.

Биографии авторов

Тяньюэ У (соавтор первого листа) получил степень бакалавра и магистра в Чжэцзянском университете и будет продолжать докторскую программу в Гонконгском университете. Его научные интересы включают интеллектуальное манипулирование для роботизированных рук и гуманоидов, а также движение воздушных роботов. Он опубликовал ряд статей от первого автора в ведущих журналах и конференциях по робототехнике, включая Science Robotics и Robotics: Science and Systems.

Гуантун Сюй (соавтор первого листа) является доцентом кафедры автоматики УниверситетаHangzhou Dianzi. Степени бакалавра и доктора наук он получил в Пекинском институте технологий в 2015 и 2021 годах соответственно. С 2021 по 2023 год проводил постдокторскую стажировку вDepartamentoPrecision Instrument университета Цинхуа. С 2023 по 2026 год работал вИнститутеХучжоуЧжэцзянского университета, где было выполнено данное исследование. Его научные фокусасосредоточенынаавтономнойнавигации,планированиидвиженияироевыхсистемахБПЛА.ОнопубликовалработывT-ASE,RA-L,ICRA,IROSидругихжурналахиконференцияхпоробототехнике.

Цзыхань Ван имеет степень магистра инженерииСеверокитайскогоэлектротехническогоуниверситетаибылпосетителеминститутаХучжоуЧжэцзянскогоуниверситетавовремяданногорасследования.Егоисследованиясфокусированынаавтономныхробототехническиксистемахипринятиидаченийпланировании.ОднаизегоисследовательскихработпринятаIROS.

Цзюнсяо Линь имеет степень магистра Чжэцзянского университета и продолжит докторскую программу в Гонконгском университете. Его исследования сосредоточены на проектировании робототехнических систем, управлении движением и ловком манипулировании. Он опубликовал несколько статей в ведущих журналах и конференциях по робототехнике, включая RA-L и IROS.

Тяньянь Чэнь является магистрантом Колледжа управления наукой и инженерией Чжэцзянского университета. Его исследования сосредоточены на воздушных роботах и моделях визуального языка и действий.

Юйцзе У получил степень доктора наук в Чжэцзянском университете и является молодым ученым в компании Differential Robotics Technology. Он опубликовал около 20 статей, включая работы в Nature Communications, Science Robotics и IEEE Transactions on Robotics. Его исследования сосредоточены на моделях embodied навигации VLA/VLN, мировоззрении дронов и мультиагентных робототехнических системах.

Чичао Хань получил степень доктора наук в Колледже управления наукой и инженерией Чжэцзянского университета. Его исследования сосредоточены на планировании движения мобильных роботов, нелинейной оптимизации, глубоком обучении и обучении с подкреплением.

Чжилян Лю получил степень доктора наук в Чжэцзянском университете и занимает позицию COO в компании Differential Robotics Technology.

Фэй Гао (соответствующий автор) является штатным доцентом и научным руководителем докторантов Колледжа управления наукой и инженерией Чжэцзянского университета, а также основателем компании Differential Robotics Technology. Его научные интересы включают воздушную робототехнику, автономную навигацию, планирование движения, восприятие окружающей среды и ролевые роботы.