Запечатлевая движение,
Создавая истории

Недавно команда под руководством профессора Вэй Дуна из Шанхайского университета Цзяо Тонг в сотрудничестве с профессором Синсинем Цзоу из Университета Искусственного Интеллекта имени Мохаммеда бин Зайда (MBZUAI) опубликовала статью под названием “Flying Co-Stereo: Enabling Long-Range Aerial Dense Mapping via Collaborative Stereo Vision of Dynamic-Baseline” в журнале IEEE Transactions on Robotics. Эта работа представляет систему стереозрения для летательных аппаратов где два БПЛА образуют конфигурацию с широкой базой для обеспечения плотного трехмерного картографирования на большие расстояния. Предложенная система достигает плотной реконструкции на расстояниях до 70 метров с относительной ошибкой от 2.3% до 9.7%.

Система захвата движения NOKOV предоставляет высокоточные данные о положении для проверки предложенного алгоритма оценки относительного положения.

Фон

Для беспилотных летательных аппаратов работающих в крупномасштабных неизвестных средах восприятие на большие расстояния является важным для безопасной навигации. По сравнению с системами LiDAR стереокамеры имеют преимущества в плане стоимости и легкого веса. Однако традиционные стереокамеры ограничены короткими фиксированными базами которые обычно ограничивают их зону восприятия до 20 метров. Существующие системы с широкой базой часто слишком велики чтобы их можно было разместить на малых платформах БПЛА. В то же время распределение стереокамер по двум динамически летящим БПЛА добавляет дополнительные сложности включая динамически изменяющиеся базы и трудности ассоциации признаков между различными видами.

Архитектура системы Flying Co-Stereo в рамках нашей предложенной модели CDBSM

Вклады

1) Предложена система Flying Co-Stereo в которой два совместных БПЛА формируют широко-базовую кросс-агентную стереосистему зрения в единой рамке CDBSM что позволяет проводить плотное картографирование на большие расстояния в крупномасштабных неизвестных средах.

2) Разработана DS-VIRE для достижения надежной и точной онлайн оценки динамической меж-БПЛА базы в сложных условиях на открытом воздухе.

3) Разработана гибридная стратегия ассоциации визуальных признаков сочетающая кросс-агентное глубокое сопоставление с внутренним агентным отслеживанием признаков для обеспечения реального времени и постоянства соответствий признаков при меняющихся ракурсах.

4) Предложена схема восстановления глубины от разреженной к плотной которая уточняет плотные монохромные прогнозы глубины используя экспоненциальную аппроксимацию разреженных ориентиров полученных триангуляцией на большие расстояния для точного масштабного картографирования.

Экспериментальная Проверка

1. Оценка динамической базы

Проведены эксперименты для оценки точности оценки относительного положения между двумя БПЛА в системе Flying Co-Stereo. Два БПЛА автономно летают синхронизированными круговыми траекториями в координатной системе Восток-Север-Вверх (ENU) с длиной базы 3 м. Относительные оценки положения от предложенного Dual-Spectrum Visual-Inertial-Ranging Estimator (DS-VIRE) сравниваются с двумя базовыми методами: (1) метод PnP основанный только на наблюдениях между БПЛА и (2) метод VIO который выводит относительное положение вычитая индивидуальные позиции VIO двух БПЛА.

Система захвата движения NOKOV используется для предоставления истинных данных о положении как эталон для оценки.

Эксперименты по оценке относительного положения Flying Co-Stereo под системой захвата движения NOKOV

Результаты экспериментов показывают что DS-VIRE достигает общей средней абсолютной ошибки (MAE) 0.013 м для оценки относительного положения значительно превосходя метод PnP (0.018 м) и метод VIO (0.024 м). Для оценки относительной ориентации MAE по рысканию составляет 0.214°.

Кроме того надежность оценки динамической базы оценивается через реальные эксперименты на открытом воздухе в сложных условиях включая яркий солнечный свет сложный фоновый шум инфракрасный шум и дальние расстояния наблюдения. Результаты демонстрируют что предложенный алгоритм Dual-Spectrum Marker-Based Visual Detection and Tracking (DS-MVDT) достигает частоты успешного отслеживания более 96% во всех сценариях значительно превосходя базовый метод (YOLOv4-tiny + MOSSE) который колеблется между 17% и 70%.

Эксперименты DS-MVDT с проблемами от яркого солнца загроможденного фона световых шумов и удаленного наблюдения.

2. Оценка производительности ассоциации признаков между камерами

Проведены эксперименты для сравнения производительности в реальном времени предложенного алгоритма Guidance-Prediction SuperPoint-SuperGlue (GP-SS) с тремя базовыми методами: оригинальный SuperPoint-SuperGlue (SS) ORB и SURF. Результаты показывают что GP-SS достигает частоты ассоциации признаков почти 30 Гц существенно превосходя базовый SS (13 Гц).

3. Оценка точности совместной триангуляции разреженных ориентиров

Проведены эксперименты для оценки числа и точности реконструированных ориентиров на различных глубинах (0–10 м 10–30 м 30–50 м 50–70 м). Результаты демонстрируют что предложенная система сохраняет эффективную способность триангуляции за пределами 30 м тогда как подход с одним БПЛА не может триангулировать ориентиры на таких расстояниях.

4. Оценка производительности плотного картографирования на большие расстояния

Эксперименты по плотному картографированию проведены в нескольких реальных и смоделированных средах. Предложенная экспоненциальная модель аппроксимации сравнивается с квадратичными и линейными моделями аппроксимации а также с двумя современными методами Multi-View Stereo (MVS) SimpleRecon и MVSAnywhere. Экспериментальные результаты показывают что предложенная система достигает плотного картографирования на расстояниях до 70 м с относительной ошибкой от 2.3% до 9.7%. По сравнению с традиционными стереокамерами система достигает увеличения максимальной дальности восприятия на 350% и площади покрытия на 450%.

Эксперименты по плотной реконструкции на большие расстояния в открытых средах и фотореалистичной симуляции

Ответственные авторы

Вэй Дун

Постоянный доцент Школы Механической Инженерии Шанхайского университета Цзяо Тонг. Его исследования сосредоточены на многороботной коллаборации и активном восприятии.

Синсинь Цзоу

Постоянный ассистент-профессор в отделе робототехники Университета Искусственного Интеллекта имени Мохаммеда бин Зайда. Его научные интересы включают робототехнику пространственный интеллект оценку состояния и воплощенный интеллект.

На предстоящей ICRA 2026 Профессор Синсинь Цзоу вместе с международными учеными организует семинар под названием “MM-SpatialAI: Multi-Modal Spatial AI for Robust Navigation and Open-World Understanding.”

NOKOV Motion Capture является спонсором этого семинара. Приглашаются исследователи из смежных областей принять участие и внести вклад в развитие многомодального пространственного интеллекта для надежной навигации и понимания открытого мира.

Страница семинара находится по адресу https://xingxingzuo.github.io/MM-SpatialAI/.