Запечатлевая движение,
Создавая истории

Статья под заголовком “RMSC-VIO: Надежная многостереоскопическая визуально-инерциальная одометрия для локальных ситуаций с визуальными сложностями,” автором которой является профессор Чжан Тун из Института технологий беспилотных систем Северо-Западного политехнического университета, была принята в журнал IEEE Robotics and Automation Letters (RA-L).

Цитирование: T. Zhang, J. Xu, H. Shen, R. Yang и T. Yang, "RMSC-VIO: Надежная мульти-стереоскопическая визуально-инерциальная одометрия для локальных ситуаций с визуальными трудностями," в IEEE Robotics and Automation Letters, т. 9, no. 5, с. 4130-4137, май 2024, doi: 10.1109/LRA.2024.3377008.

Точное самопозиционирование является основополагающим для достижения автономности роботами. Хотя некоторые алгоритмы визуально-инерциальной одометрии (VIO) уже достигли высокой точности и стабильной оценки состояния на общедоступных наборах данных, их возможности ограничены в визуально сложных условиях из-за зависимости от одной моно- или стереокамеры. В то же время, введение дополнительных датчиков или использование алгоритмов многокамерной VIO существенно увеличивает вычислительные требования.

Резюме исследования

Предлагается многостереоскопическая VIO-система, способная интегрировать несколько стереокамер и демонстрировать отличную устойчивость в визуально сложных сценариях.

2.       Предложен метод адаптивного выбора признаков, который итеративно обновляет информацию о состоянии визуальных признаков, фильтрует качественные точки изображения и уменьшает вычислительную нагрузку многокамерных систем.

3.       Предложен адаптивный метод оптимизации с плотной связью, который распределяет веса оптимизации на основе качества различных точек изображения, эффективно повышая точность позиционирования системы.

4.       Были проведены всесторонние и обширные экспериментальные оценки в различных сложных сценариях для проверки надежности и эффективности метода. Наборы данных, использованные в этих экспериментах, были публично опубликованы командой профессора Чжана для будущих исследований и разработок.

Введение в систему

Рисунок 1: Блок-схема системы RMSC-VIO

Обработка функционала фронтенда

В многостерео VIO системе ключевые точки извлекаются и сопоставляются с изображениями каждой стереокамеры для получения информации об окружающей среде в разных направлениях для робота.

Инициализация

Исследование представляет концепцию многопольных ключевых кадров (MKF) и предлагает адаптивный метод выбора признаков (AFS):

1) Выберите ключевые кадры с множественной перспективой на основе вычисления параллакса между предыдущими кадрами и качества отслеживания точек особенностей.

2) Когда визуальная информация в определенном направлении недоступна, AFS выбирает доступный набор альтернативных опорных точек для инициализации положения многовьющего ключевого кадра. Напротив, в ситуациях, когда вся визуальная информация доступна, AFS стратегически выбирает набор качественных опорных точек для последующей обработки в бэкенде. Алгоритм 1 предоставляет псевдокод предложенного алгоритма AFS.

3) Для упрощения калибровки нескольких камер используется онлайн-метод внешней калибровки для многокамерных систем.

Плотно связанная многостерео VIO

Лучшие наборы ключевых точек со всех камер, именуемые “Sup” набором, интегрируются в заднюю часть для совместной оптимизации. Этот метод слияния избегает сложных и избыточных вычислений слияния VIO, уменьшает несоответствия между несколькими результатами VIO и одновременно интегрирует визуальную информацию с разных ракурсов в процесс оптимизации.

Рис. 2: Структура диаграммы факторов скользящего окна

Мульти-стерео визуальная замыкание петли

Обнаружение замыкания многовидовых петель используется для сокращения дрейфа в большинстве последовательностей.

Исследовательская группа собрала данные из трех помещений и четырех открытых сценариев. Для экспериментов в помещениях использовалась система захвата движения NOKOV для получения истинной наземной позиции с субмиллиметровой точностью. Для открытых последовательностей технология Real-Time Kinematic (RTK) обеспечивала истинную наземную позицию с точностью на уровне сантиметров.

Проведя сравнительный анализ с использованием современных алгоритмов (ORB-SLAM3, VINS-Fusion, MCVIO), абляционных экспериментов и верификации с помощью дронов, была подтверждена эффективность и устойчивость системы в сложных визуальных условиях.

Рис. 3: Квадрокоптер БПЛА, использованный в эксперименте

1.       В качественном анализе алгоритм RMSC-VIO, предложенный в данном исследовании, демонстрирует отличные результаты по траекториям на всех наборах данных.

Рис. 4: Вид сверху на четыре последовательности наборов данных, сравнивающие оцененные траектории VINS-Fusion, MCVIO и RMSC-VIO с истинным положением. Черный круг указывает на начальную точку каждой траектории.

2.       В количественном анализе, по сравнению с VINS-Fusion, средняя квадратичная ошибка (RMSE), измеренная по абсолютной ошибке траектории (ATE), была снижена на 60% до 80%. Кроме того, метод RMSC-VIO оказался более эффективным, чем MCVIO, снизив RMSE ATE на 60% до 90%.

Таблица 1: Абсолютная ошибка траектории (ATE) различных алгоритмов от данных истинного наземного положения

3.       Эффективность метода AFS была оценена путем сравнения его вычислительных затрат и влияния на точность позиционирования в процессе VIO. Результаты показали, что метод AFS обеспечивает высокую точность позиционирования при относительно низких вычислительных затратах.

Таблица 2: Сводка производительности N-AFS (RMSC-VIO без AFS), W-AFS (RMSC-VIO с AFS) и VINS-Fusion на семи наборах данных

4.       Реальные полетные эксперименты проводились с использованием предложенного алгоритма на квадрокоптере, чтобы продемонстрировать его практическое применение и эффективность в местных визуально сложных сценариях.

Рис. 5: Реальные испытания полета предложенного алгоритма, внедренного на квадрокоптере

В этом исследовании было зафиксировано три внутренних сценария с использованием метрической системы захвата движения NOKOV. Рефлекторные маркерные точки были наклеены на фюзеляж квадрокоптера БПЛА для получения данных о настоящем положении на земле с субмиллиметровой точностью.

Чжан Тонг: Ассоциированный исследователь Института технологий беспилотных систем Сианьского политехнического университета и в Ключевой лаборатории интеллектуальных беспилотных летательных аппаратов Сианьского политехнического университета. Он является научным руководителем магистерских программ, основными направлениями его исследований являются технологии автономного восприятия и совместного планирования для беспилотных систем.

Сю Цзянью: магистрант Института технологий беспилотных систем и ключевой лаборатории интеллектуальных беспилотных летательных аппаратов Северо-западного политехнического университета. Его основное направление исследований — автономное позиционирование и визуальный SLAM для беспилотных систем.

Шен Хао: магистрант Института технологий беспилотных систем и ключевой лаборатории интеллектуальных беспилотных летательных аппаратов Северо-Западного политехнического университета. Его исследовательские интересы включают технологии совместного планирования для беспилотных систем.

Ян Тао: доцент Института технологий беспилотных систем Северо-Западного политехнического университета и Ключевой лаборатории интеллектуальных беспилотных летательных аппаратов Северо-Западного политехнического университета. Он является руководителем магистерских диссертаций, его основные исследовательские интересы связаны с восприятием многопрограммного слияния источников и навигацией.