Запечатлевая движение,
Создавая истории

Исследовательская группа под руководством профессора Лян Ху из Шэньчжэньского кампуса Харбинского технологического института опубликовала статью в журнале IEEE Robotics and Automation Letters (IEEE RA-L) под названием Aqua-Splat: Физически обоснованное представление Гаусса для сонарно-камерной подводной 3D-реконструкции.

В статье представлен метод Aqua-Splat, сочетающий данные сонара и камеры для подводной реконструкции и синтеза новых ракурсов на основе трёхмерного гауссова представления. Aqua-Splat интегрирует физические принципы формирования изображения сонара прямого обзора в технологию 3D Gaussian Splatting, что позволяет совместно оптимизировать одну подводную трёхмерную сцену с использованием сонарных и визуальных данных, повышая физическую согласованность реконструкции. Эксперименты в виртуальной среде и лабораторном бассейне продемонстрировали повышение точности геометрической реконструкции и фотометрической достоверности, при этом скорость рендеринга сонарных изображений превысила 120 кадров в секунду.

Система захвата движений NOKOV, включающая подводные камеры, обеспечила эталонные позы подводного робота BlueROV2, оснащённого стереокамерой ZED2 и сонаром прямого обзора Oculus m750d. Вместе с внешними параметрами сенсоров эти измерения позволили исследователям определить положение и ориентацию, в которых фиксировался каждый визуальный и сонарный кадр, что способствовало формированию мультимодального датасета для подводных визуальных, сонарных данных и траекторий.

Данные о позициях установили точное пространственное соответствие между визуальными и сонарными кадрами, а также предоставили информацию о положениях сенсоров, необходимую для преобразования координат, совместной оптимизации сонарных и визуальных данных, подводной 3D-реконструкции и синтеза новых ракурсов в рамках Aqua-Splat.

Информация о публикации

Статья: Aqua-Splat: Physically-Informed Sonar-Camera Gaussian Splatting for Underwater 3D Reconstruction

Журнал: IEEE Robotics and Automation Letters, 2025

DOI: 10.1109/LRA.2025.3615528

Оригинальная статья: Просмотреть публикацию в IEEE Xplore