Запечатлевая движение,
Создавая истории

Ассистент-профессор Гао Иксин из Школы искусственного интеллекта Университета Цзилинь представила новые достижения в области роботизированной помощи при одевании и захвате одежды на ICRA 2023, ведущей международной конференции по робототехнике. В исследовании использовалась система захвата движения NOKOV для предоставления данных о положении и ориентации точек захвата одежды в реальном времени.

Научное достижение 1: Захват и раскладка одежды на основе сегментации RGB-D семантических данных

В области интеллектуальной робототехники для ухода за пожилыми людьми и помощи инвалидам роботизированная помощь при одевании представляет собой крайне сложную задачу, где захват и раскладка одежды являются ключевыми и центральными компонентами. Некоторые исследования в основном обучают модели распознавания точек захвата с использованием однообразных входных данных с многими шумами на глубинных изображениях, а также используют синтетические данные для снижения затрат на аннотацию. Однако помехи от шума и различия в распределении признаков между синтетическими и реальными доменами часто приводят к снижению производительности. Кроме того, подходы, основанные на предсказании координат точек, часто терпят неудачу из-за деформации и перекрытия гибких объектов, таких как одежда.

Таким образом, команда Гао Иксин предложила модель семантической сегментации RGB-D (двунаправленная фрактальная сеть кросс-слияния, BiFCNet) для выявления областей, богатых семантической информацией, что позволяет роботам прогнозировать и оценивать зоны захвата на целевых предметах одежды. Чтобы снизить высокие затраты на аннотацию данных для обучения модели, команда также представила метод увеличения данных с несколькими входами на основе стратегии противоборства. В итоге была разработана вся система и конвейер задач захвата и раскладки на основе подхода выбора точек захвата с учетом направлений захвата.

Конвейер захвата и раскладки одежды на основе увеличения данных, сегментации RGB-D и стратегии выбора точек захвата

Что касается предложенной модели семантической сегментации RGB-D BiFCNet, вся сеть использует архитектуру кодировщик-декодер. Кодировщик состоит из двух параллельных сетей ResNet-101, служащих базовыми сетями для извлечения признаков. Выходные данные каждого слоя ResNet-101 объединяются в модуле Fractal Cross Fusion (FCF). Внутри модуля FCF для слияния признаков создаются два различных пути обработки признаков: извлечение весов каналов и перекрестное распространение слияния. Модуль Fractal Process (FP) внутри пути перекрестного распространения слияния может извлекать глобальные сложные признаки на основе фрактальной геометрии. Два пути в конечном итоге сходятся для получения объединенных карт признаков. DeepLab V3+ используется в качестве декодера признаков, причем результаты слияния из первого и последнего модулей FCF используются в качестве поверхностных и глубоких входных данных сети DeepLab V3+. Наконец, декодер выполняет декодирование признаков для вывода карты сегментации.

сеть семантической сегментации RGB-D (двунаправленная фрактальная сеть кросс-слияния, BiFCNet)

Указанное выше исследование было принято для презентации на Международной конференции IEEE по робототехнике и автоматизации (ICRA) 2023 года под названием "Захват и раскладка одежды на основе семантической сегментации RGB-D". Источник: https://doi.org/10.48550/arXiv.2305.03259

Научное достижение 2: Обучение представлениям между доменами для раскладки одежды в роботизированной помощи при одевании

Что касается роботизированной помощи при одевании, существующие исследования в основном сосредоточены на самом процессе одевания при условии, что одежда уже захвачена роботом. Однако перед выполнением помощи при одевании робот должен сначала разложить одежду в носильное состояние.

В исследовании раскладки одежды роботами точное определение точек захвата на одежде является одним из самых важных шагов. С появлением глубокого обучения исследователи начали использовать сверточные нейронные сети для обучения декартовых координат точек захвата на основе больших объемов размеченных данных. Однако сбор реальных данных с аннотациями требует значительных временных и трудозатрат. Поэтому использование физических движков для генерации синтетических изображений для дополнения обучающих наборов данных стало широко применяемым подходом в исследованиях раскладки одежды роботами.

Робот Baxter самостоятельно идентифицирует точки захвата на висящей одежде, раскладывает ее в носильное состояние и помогает пользователю одеться.

Для решения проблемы внутреннего разрыва между реальными и синтетическими изображениями команда предложила сеть обучения представлениям между доменами (CDRL), способную эффективно извлекать знания как из синтетических, так и из реальных доменов для создания более надежных междоменных представлений признаков. Сеть CDRL в основном состоит из двух модулей: модуль уточнения специфичных для домена признаков (DSFR) извлекает инвариантные к домену признаки изображения, которые затем адаптивно уточняются через две осведомленные о домене деформируемые сверточные ветви для генерации специфичных для домена знаний. Модуль слияния представлений между доменами получает междоменные представления путем слияния признаков из двух специфичных для домена ветвей, тем самым интегрируя специфичные для домена знания и повышая точность распознавания модели.

Обучение представлениям между доменами (CDRL)

Что касается деталей реализации, Гао Иксин и её команда использовали физический движок Maya для генерации большого количества синтетических изображений одежды с аннотациями точек захвата, а также систему захвата движения NOKOV для получения реальных глубинных изображений с аннотациями точек захвата одежды. По сравнению с пятью базовыми методами подход CDRL показал превосходные результаты в идентификации точек захвата одежды и дополнительно снизил ошибки распознавания. При развертывании на роботе Baxter система успешно помогла шести участникам одеться, сначала разложив одежду, а затем распознавая положения суставов пользователей в реальном времени для завершения помощи при одевании.

Это научное достижение под названием "Обучение представлениям между доменами для раскладки одежды в роботизированной помощи при одевании" было принято для презентации на семинаре ECCV Workshop on Assistive Computer Vision and Robotics 2022 года. Источник: https://doi.org/10.1007/978-3-031-25075-0_44

Заключение и перспективы будущего

Команда по робототехнике и зрению Университета Цзилинь под руководством профессора Гао Иксин предоставила новые подходы к захвату одежды роботами, её раскладке и роботизированной помощи при одевании. По мере продвижения методологий планирования траектории роботов, а также улучшений в точности распознавания моделей и производительности систем захвата движения, можно ожидать более сложных решений для роботизированной помощи при одевании. Впереди, с полной коммерческой реализацией технологических достижений, мы станем свидетелями того, как человекоподобные роботы открывают огромный рыночный потенциал в различных областях, включая умное здравоохранение, помощь пожилым людям и инвалидам, бытовые услуги и научные исследования.

О Гао Иксин

Гао Иксин: доктор наук. Она является доцентом и научным руководителем докторантов в Школе искусственного интеллекта Университета Цзилинь, высокоуровневым талантом провинции Цзилинь и возглавляет лабораторию робототехники и зрения.

Она длительное время занимается исследованиями в области человекоподобных роботов, компьютерного зрения, роботизированного зрения и взаимодействия человека с компьютером. Она опубликовала более 10 высококачественных статей в качестве первого автора или соответствующего автора на ведущих международных конференциях и в журналах в области робототехники, компьютерного зрения и искусственного интеллекта (например, CVPR, ICCV, ICRA, IROS, KBS и др.). Она также работает рецензентом ведущих журналов и конференций по робототехнике, компьютерному зрению и искусственному интеллекту. В качестве руководителя проекта она возглавляет молодежную программу Национального фонда естественных наук Китая «Исследования методов оптимизации захвата роботами и перемещения целевых позиций с визуальным кооперативным восприятием» (2023-2025). В возрасте 15 лет она поступила в специальный класс для одаренной молодежи Университета Цзяотун города Сиань, где завершила совместную бакалаврскую и магистерскую программу, и была рекомендована для поступления на факультет автоматизации Школы электроники и информационной инженерии Университета Цзяотун города Сиань. Она получила полную докторскую стипендию в рамках Международной программы аспирантуры Национального фонда стипендий для обучения за рубежом и получила докторскую степень в Имперском колледже Лондона под руководством профессора Иоанниса Демириса, члена Королевской академии инженерии. После этого она провела постдокторские исследования в Имперском колледже Лондона и работала преподавателем в Школе компьютерных наук Университета Бирмингема, где преподавала три курса: Интеллектуальная робототехника, Компьютерное зрение и визуализация/Роботизированное зрение, а также Искусственный интеллект и машинное обучение.

Личная страница: https://sai.jlu.edu.cn/info/1094/3451.htm