Запечатлевая движение,
Создавая истории

Команда доцента Лэй Сяокана из Школы информационных и управляющих технологий при Сианьском архитектурно-строительном университете в сотрудничестве с командой профессора Пэн Синьгуана из Школы морских наук и технологий Северо-Западного политехнического университета достигла эффективного и гибкого интерактивного управления роем человеко-роботов на основе технологии виртуальной реальности (VR) и отслеживания взгляда. Соответствующая исследовательская статья «Подход к взаимодействию человек-рой роботов на основе виртуальной реальности и отслеживания глаз» была опубликована в журнале «Информация и управление», специализирующемся в области информационных и управляющих наук.

Система захвата движения NOKOV устанавливает состояние взаимосвязи между движением реального робота и его цифровым двойником, обеспечивая обновление в реальном времени состояния движения робота в VR-сцене, тем самым повышая погружение оператора и эффективность восприятия состояния роя.

Цитирование

Сюй Минъюй, Лэй Сяокан, Дуань Чжунсин, Сян Ялунь, Дуань Мэнъюань, Чжэн Жичэн, Пэн Синьгуан. Подход к взаимодействию человек-рой роботов на основе виртуальной реальности и отслеживания глаз [J]. Информация и управление, 2024, 53(2): 199-210. DOI: 10.13976/j.cnki.xk.2023.2548

Фон

Роевые роботы имеют преимущества, такие как высокая отказоустойчивость, масштабируемость и параллельная совместная работа, предоставляя уникальные преимущества для выполнения крупномасштабных многоцелевых задач. Комбинируя это с человеческим интеллектом принятия решений, можно эффективно повысить надежность, адаптивность и уровень интеллекта систем роевых роботов. Однако традиционные методы взаимодействия человек-рой (HSI), основанные на жестах и голосе, сталкиваются с вызовами, включая большое количество контролируемых объектов и трудности в восприятии состояния роя, что приводит к таким проблемам, как низкая эффективность и недостаток гибкости. Чтобы решить эти проблемы и реализовать эффективный, удобный и высоко погружающий метод HSI, исследовательская группа провела соответствующие исследования на основе VR и технологии отслеживания глаз.

Вклад

1. Предлагается новый метод HSI, интегрирующий VR и отслеживание глаз, характеризующийся сильным погружением, гибкостью и удобством.

2. Метод взаимодействия на основе VR может преодолеть ограничения, такие как работа роботов вне поля зрения и неблагоприятные условия окружающей среды, а также предоставляет обратную связь о состоянии роя, реализуя цифровой двойник роя роботов.

Процесс взаимодействия

Предложенный метод HSI на основе VR и отслеживания глаз включает три этапа: построение виртуальной сцены, сбор и обработка данных отслеживания глаз и отправка и выполнение команд.

• Построение виртуальной сцены: создание VR-сцены роя роботов и их окружения, представленной оператору через VR-очки. Система захвата движения NOKOV используется для достижения синхронизации в реальном времени между состоянием движения реальных роботов и их цифровыми двойниками в виртуальной среде.

• Сбор и обработка данных отслеживания глаз: датчики отслеживания глаз, установленные на VR-очках, фиксируют данные движения глаз оператора в реальном времени и передают их на обрабатывающий компьютер. После предварительной обработки и анализа генерируются команды управления движением.

• Передача и выполнение команд: команды управления взглядом отправляются рою роботов, которые получают и выполняют соответствующие действия.

Общая схема системы взаимодействия человек-рой роботов

Правила управления

• Правило взаимодействия роевого блуждания: отображает движения глаза вверх/вниз/влево/вправо непосредственно на направление движения робота.

• Правило целевого отслеживания роя: фиксирует цель через луч отслеживания глаз, приводя роботов к движению к цели.

• Правило отслеживания траектории роя: направляет рой роботов следовать заранее заданному пути с использованием траектории отслеживания глаз.

Эксперименты

Исследование использовало роботов SwarmBang для формирования маломасштабного роя для реальных экспериментов HSI, чтобы проверить осуществимость и эффективность предлагаемого метода HSI на основе VR и отслеживания глаз. 

Реальная экспериментальная среда и VR-сцена взаимодействия

Эксперимент по роевому блужданию: оператор управляет роботами для перемещения вправо, влево, вниз и вверх последовательно через движения глаз. Роботы быстро реагируют, и их траектория движения высоко согласуется с командами отслеживания глаз.

Эксперимент по целевому отслеживанию роя: оператор смотрит на разные цели, и роботы быстро переключаются и стабильно двигаются к целям. Последовательность активации целей: 1→2→1→2→1 (влево→вправо→влево→вправо→влево), с четкими траекториями.

Эксперимент по отслеживанию траектории роя: оператор предварительно задает траекторию через движения глаз. Роботы плавно движутся по траектории, успешно обходят препятствия с точным отслеживанием.

Результаты экспериментов демонстрируют, что метод HSI на основе VR и отслеживания глаз достигает эффективного, гибкого и высоко погружающего интерактивного управления роем человеко-роботов.

Система захвата движения NOKOV предоставила данные о траектории роботов в реальной среде для экспериментов, установив состояние взаимосвязи между движением реальных роботов и их цифровыми двойниками, тем самым способствуя реализации команд управления взглядом.

Профили авторов

Сюй Минъюй, магистрант из Школы информационных и управляющих технологий Сианьского архитектурно-строительного университета. Основные области исследований: взаимодействие человек-рой роботов, технология виртуальной реальности.

Лэй Сяокан (ответственный автор), доцент и научный руководитель магистрантов Школы информационных и управляющих технологий Сианьского архитектурно-строительного университета. Основные области исследований: роевая робототехника и роевой интеллект.

Дуань Чжунсин, исполнительный вице-декан Международного образовательного колледжа и профессор Школы информационных и управляющих технологий Сианьского архитектурно-строительного университета. Основные области исследований: интеллектуальные системы и интеллектуальная обработка информации, интеллектуальное обнаружение и машинное зрение, контроль строительной среды и энергосберегающая оптимизация, встроенная технология и интеллектуальные системы.

Сян Ялунь, магистрант из Школы информационных и управляющих технологий Сианьского архитектурно-строительного университета. Основные области исследований: роевая робототехника.

Дуань Мэнъюань, магистрант из Школы информационных и управляющих технологий Сианьского архитектурно-строительного университета. Основные области исследований: визуальная локализация роя роботов.

Чжэн Жичэн, докторант Школы морских наук и технологий Северо-Западного политехнического университета. Основные области исследований: роевой интеллект, роевая робототехника.

Пэн Синьгуан, профессор и научный руководитель докторантов Школы морских наук и технологий Северо-Западного политехнического университета. Основные области исследований: роевой интеллект, эволюционные вычисления, машинное обучение и их применение в беспилотных системах, особенно беспилотных роях.