В последние годы, по мере того как исследования в области робототехники непрерывно развиваются, функции, которые должны выполнять роботы, становятся все более многочисленными, а их соответствующие поведения - более сложными. Простое управление движениями уже не отвечает этим требованиям, особенно для задач, где сложно зафиксировать шаблон движения с использованием традиционных методов управления, которые фактически неэффективны. Это требует от роботов наличия более высоких обучающих способностей, позволяющих динамично взаимодействовать с окружающей средой для решения неизвестных ситуаций.

l

Машинное обучение может решать задачи робототехнических приложений, находя эффективные стратегии выполнения задач, когда традиционные методы терпят неудачу. Алгоритмы машинного обучения можно разделить на три основные категории: обучение с учителем, обучение без учителя и обучение с подкреплением. Обучение с подкреплением часто используется для сложных задач принятия решений. Однако из-за огромного пространства решений обучение с подкреплением требует постоянных проб и ошибок, что приводит к высокой сложности выборки, что может ограничить его применение в некоторых сценариях.

Ananalytical diabolo model for robotic learning and control   

Одно из направлений обучения с подкреплением, обучение имитацией, заключается в обучении непосредственно на основе примеров от экспертов. Обучение имитацией, также известное как обучение по демонстрации, считается способом снижения сложности выборки благодаря наличию данных о высококачественном поведении при принятии решений. В процессе обучения имитацией демонстратор выполняет траекторные демонстрации в соответствии с требованиями задачи и записывает обучающую траекторию соответствующим образом, чтобы через действия и кодированную регрессию получить оптимизированную роботизированную траекторию.

Обучение имитацией включает следующий процесс: человек демонстрирует действие, робот захватывает данные траектории, используется модель обучения для понимания действия, разрабатывается стратегия управления, а затем робот, выступая в роли исполнительного механизма, контролирует движение для воспроизведения поведения, тем самым достигая обучения двигательным навыкам.

Приобретение поведения - После получения данных траектории демонстрации, сначала необходима их предварительная обработка, которая включает сегментацию движений, снижение размерности, фильтрацию, извлечение признаков и т.д. Предобработанные данные затем используются в качестве входных данных для модели обучения, подготавливая их для кодирования.

Кодирование поведения включает отображение наблюдаемых демонстрируемых поведений на систему робота, требующее эффективного метода представления с возможностью обобщения и устойчивостью. Это позволяет применять изученные способности в новых условиях с некоторой устойчивостью к помехам.

Воспроизведение поведения - Для имитационного обучения роботов необходимо оценивать метрики качества имитации. Затем, через базовое управление движением, изученные стратегии управления проецируются в пространство исполнительных механизмов робота для достижения точного воспроизведения.

Кроме того, широкоугольные объективы часто испытывают искажение изображения по краям, что может повлиять на точность извлечения 2D координат, если захваченный объект находится на краю.  

 1) Обучение посредством демонстрации (Teach-by-Demonstration, TbD). Обучение посредством демонстрации предполагает, что оператор физически перемещает робота для выполнения желаемого действия. В процессе записывается информация о состоянии, такая как углы суставов и крутящие моменты, при помощи датчиков, установленных на борту робота, что позволяет генерировать обучающие данные для моделей машинного обучения. Этот метод интуитивно понятен и предъявляет низкие требования к пользователю, благодаря чему он широко используется в сценариях с легкими промышленными роботами. Однако качество демонстрации зависит от гибкости и плавности движений оператора, и даже данные, полученные от опытных операторов, могут требовать сглаживания или другой постобработки. Кроме того, из-за особенностей конструкции этот метод эффективен для роботизированных рук, но его применение более сложно для других платформ, таких как роботы на ногах или манипуляторы с высокой степенью декстерности.

2) Телеуправление. Телеуправление — это другой метод демонстрации, который может использоваться для обучения траекториям, выполнению задач, захвату объектов или выполнению более сложных задач. Телеуправление требует предоставления внешних команд роботу с помощью джойстиков, графических интерфейсов или других средств. Уже существуют различные интерактивные устройства, такие как тактильные устройства или устройства взаимодействия в виртуальной реальности. В отличие от обучения с передачей управления, телеуправление не требует нахождения пользователя в одном месте с роботом и может быть реализовано удаленно. Ограничения телеуправления включают необходимость дополнительной работы по разработке интерфейсов ввода, более длительный процесс обучения пользователей и риски, связанные с использованием внешних устройств.

3) Пассивное наблюдение.Пассивное наблюдение в основном включает обучение роботов путём наблюдения за действиями демонстрантов.Демонстранты выполняют задачи, используя свои тела, а движения (тел демонстрантов или манипулируемых ими объектов) захватываются внешними устройствами.Эффективный метод захвата этих данных - пассивный оптический захват движения.Во время этого процесса робот не участвует в выполнении задачи, а действует как пассивный наблюдатель.Этот метод относительно прост для демонстранта, так как не требует обучения для процесса демонстрации.Также он подходит для роботов с множеством степеней свободы и неантропоморфных роботов (сценарии, где использование учебного пульта является сложным).Этот подход требует сопоставления человеческих действий с действиями, выполнимыми роботами, и трудности включают заслонения, быстрые движения и шум датчиков, возникающие в процессе демонстрации.

Система захвата движения NOKOV использует пассивный оптический принцип на инфракрасных лучах, фиксируя данные движения путем отслеживания отражающих маркеров, закрепленных на торсе человека (или манипулируемом объекте). Система NOKOV обладает высокой точностью позиционирования, со статической повторяемостью точности до 0,037 мм, абсолютной точностью до 0,087 мм, ошибкой линейной динамической траектории до 0,2 мм и ошибкой круговой траектории 0,22 мм. Кроме того, система захвата движения NOKOV может достигать частоты выборки до 380 Гц при полном разрешении, что соответствует потребностям в сборе данных во время демонстрации быстрых движений. Инженеры NOKOV имеют более 5 лет опыта работы над проектами и могут предложить индивидуальные решения для различных условий на местах, эффективно сокращая экспериментальные ошибки, вызванные препятствиями.

В настоящее время известные зарубежные учебные заведения, занимающиеся исследованием имитационного обучения, такие как Лаборатория алгоритмов и систем обучения (LASA) Швейцарского федерального технологического института в Лозанне (EPFL), Лаборатория робототехники Итальянского института технологий и группа под руководством профессора Яна Петерса в Техническом университете Дармштадта в Германии, активно используют системы захвата движения как важное средство получения данных о траекториях демонстрации.

Координация движения и силы руки-предплечья для физического взаимодействия с неровными поверхностями с использованием динамических систем: к созданию податливых роботизированных систем массажа.

Original video link (from YouTube): Original video link (from YouTube): <span style=" margin:="" 0px;="" padding:="" outline:="" max-width:="" 100%;="">

Оригинальная ссылка на текст: https://ieeexplore.ieee.org/abstract/document/9196593

Примеры применения систем захвата движения в учебных кейс-стади.

Харбинский технологический институт: точное управление для задач сборки 3C.

Исследователи предложили эффективную технику офлайн-программирования через имитационное обучение для автоматизации сборочных линий 3C. Процесс включает два этапа. На первом этапе используется оптическое устройство захвата движения NOKOV для фиксации информации о позе руки человека во время сборки. На втором этапе демонстрируемые данные используются для разработки стратегий управления роботом. Сначала демонстрируемые данные предварительно обрабатываются с использованием эвристического метода пространственной кластеризации на основе плотности для сегментации траекторий и алгоритма обнаружения аномалий на основе локального фактора выбросов. Затем, из обработанных данных, навыки сборки человека изучаются с использованием вероятностной стратегии обучения на основе моделей смеси гауссиан, что позволяет роботам выполнять те же задачи сборки в новых условиях.

Демонстрационные данные получены с использованием оптического оборудования для захвата движения NOKOV. Эта платформа может отслеживать три отражающих маркера, прикрепленных к руке оператора, что предоставляет простой способ записи действий ручной сборки. Также предлагается техника итеративной оптимизации траектории в рамках подхода обучения с подкреплением. Исследование демонстрирует эффективность стратегии итеративной оптимизации траектории на примере простого пути сборки с использованием метода переноса и установки.

Чунцинский университет почтовой связи и телекоммуникаций - Метод моделирования навыков наложения швов в хирургических роботах на основе обучения имитации.

Роботы-ассистенты в хирургии помогают преодолевать трудности, с которыми сталкиваются хирурги при традиционных операциях, включая проблемы точности, рабочего пространства, дистанции и взаимодействия. Основная задача для достижения высококачественных автоматизированных операций, аналогичных действиям врача, заключается в создании модели хирургической операции.

Команда под руководством профессора Ян Дэвэя из Чунцинского университета почтовой и телекоммуникационной связи провела исследования по обучению и моделированию навыков шитья, выбрав моделирование поверхностного шитья тканей. Они создали систему сбора демонстрационных данных о шитье для фиксации данных во время демонстрации процедур шитья врачами.

Система включает в себя систему захвата движения NOKOV, хирургические щипцы, шовный материал, нити и модели ран. Данные траектории, зафиксированные системой захвата движения, разделяются на несколько динамических процессов согласно методу DMP (Dynamic Movement Primitives - Примитивы Динамического Движения). Модель DMP обучается на основе данных траектории оператора для последующей проверки способности модели симулировать процесс шитья и её адаптивности к новым сценариям.

Вуханский университет - Прогнозирование траекторий

Исследования, связанные с прогнозированием траекторий в Вуханском университете, фокусируются на сферических летающих объектах. Эти исследования включают в себя реальное время идентификации, позиционирования и прогнозирования траектории движущихся целей. Путем построения и обучения модели сети LSTM, исследование успешно решает вопросы идентификации, позиционирования и прогнозирования траектории сферических летающих объектов.

Эксперимент использует глубинную камеру Kinect и систему захвата движения на 8 камер NOKOV для создания аппаратной платформы системы и применяет систему ROS в качестве программной платформы для робота. Система калибруется, включая внутреннюю калибровку глубинной камеры Kinect и совместную калибровку систем захвата движения Kinect и NOKOV.

Идентификация движущихся объектов осуществляется методом вычитания фона на основе смешанной гауссовой модели. Данный метод использует позиционирование в фазовом пространстве для получения информации о облаке точек, соответствующей пиксельным точкам, применяет метод Гаусса-Ньютона для аппроксимации центроида облака точек с целью получения пространственных координат движущейся цели и использует фильтр Калмана для оптимизации траектории движения центроида.

В экспериментах исследователи использовали метод на основе рекуррентной нейронной сети для прогнозирования траектории движения объектов, используя систему захвата движения NOKOV для сбора 1000 полных траекторий движения. 80% этих последовательностей траекторий использовались для обучения, а оставшиеся 20% - для тестирования. Построенная сеть затем была применена для прогнозирования траектории нерегулярно движущегося объекта, ракетки для настольного тенниса, что подтвердило способность сети к обобщению.

Ссылки:

[1] Ю Цзяньцзюнь, Мэнь Юйсэнь, Жуань Сяоган, Сюй Цунцзи. Применение обучения имитации в изучении бионических механизмов роботов [Ж]. Журнал Пекинского технологического университета, 2016, 42(02): 210-216.

[2] Недавние достижения в обучении роботов на основе демонстраций Хариш Равичандар, Атанасиос С. Полидорос, Соня Чернова, Од Биллард Годовой обзор контроля, робототехники и автономных систем, 2020, том 3:1, стр. 297-330.

[3] Х. Ху, З. Цао, С. Ян, Х. Сюн и Ю. Лоу, "Оценка производительности оптических систем захвата движения для захвата сборочных движений," в журнале IEEE Access, том 9, стр. 61444-61454, 2021, doi: 10.1109/ACCESS.2021.3074260.

[4] Чжао Чжэнь, Ху Хэ, Ян Сюэ, Лоу Юй, "Метод программирования роботов на основе демонстрации для точного манипулирования в сборке 3C," Симпозиум WRC по передовым технологиям робототехники и автоматизации (WRC SARA), 2019, стр. 172-177, doi: 10.1109/WRC-SARA.2019.8931947.

[5] Ян Дан, Лю Цин, Ляо Гуан, Чжэн Кэ, Луо Цзюнь, Вэй Бинь, "Обучение по демонстрации: метод моделирования повторно используемых навыков шитья на основе динамических двигательных примитивов," Конгресс по автоматизации Китая (CAC), 2018, стр. 4252-4257, doi: 10.1109/CAC.2018.8623781.

[6] Ян Минхуэй. Прогнозирование траектории движения цели на основе рекуррентных нейронных сетей [Д]. Уханьский университет, 2019.