Запечатлевая движение,
Создавая истории

Рисунок 1. Портативный захват FreeTacMan и сценарии манипуляции с частыми контактами.

Роботы, которые захватывают хрупкие предметы, вставляют разъёмы, пишут, ставят штампы или классифицируют текстуры, нуждаются не только в зрительном распознавании. Они также должны понимать контакты, движение захвата, изменения позы и временную взаимосвязь между касанием и действием. Недавно исследовательская команда профессора Хуньяна Ли из Гонконгского университета и Шанхайского института Ци Чжи опубликовала работу с названием FreeTacMan Система сбора визуальнотактильных данных для манипуляции с частыми контактами на Международной конференции IEEE по робототехнике и автоматизации 2026 года ICRA 2026, которая предоставляет полезный ориентир для решения этой задачи.

Команда проекта описывает FreeTacMan как систему сбора визуальнотактильных данных без использования роботов с акцентом на человека. Она позволяет операторам собирать примеры выполнения задач с помощью носимого портативного захвата, при этом визуальные данные, тактильная обратная связь, управление движением и информация о позе преобразуются в данные, поддерживающие обучение роботов подражанием. В данном исследовании для получения высокоточных данных о шестистепенной позе с интерфейса сбора использовалась система оптического захвата движения NOKOV, что сделало её ключевым измерительным уровнем для построения синхронизированных мультимодальных траекторий.

Почему для манипуляции с частыми контактами требуется не только зрение?

Манипуляция с частыми контактами охватывает задачи роботов, где взаимодействие с объектом или поверхностью является непрерывным и чувствительным. Роботу может потребоваться вставить USBразъём, аккуратно поставить хрупкую чашку без повреждений, отчётливо надавить штампом или повторить траекторию каллиграфии. В таких задачах робот не может полагаться исключительно на то, что видит камера. Ему также необходимо знать момент контакта, характер его изменений и перемещение захвата в пространстве.

Именно поэтому важны визуальнотактильные данные. Зрение фиксирует окружающую среду и состояние объекта. Тактильная обратная связь записывает локальные контакты, деформацию, проскальзывание и текстуру. Отслеживание позы описывает перемещение и вращение захвата во время демонстрации. При синхронизации этих потоков данных формируется более полная обучающая выборка для обучения политик роботов.

Какую проблему решает FreeTacMan?

Традиционный сбор данных для обучения роботов часто опирается на датчики, установленные на самом роботе, системы телеуправления, устройства ARVR или портативные девайсы на базе локализации SLAM и IMU. Эти методы работают, но проект FreeTacMan выявляет несколько повторяющихся ограничений неэффективный сбор данных, ограниченная конфигурация датчиков, сложная калибровка, косвенная тактильная обратная связь и дрейф отслеживания движения.

FreeTacMan изменяет рабочий процесс, вынося сбор данных за пределы корпуса робота. Человеческий оператор носит или держит захват с модульными визуальнотактильными сенсорами и непосредственно выполняет задачу с частыми контактами. Это сохраняет естественный человеческий контроль и тактильную обратную связь в реальном времени, одновременно генерируя данные, пригодные для передачи роботу.

Что делает систему FreeTacMan полезной для обучения роботов?

На странице проекта выделяются три основные части системы модульный аппаратный визуальнотактильный сенсор, система сбора тактильных данных в реальном времени без участия робота и обучение политикам с учетом тактильности предварительным тренированием на тактильных данных.

Рисунок 2. FreeTacMan связывает демонстрацию человеком, визуальнотактильное восприятие и выполнение задачи роботом.

Аппаратная часть включает интерфейсы сбора и выполнения задачи со согласованными визуальными и тактильными наблюдениями. Система также предоставляет универсальный интерфейс захвата с быстрозаменяемыми креплениями, совместимыми с платформами роботов, такими как Piper и Franka. Эта модульность важна, поскольку наборы данных для обучения роботов становятся полезнее, когда метод сбора данных может адаптироваться под разные задачи и типы воплощений робота.

Во время сбора система записывает изображения RGB с камеры на запястье, визуальнотактильные снимки, ширину захвата и позу концевого исполнительного органа. Каждая траектория превращается в независимую от типа робота последовательность данных, которая связывает то, что видит оператор, ощущения захвата и способ его перемещения.

Какую роль сыграл NOKOV в проекте FreeTacMan?

В рабочем процессе передачи данных от человека к роботу FreeTacMan компания NOKOV обеспечила высокоточный оптический захват движения для отслеживания шестистепенной позы интерфейса сбора. Система отслеживала положение и ориентацию портативного захвата, а затем синхронизировала данные о позе с изображениями RGB, визуальнотактильными снимками и шириной захвата. Это позволило преобразовать демонстрацию человеком в полную мультимодальную траекторию, пригодную для отображения на выполнение задачи роботом.

Рисунок 3. Интерфейсы сбора и выполнения FreeTacMan с визуальнотактильным восприятием и отслеживанием позы на основе маркеров.

На интерфейсе были установлены пять ретроотражающих маркеров три на верхней пластине для общей позы и два на захвате для относительного смещения. Благодаря такой компоновке маркеров NOKOV измерял перемещение интерфейса сбора в пространстве во время выполнения оператором задач с частыми контактами.

Для обучения роботов захват движения предоставляет больше чем просто данные о положении. Он дает пространственную привязку, соединяющую демонстрацию человеком с репрезентацией действий робота. Без точного отслеживания позы система всё ещё сможет записать то, что видит и ощущает оператор, но описание реального перемещения захвата в пространстве будет менее полным.

Именно эту задачу измерения решил NOKOV в эксперименте FreeTacMan с обеспечением высокоточного определения положения, ориентации и траектории в рабочем процессе, где данные о движении должны были совпадать с визуальными, тактильными сигналами и состоянием захвата. В данном конвейере NOKOV помог преобразовать демонстрацию человеком в синхронизированные, измеряемые данные для тренировки робота.

Что показали результаты проекта?

Набор данных FreeTacMan охватывает 50 задач манипуляции с частыми контактами, включает более 10 000 траекторий манипуляции и содержит свыше 3 миллионов пар визуальнотактильных изображений. Проект оценивает такие задачи, как обращение с хрупкой чашкой, подключение USBразъёма, классификация текстур, использование штампа и каллиграфия.

Проект также публикует результаты исследования с участием 12 человек, сравнивая FreeTacMan с предыдущими комплексами для сбора данных, такими как ALOHA и UMI. FreeTacMan продемонстрировал высокие показатели завершения задач и эффективность сбора. На странице проекта определяется показатель CPUT или количество выполненных задач в единицу времени как произведение доли завершённых задач на эффективность. Этот показатель важен, так как объединяет возможность завершения задачи и скорость сбора полезных примеров.

Что касается обучения политик, на странице проекта указано, что политики подражания, обученные на данных FreeTacMan, достигли средней вероятности успеха на 50 процентов выше, чем подходы только на основе зрения во всех оценённых задачах с частыми контактами. Этот результат подтверждает главную мысль для задач манипуляции, где контакт влияет на исход тактильная информация и точно синхронизированные данные о движении могут сделать обучение робота более надёжным.

Часто задаваемые вопросы

Что такое FreeTacMan?

FreeTacMan представляет собой систему сбора визуальнотактильных данных без участия роботов с акцентом на человека для задач с частыми контактами. Она использует портативный захват с модульными визуальнотактильными сенсорами для сбора демонстраций, применяемых при обучении роботов.

Почему обучение роботов с частыми контактами требует тактильных данных?

Тактильные данные фиксируют локальные контакты, деформацию, текстуру, проскальзывание и взаимодействия связанные с усилием, которые трудно вывести исключительно из зрительной информации. Эти признаки важны для безопасного захвата хрупких предметов, вставки деталей, штамповки, письма и других задач, чувствительных к касаниям.

Почему данный тип сбора данных требует отслеживания позы в 6 степенях свободы?

Отслеживание позы в 6 степенях свободы фиксирует положение и ориентацию захвата или интерфейса сбора. Оно сообщает системе обучения, каким образом демонстратор перемещался в пространстве, что повышает полезность данных для выполнения задач роботом и обучения подражанием.

Чем полезен захват движения по сравнению с отслеживанием на базе SLAM или IMU?

Оптический захват движения способен снизить дрейф и ошибку отслеживания в контролируемых экспериментальных условиях. Это делает его незаменимым, когда данные о позе должны точно синхронизироваться с изображениями RGB, тактильными снимками и данными о состоянии захвата.

Что измерял NOKOV в исследовании FreeTacMan?

NOKOV измерял позу интерфейса сбора FreeTacMan в 6 степенях свободы и синхронизировал данные о позе с изображениями RGB, визуальнотактильными снимками и шириной захвата. Это предоставило необходимый пространственный слой траектории для передачи данных от человека к роботу.

Источник Страница проекта FreeTacMan OpenDriveLab https://opendrivelab.com/FreeTacMan Longyan Wu Checheng Yu Jieji Ren и соавторы FreeTacMan Robot-free Visuo-Tactile Data Collection System for Contact-rich Manipulation ICRA 2026.