Системы захвата движения для гуманоидных роботов и воплощённого ИИ | Телеуправление и обучение

Университет Цинхуа, IIIS | Проект Instinct — набор инструментов для изучения интеллекта на уровне инстинктов

Сбор и генерация наборов данных роботов

Захват движений и интерактивного поведения человека в реальных сценариях задач. Синхронизация мультимодальных данных, включая позы, видео, обратную связь по силе и результаты задач, для создания стандартизированных обучающих наборов данных для имитационного обучения роботов.

NOKOV Cap

Субмиллиметровая точность

Оптико-инерциальная fusionная система слежения обеспечивает субмиллиметровую точность позиционирования и угловую точность 0,1° для высокоточной записи движений.

Мультиагентность и мультимодальность

Одновременный захват людей, инструментов и роботов с синхронизацией видео, силовых данных, ЭМГ и других сенсорных данных для полного восприятия сцены.

Потоковая передача данных в реальном времени

Полная совместимость с интерфейсами ROS/ROS2, VRPN и SDK для бесшовного подключения к платформам моделирования и управления роботами.

Гибкое развертывание

Поддержка решений как на основе маркеров, так и с использованием ИИ без маркеров, адаптируемых от лабораторных условий до крупномасштабных сценариев эксплуатации.

Высококачественный набор данных

Предоставление более 1000 часов очищенных данных о движениях человека и более 100 000 высококачественных образцов для обучения алгоритмов ИИ и роботов.

Стэнфордский университет | Точное исполнение виртуального гитариста

Точная манипуляция и демонстрационное обучение

Захват высокоточных данных о движениях рук, пальцев и взаимодействии с инструментами при выполнении реальных задач. Генерация демонстрационных наборов данных для обучения роботов, позволяющая гуманоидным роботам и системам с телесным ИИ осваивать навыки точной манипуляции на основе человеческих демонстраций.

Возможности NOKOV

Точный трекинг рук и пальцев

Захват мелких движений рук, пальцев и объектов с высокой пространственной точностью.

Захват взаимодействия человека с объектами

Запись координированных взаимодействий между руками, инструментами и манипулируемыми объектами.

Мультимодальные демонстрационные данные

Синхронизация захвата движений с видео, силовыми, тактильными и другими сенсорными данными.

Готовность к обучению роботов

Генерация структурированных наборов данных для имитационного обучения, LfD и обучения политик.

Интеграция в реальном времени

Бесшовное подключение к платформам управления роботами, моделирования и обучения.

Школа робототехники Уханьского университета | Тренировка гуманоидного робота кунг-фу

Обучение роботов и изучение движений

Использование высококачественных данных о движениях для обучения роботов локомоции, манипуляции и координации всего тела. Поддержка имитационного обучения, обучения с подкреплением, оптимизации политик движений и разработки моделей телесного ИИ. Поддержка обучения базовых моделей и крупномасштабного обучения роботов.

Возможности NOKOV

Высокоточные данные о движениях для обучения

Предоставление точных данных захвата движений всего тела для обучения алгоритмов роботов.

Ретаргетинг движений человека на робота

Преобразование захваченных движений человека в исполняемые команды движения робота.

Интеграция с платформами моделирования

Плавное подключение к основным средам моделирования для итеративной настройки политик.

Поддержка обучения с подкреплением

Предоставление стандартизированных образцов движений для ускорения итераций обучения с подкреплением.

Высшая школа инженерных наук Осакского университета | Человеко-роботное взаимодействие и телеуправление коботами

Телеуправление и обучение с участием человека

Перенаправление движений всего тела, верхней части тела и рук человека на целевого робота в реальном времени, обеспечивая отслеживание движений, удаленное управление и онлайн-демонстрационное обучение.

Возможности NOKOV

Трекинг движений в реальном времени

Сверхнизкая задержка захвата движений и потоковая передача данных в реальном времени гарантируют мгновенное отражение каждого движения оператора роботом, обеспечивая отзывчивое и интуитивное управление.

Поддержка основных платформ гуманоидных роботов

Совместимость с URDF-моделями основных гуманоидных роботов и возможность кастомной интеграции и разработки для конкретных платформ роботов.

Поддержка URDF AGIBOT H2

Поддержка URDF Unitree U1/H1

Дополнительная кастомная

поддержка URDF

Роботизированное зеркальное отражение мимики и движений головы в реальном времени на основе легковесных сетей

Анализ движений и валидация Sim-to-Real

Оценка точности управления требует количественных метрик ошибок для выявления и локализации проблем в алгоритмах, механических системах, стратегиях управления, платформах моделирования или обучающих рамках в процессе НИОКР.

Возможности NOKOV

Валидация замкнутого цикла Sim-to-Real

Построение количественного сравнения между смоделированными и физическими данными робота; обратная связь полевых данных в обучающие модели. Поддержка сравнения по позиции/скорости/ускорению и пользовательских эталонов оценки.

ShadowEngine | Система валидации замкнутого цикла Sim-to-Real

Бенчмаркинг роботов и тестирование производительности

Количественное тестирование заводских характеристик роботов, повторяемости, точности траекторий, устойчивости походки, способности противостоять помехам и выполнения задач. Предоставление стабильных воспроизводимых данных для внутреннего контроля качества, приемки заказчиками, отчетов о производительности и бенчмаркинга продукции.

Возможности NOKOV

Универсальная платформа оценки движений роботов

Решение проблем единообразия в массовом производстве роботов, предоставление стандартизированных воспроизводимых тестов движений и отраслевых эталонных решений.

Ханчжоу Фэйкуо Текнолоджи Ко., Лтд. | Групповой танец гуманоидных роботов

Демонстрация роботов и живые выступления

Предоставление захвата движений или управления в реальном времени для сценариев таких как танец роботов, тайцзи, интерактивные выступления на выставках, демонстрации на пресс-конференциях, видеоконтент и культурные мероприятия. Обеспечивает быстрое развертывание, стабильную работу на месте и оперативную генерацию естественного и визуализируемого контента движений роботов.

Возможности NOKOV

Быстрая адаптация к основным роботам

Адаптация к основным роботам, таким как Unitree и AgiBot, с помощью самостоятельно разработанных моделей ретаргетинга и обучения, поддержка кастомной разработки под конкретные сценарии.

Высокоточное воспроизведение телесных движений

Поддержка аватарного удаленного управления для ходьбы, бега, прыжков и разнообразных движений. Обеспечение низкозадержечного высокоплавного воспроизведения движений роботов для выставочных и коммерческих сценариев.