Аннотация: Компания NOKOV Motion Capture выпустила платформу обучения воплощенного искусственного интеллекта ShadowEngine, которая объединяет данные о движении, многомодальные датчики, обучение роботов, телеуправление и проверку Sim2Real в единую инфраструктуру замкнутого цикла для исследований и развертывания в робототехнике.
NOKOV Motion Capture недавно анонсировал запуск ShadowEngine, платформы обучения воплощенного искусственного интеллекта полного цикла, которая соединяет сбор данных, многомодальное восприятие, обучение роботов, телеуправление и проверку Sim2Real в единый рабочий процесс. Опираясь на многолетний опыт компании в области оптического захвата движения, ShadowEngine помогает робототехническим командам ускорить обучение роботов от сбора данных до их внедрения в реальных условиях.
Зачем обучению воплощенного ИИ нужен замкнутый контур
Последние достижения в области обучения с подкреплением, имитационного обучения и человекоподобной робототехники значительно повысили спрос на качественные обучающие данные. Однако многие робототехнические команды попрежнему полагаются на разрозненные рабочие процессы, в которых захват движения, многомодальные датчики, управление данными, моделирование и проверка выполняются независимо. Такая фрагментация затрудняет создание повторно используемых наборов данных или последовательную оценку эффективности роботов на всех этапах жизненного цикла разработки.
По мере перехода роботов от контролируемых демонстраций к задачам в реальных условиях обучение перестает быть лишь алгоритмической проблемой. Командам необходимы надежный сбор данных, синхронизированные многомодальные сигналы, перенос движений человека на робота, данные экспертного телеуправления, тренировка в симуляции и измеримая проверка на реальных робототехнических системах.
Во многих рабочих процессах эти этапы выполняются разными инструментами. Данные может быть сложно согласовать, демонстрации движений не всегда корректно переносятся на модели роботов, а результаты симуляции могут отличаться от поведения реального устройства. ShadowEngine создан для объединения этих шагов в единую отслеживаемую цепочку сборданныхобучениепроверка.
Что предлагает ShadowEngine
В отличие от отдельного приложения для обучения, ShadowEngineu00a0выступает в роли инфраструктуры данных для воплощенного ИИ, объединяющей сбор данных, многомодальное управление, обучение роботов и проверку в единый непрерывный рабочий процесс.
Модуль | Роль | Ключевая возможность |
NKV-SE Source | Стандартизированные данные | Включает более 1000 часов и 100000 очищенных элементов данных движений человека, а также 100000 переработанных элементов данных для Unitree G1. |
NKV-SE Fusion | Платформа многомодальных данных | Синхронизирует и управляет данными с систем захвата движения, IMU, силовых платформ, ЭМГ, ЭЭГ, суставов робота, камер, облаков точек LiDAR и аудио. |
NKV-SE ReTarget | Перенос движений | Использует оптимизацию динамики для переноса движений человека на модели роботов с поддержкой потоковой работы в реальном времени и файловых рабочих процессов, а также форматов URDFMJCF. |
NKV-SE TeleOp | Платформа телеуправления | Поддерживает погруженное телеуправление с низкой задержкой и запись демонстраций экспертами для обучения роботов. |
NKV-SE Train | Мастерская обучения моделей ИИ | Интегрирует высокоточную физическую симуляцию с популярными фреймворками обучения с подкреплением. |
NKV-SE Valid | Проверка и оценка качества | Сравнивает положение, скорость, ускорение и пользовательские метрики для проверки Sim2Real и тестирования согласованности. |
Ключевые преимущества для робототехнических команд
Единый замкнутый контур: связывает сбор данных, многомодальное управление, перенос движений, обучение, телеуправление и проверку.
Высокоточная основа данных: использует возможности оптического захвата движения NOKOV для предоставления точных данных о движении, позе и траекториях.
Готовые наборы данных: предоставляет стандартизированные датасеты движений и переработанные робототехнические данные для сокращения подготовительных работ.
Перенос движений и телеуправление: помогает трансформировать движения человека в модели роботов и записывать демонстрации экспертов для имитационного обучения.
Проверка Sim2Real: возвращает данные оценки реального устройства обратно в рабочий процесс обучения для постоянной оптимизации.
Открытая интеграция: поддерживает форматы моделей URDFMJCF и интеграцию с экосистемой ROSROS2.
Практическая ценность
Для исследовательских команд в области воплощенного ИИ ShadowEngine помогает создавать повторно используемые датасеты движений и управлять навыками человека, состоянием роботов и данными многомодальных датчиков в едином рабочем процессе.
Для компанийпо разработчиков робототехники платформа поддерживает обучение человекоподобных роботов, перенос движений, демонстрации телеуправления, отладку политик управления и оценку согласованности, помогая сократить разрыв между офлайнданными и выполнением на реальном устройстве.
Для университетов, колледжей и учебных лабораторий робототехники ShadowEngine может поддерживать образовательные и исследовательские процессы по воплощенному ИИ, сочетающие захват движения, управление данными, перенос движений робота, наблюдение за реальными системами и оценку производительности.
За счет устранения фрагментации данных и упрощения рабочих процессов разработки роботов, ShadowEngine обеспечивает более быструю итерацию от сбора данных до развертывания в реальных условиях в различных робототехнических приложениях.
ShadowEngine построен на базе собственной экосистемы аппаратного и программного обеспечения для захвата движения компании NOKOV. Аппаратная часть может включать оптические системы захвата движения, безмаркерный захват движения ASTRA и интегрированные умные перчатки, в то время как программная часть предоставляет шесть модулей ShadowEngine.
Компания NOKOV Motion Capture также предоставляет техническую поддержкуЧерез такие инициативы, как New Generation Star Project и фонд NOKOV Rising Talent Fund, компания продолжает поддерживать молодых исследователей в области робототехники и международный академический обмен.
Запуск ShadowEngine знаменует расширение деятельности NOKOV от технологий захвата движения к инфраструктуре данных для воплощенного ИИ. Объединяя сбор данных, обучение роботов и проверку в реальных условиях в рамках единого рабочего процесса, ShadowEngine позволяет робототехническим командам создавать повторно используемые датасеты, ускорять развитие навыков роботов, оценивать производительность в реальных условиях и сокращать путь от научных исследований до практического внедрения.
ShadowEngine представляет собой платформу для обучения роботов от компании NOKOV Motion Capture. Она охватывает активы данных о движении, многомодальную интеграцию, перенос движений, телеуправление, проверку и обучение моделей искусственного интеллекта.
Нет. Человекоподобные роботы являются важным направлением применения, однако платформа также поддерживает воплощенный ИИ для других типов роботов, ловкую манипуляцию, робототехническое образование, проверку Sim2Real и инженерные испытания.
ShadowEngine предоставляет переработанные данные для Unitree G1 и поддерживает рабочие процессы обучения, телеуправления и проверки как для модели G1, так и для других робототехнических платформ.
Захват движения обеспечивает высокоточные данные о положении, позе, траекториях и временных рядах для людей, инструментов, эффективных звеньев роботов и тестовых объектов. Эти данные поддерживают демонстрации, перенос движений, обучение и проверку.
Одиночные инструменты обычно охватывают только симуляцию или тренировку моделей. ShadowEngine объединяет сбор данных, управление, перенос движений, телеуправление, проверку и обучение ИИ в единый рабочий процесс.
Room820, China Minmetals Tower, район Чаоян, Пекин
info@nokov.cn
+ 86-10-64922321