NOKOV | Оптическая система захвата движения

Сквозная инфраструктура телесного ИИ

ShadowEngine — это платформа инфраструктуры телесного ИИ, построенная на данных высокоточного захвата движений, обеспечивающая полный цикл данных–обучения–валидации от приобретения человеческих навыков до развертывания роботов.

Основные возможности

Решает критические узкие места в разработке телесного ИИ.

фрагментированный сбор и использование данных
неэффективное преобразование форматов данных
разрыв рабочих процессов обучения, моделирования и развертывания

Стандартизированная библиотека данных

NKV-SE Source

Крупномасштабное хранилище высококачественных наборов данных о движениях, предназначенное для обучения роботов и приложений телесного ИИ.

Основные характеристики

Более 1000 часов очищенных данных о движениях человека, полученных с помощью систем захвата движений NOKOV, более 100 000 высококачественных образцов движений
Более 1000 часов ретаргетированных наборов данных для роботов Unitree G1
Библиотеки основных действий, включая ходьбу, бег, прыжки, захват и манипуляцию
Стандартизированные форматы, поддерживающие множество платформ роботов

Мультимодальный центр данных

NKV-SE Fusion

Единая платформа для синхронизации, управления и организации крупномасштабных мультимодальных данных обучения роботов

Основные характеристики

Синхронизация в реальном времени захвата движений, IMU, силовых пластин, ЭМГ, ЭЭГ, состояний суставов роботов, камер, лидаров и аудио.

Управление задачами сбора данных
Контроль прав доступа к наборам данных
Аннотирование, тегирование, наследование и обмен
Управление деревом версий наборов данных
Инструменты импорта, экспорта, очистки и администрирования пользователей

Платформа ретаргетинга движений

NKV-SE ReTarget

Высокоточная платформа ретаргетинга движений для телесных роботов. На основе оптимизации с учетом динамики она точно переносит данные захвата движений человека на модели роботов, поддерживая крупномасштабное моделирование для ускорения обучения роботов.

Основные характеристики

Ретаргетинг в реальном времени и офлайн
Экспорт экспертных данных для обучения моделей
Открытые API для интеграции роботов URDF/MJCF
Интерактивная настройка параметров и кастомизация

Платформа телеуправления роботами

NKV-SE TeleOp

NKV-SE TeleOp обеспечивает иммерсивное телеуправление роботами с низкой задержкой на основе данных высокоточного захвата движений.

Основные характеристики

Поддержка Unitree G1 и других платформ роботов
Быстрая адаптация к различным роботам
Обеспечивает интуитивное телеуправление всем телом с плавным, отзывчивым воспроизведением движений для ходьбы, бега, приседаний и других сложных движений.

Платформа валидации Sim-to-Real

NKV-SE Valid

Система валидации замкнутого цикла Sim-to-Real, которая устраняет различия в производительности между реальными роботами и средами моделирования. Она передает результаты валидации обратно на платформу обучения для дальнейшей оптимизации моделей.

Также решает проблемы единообразия движений при массовом производстве роботов и служит универсальной платформой оценки единообразия движений для универсальных роботов.

Основные характеристики

Сравнение позиции, скорости и ускорения
Настройка пользовательских метрик оценки и эталонов
Анализ данных производительности и выявление аномальных кадров
Сохранение результатов оценки и построение профилей производительности роботов

Платформа обучения моделей ИИ

NKV-SE Train

Основные характеристики

Интеграция высокоточной физической симуляции и основных фреймворков обучения с подкреплением
Собственная платформа обучения, оптимизированная для обучения роботов на основе захвата движений. Заполняет пробел в открытых решениях для обучения роботов на основе захвата движений