Запечатлевая движение,
Создавая истории

Взаимодействие человека с компьютером является ключевой характеристикой технологий виртуальной реальности. Сегодня, с непрерывным обновлением интеллектуального оборудования и ускорением мобильных сетей, взаимодействие человека с компьютером развивается стремительно, среди которого распознавание жестов рук является самым популярным режимом взаимодействия. В настоящее время взаимодействие с помощью жестов рук используется как новое поколение взаимодействия человека с компьютером в умных автомобилях, носимых устройствах, автомобильной электронике, смартфонах и других областях.

Для реализации взаимодействия с помощью жестов рук первым шагом является сбор данных о жестах. Существует два способа осуществления сбора данных: визуальный захват жестов на основе изображения с камеры и инерционный захват жестов на основе отслеживания с помощью сенсоров. Однако у этих двух методов по-прежнему есть очевидные недостатки, такие как недостаточная точность захвата, высокий уровень шумов данных и необходимость предварительной обработки данных. Доктор Ван Ифэнг из Школы науки Харбинского института технологии работает над взаимодействием с помощью жестов рук для умных браслетов.

Доктор Ван Ифэнг использовал систему захвата движения NOKOV для получения данных о жестах рук. Через маркер на поверхности умного браслета система захвата движения на основе инфракрасной оптики может выводить трехмерные координаты маркера в реальном времени. При ношении умного браслета и выполнении жестов информация о различных жестах может быть отражена изменением положения маркера, а точность достигает субмиллиметрового уровня. Система захвата движения также предоставляет данные о скорости, ускорении и другой информации о движении рук. Все данные напрямую импортируются в различные системы через богатый SDK интерфейс, предоставляемый системой захвата движения NOKOV. Вместо того чтобы тратить время на предварительную обработку больших объемов данных, исследователи могут сосредоточиться на алгоритмах классификации и распознавания.

После обучения модели классификации и распознавания на основе импортированных данных, различные жесты с 26 буквами были использованы в качестве тестовых образцов для проверки алгоритма, а точность распознавания и классификации была проанализирована с помощью статистики правильной частоты распознавания, а также категории и частоты неправильной классификации жестовых образцов через непрерывное тестирование в реальном времени.