Виртуальная прямая трансляция показывает виртуальные сцены и персонажи в режиме реального времени зрителям, заменяя оригинальные, более дорогие физические декорации и живые выступления виртуальными аналогами. Это предоставляет зрителям новый визуальный опыт, одновременно снижая затраты на создание декораций. Виртуальная прямая трансляция выделилась как новая интегрированная технология после появления технологий ИИ, VR и захвата движений. Технология быстро развивалась, особенно после начала пандемии.

В процессе виртуальной прямой трансляции реальные движения и выражения человека отображаются в реальном времени в виде виртуальных аватаров. Это включает в себя использование технологии захвата движений. Итак, как применяется эта технология в виртуальной прямой трансляции.

Система захвата движений NOKOV достигла высокого уровня интеграции с инструментом виртуальной прямой трансляции VUP. Путем закрепления отражающих маркеров на ведущем, оптическая система захвата движения фиксирует координаты этих маркеров. Информация с нескольких точек используется для определения данных о позе твердых тел, что позволяет создавать и распознавать модели ведущих. После импорта данных о позе в стороннее программное обеспечение и привязки к модели, система может создавать эффекты для фильмов, игр и виртуальных прямых трансляций.

Эта статья будет разделена на три этапа, в которых будет представлен процесс внедрения технологии захвата движений в виртуальные прямые трансляции с точки зрения конкретных операционных процедур.

Размещение маркеров

Маркеры, также известные как отражающие маркеры, представляют собой отражающие сферы, размещаемые на объектах, которые подлежат захвату. Они отражают инфракрасный свет, испускаемый камерами захвата движения, для получения информации о их трехмерных координатах.

При размещении маркеров следует учитывать следующие моменты: ① Размер маркеров, для общего захвата движения человека на открытом пространстве рекомендуются маркеры размером 12-15 мм;  ② Метод крепления маркеров, маркеры должны быть надежно закреплены на поверхности тела человека, а при использовании костюма для захвата движений можно использовать липучку для обеспечения надежной фиксации;  ③ Позиционирование маркеров, при создании системы виртуального прямого эфира специалисты обычно предоставляют стандартные шаблоны размещения.  

При самостоятельной разработке необходимо учитывать несколько моментов: 1) Убедитесь, что прикрепленные точки находятся на внешней стороне костей и легко узнаваемы;2) Размещайте точки на костных ориентирах и суставах;3) Используйте несколько точек для определения жесткого тела.

Построение скелетных систем

       После получения данных облака точек по моделям, программная обработка может создать скелетную систему модели. Это позволяет генерировать специфические информационные шаблоны из набора отражающих маркеров, описывающих точки на модели, линии между этими точками и жесткие тела, определенные точками, называемые Markerset.

Оптические системы захвата движения напрямую фиксируют только точные координаты каждой маркерной точки. Поэтому при создании скелета необходимо обеспечить соответствие длин костных сегментов расстояниям между соответствующими точками, а их позиции должны быть также точно выровнены. Это позволяет точкам точно управлять движением скелета. Импортируя данные о костях из Markerset в другое программное обеспечение, можно анимировать различные модели.

Подключение к программному обеспечению для виртуального прямого эфира

       В программном обеспечении для виртуального прямого эфира VUP доступен выбор различных моделей. После выбора подходящей модели виртуальный персонаж может начать имитировать действия ведущего в реальном времени. Подключив смартфон или камеру компьютера, программное обеспечение VUP может захватывать мимику лица ведущего; используя перчатки для сбора данных, VUP может захватывать детальные движения пальцев, тем самым облегчая взаимодействие с аудиторией.

Кроме того, оптическая система захвата движения NOKOV поддерживает захват движений нескольких лиц, что позволяет представлять несколько виртуальных персонажей на одной сцене.

Виртуальное вещание VUP является дальнейшим расширением сферы деятельности NOKOV в области захвата движений. Самостоятельно разработанная оптическая система захвата движений NOKOV предлагает высокое соотношение цены и качества, обеспечивая точный и стабильный сбор данных, что предоставляет сильную техническую поддержку для виртуального вещания.