Запечатлевая движение,
Создавая истории

Группа исследователей под руководством профессора Яо Яо Хао из Чжэцзянского университета опубликовала статью в Nature Communications под названием "Кортикальное представление многомерного движения при письме и его значение для нейропротезов." В данной статье впервые систематически раскрываются многомерные механизмы кодирования движений при письме в моторной коре головного мозга, закладывая теоретическую основу для следующего поколения высокопроизводительных интерфейсов мозг-компьютер (ИМК) для письма. Помимо углубления нашего понимания управления движениями, исследование представляет новую парадигму декодирования.

Цитирование:

Ван З., Сюй Г., Юй Б. и др. Кортикальное представление многомерного движения при письме и его значение для нейропротезов. Nat Commun (2026). https://doi.org/10.1038/s41467-026-70536-7

Исследовательский контекст и ограничения 

Традиционный подход: Письмо традиционно моделируется только как двумерные (2D) траектории на плоскости письма.

Основной пробел: Традиционные модели игнорируют важную многомерную информацию, включая кинетические параметры и трехмерную пространственную динамику.

Подход исследования: Используя многомерные данные о движении здоровых испытуемых в качестве внешнего стереотипированного шаблона, команда отобразила эти характеристики на корковых нейронных сигналах парализованного пациента через обратное отображение и семантическое декодирование.

Основные технические методы 

Количественный анализ нейронного кодирования: Модель Линейно-Нелинейного Пуассона (ЛНП).

Линейное декодирование (сравнительная проверка): Фильтр Калмана (ФК).

Нелинейное декодирование (финальный вывод): Сеть долгой краткосрочной памяти (LSTM).

Распознавание символов и сопоставление: Динамическое выравнивание времени (DTW).

Статистические тесты: Парный тест Уилкоксона со знаковыми рангами (применялся на протяжении всего исследования).

Платформа для получения многомерных данных 

Оптическая система захвата движения NOKOV: Реальное время вывода трехмерной скорости кончика пера ($V_x$, $V_y$, $V_z$).

Тонкопленочные датчики давления: Измерение силы захвата тремя пальцами и давления при письме.

Поверхностный армбенд ЭМГ Myo: Измерение 8-канальных огибающих электромиографических (ЭМГ) сигналов предплечья.

Ключевые сравнительные эксперименты и результаты 

• Одномодельный против двухмодельного подхода: Двухмодельный подход значительно превзошел одномодельный по точности декодирования как для штрихов (0.63 → 0.69), так и для подъемов пера (0.72 → 0.86) ($p < 0.0001$), что подтверждает необходимость раздельного моделирования.

• 2D против многомерного кодирования (пошаговое добавление):

  Фаза штриха: Производительность кодирования значительно улучшилась ($p < 0.0001$) после добавления силы захвата, давления и ЭМГ, тогда как $V_z$ не дал никакого вклада.

  Фаза подъема пера: Добавление $V_z$ и всех дополнительных измерений привело к значительным улучшениям; полная модель достигла лучших показателей бит/спайк (0.07 ± 0.02).

• Абляция статьи (полная модель): Удаление ЭМГ или 3D скорости вызвало значительное снижение производительности кодирования как для штрихов, так и для подъемов пера; удаление $V_z$ в частности ухудшило кодирование подъема пера, что подтвердило его уникальный вклад в движения в воздухе.

• 2D против многомерного декодирования (распознавание DTW):

  Точность 2D декодирования: 29.22% ± 19.87%.

  Многомерный прирост: Точность распознавания значительно увеличилась с добавлением $V_z$, силы захвата или давления. В частности, декодирование 3D скорости и давления для распознавания дало точность 49.96% ± 19.48%, что значительно превышает модели, основанные только на 3D скорости.

Исследовательские вклады

1. Впервые раскрыты фундаментальные различия в нейронном кодировании между штрихами и подъемами пера, доказывая, что мозг кодирует многомерные двигательные параметры во время письма.

2. Предложен новый парадигм ИМК, который отображает нейронную активность на шаблоны здоровых людей, что применимо к другим ИМК на основе моторной визуализации.

3. Показано, что многомерное декодирование повышает точность распознавания символов более чем на 70%, закладывая основу для клинических применений ИМК для письма.

Вклады NOKOV

Система захвата движения NOKOV использовалась для получения трехмерных данных о движении при письме, что позволило создать многомерные шаблоны движений, служащие эталоном для нейронного декодирования, тем самым значительно улучшив моделирование и распознавание письма в интерфейсах мозг-компьютер.