5 курс / ОЗИЗО Общественное здоровье и здравоохранение / Проектирование_мультимодальных_интерфейсов_мозг_компьютер

Министерство науки и высшего образования Российской Федерации

Уральский федеральный университет имени первого Президента России Б. Н. Ельцина

А. М. Сысков, В. И. Борисов, Т. С. Петренко

ПРОЕКТИРОВАНИЕ МУЛЬТИМОДАЛЬНЫХ ИНТЕРФЕЙСОВ МОЗГ-КОМПЬЮТЕР

Учебно-методическое пособие

Под общей редакцией кандидата технических наук А. М. Сыскова

Рекомендовано методическим советом Уральского федерального университета для студентов вуза,

обучающихся по направлениям подготовки

09.04.01— Информатика и вычислительная техника;

09.04.02— Информационные системы и технологии

Екатеринбург Издательство Уральского университета

2023

УДК 004.5(075.8) ББК 32.973я73 С95

Рецензенты:

д-р мед. наук, проф., проректор по научно-­исследовательской и клинической работе ФГБО УВО «Уральский государственный медицинский университет» М. А. Уфимцева; заместитель генерального директора по развитию фирмы

«Тритон-­ЭлектроникС», главный конструктор А. В. Чистяков

Рисунок на обложке выполнен Е. А. Сысковой.

Сысков, Алексей Мстиславович.

С95 Проектирование мультимодальных интерфейсов мозг-ком- пьютер : учебно-­методическое пособие / А. М. Сысков, В. И. Борисов, Т. С. Петренко ; под общ. ред. канд. техн. наук А. М. Сыскова ; М-во науки и высшего образования РФ. — Екатеринбург : Изд-во Урал. ун-та, 2023.—131,[1] с.—ISBN 978-5-7996-3724-8.— Текст : непосредственный.

ISBN 978-5-7996-3724-8

В издании рассмотрены основные вопросы, связанные с проектированием мультимодальных интерфейсов мозг-компьютер (ИМК): цели применения и классификация; архитектура и стандарт мультимодальных ИМК. Описаны этапы обработки данных и извлечения признаков с примерами кода на Python; включены главы с примерами использования методов машинного обучения для обработки мультимодальных данных ИМК.

Табл 3. Рис. 61.

УДК004.5(075.8) ББК 32.973я73

Оглавление

3

4

Введение

Наше взаимодействие с внешней средой, несмотря на многообразие его проявлений, сводится в обычной жизни к одному явлению — мышечной активности. Великий русский физиолог И. М. Сеченов в работе «Рефлексы головного мозга», 1863 г., писал: «Всё бесконечное разнообразие внешних проявлений мозговой деятельности сводится окончательно к одному лишь явлению—мышечному движению. Смеется ли ребенок при виде игрушки, улыбается ли Гарибальди, когда его гонят за излишнюю любовь к родине, дрожит ли девушка при первой мысли о любви, создает ли Ньютон мировые законы и пишет их на бумаге — везде окончательным фактом является мышечное движение».

В XX веке были разработаны методы анализа метаболической и биоэлектрической активности тканей головного мозга: инфракрасная спектроскопия, магниторезонансная томография, электроэнцефалография, магнитоэнцефалография, радиотермография. Используя информацию о функциональном состоянии головного мозга и опираясь на известные нейрофизиологические феномены, стало возможно реализовать принципиально новые способы взаимодействия человека с внешней средой. Под новыми способами понимается, например, замещение естественных выходных сигналов центральной нервной системы, которые управляют мышцами при взаимодействии человека с окружающим миром.

Первые устройства, которые использовали сигнал электроэнцефалографии для определения намерения человека и организации взаимодействия с внешней средой, появились в середине XX века. Подобного рода устройства, которые измеряют активность центральной нервной системы, и преобразуют ее в искусственные выходные сигналы, и используют их для замещения, восстановления, расширения, дополнения и улучшения естественных выходных сигналов центральной нервной системы, стали называть интерфейсами мозг-компьютер (ИМК).

5

Введение

Несмотря на то что сам принцип построения ИМК не изменился за последние более чем 70 лет, в наши дни мы наблюдаем своеобразный ренессанс в области разработки и применения ИМК. Во многом это связано с тем, что передовые методы обработки сигналов, методы машинного обучения стали частью технологии обработки и анализа данных и доступны в свободно распространяемых программных пакетах. Следует также отметить, что с начала XXI века результаты работ научных коллективов в области анализа ЭЭГ, построения ИМК накапливались на открытых ресурсах. На сегодняшний день разработчику ИМК доступны не только программные пакеты, но и непосредственно интегрированные в них ресурсы с наборами данных экспериментов.

Нельзя не отметить и то, что миниатюризация элементной базы, энергоэффективность решений позволили создать носимые гарнитуры для ИМК, доступные в потребительском сегменте, что привело к шаблонизации проектирования и процесса разработки программного обеспечения таких ИМК. Особенно эта шаблонизация ярко проявляется в условиях, когда используется интеграция с облачными сервисами как самих поставщиков решений, так и сторонних провайдеров Google, Microsoft, Amazon, Yandex и других.

По данным аналитических обзоров, в мире около сотни высокотехнологичных компаний занимается разработкой ИМК, есть такие компании и в России. Значительными темпами растет рынок инновационных устройств для медицины и здорового образа жизни. В связи с этим возникает значительный спрос на специалистов, способных применять современные методы обработки биомедицинских сигналов и методы машинного обучения, в том числе распознавания образов и визуализации. Помимо владения «математикой» требуются навыки по выстраиванию масштабируемых и оптимальных каркасов для программного обеспечения инновационных продуктов медицинского назначения, в том числе в условиях одновременного использования биофизических сигналов различной природы — так называемых мультимодальных сигналов.

6

Глава 1. Цели применения и классификация ИМК

Ускорение ритма жизни, усложнение техносферы, повышение требований к когнитивной сфере постоянно создают новые вызовы для ученых в области нейронаук. Повсеместное внедрение ИТ-техноло- гии влечет за собой увеличение уровня сенсорной нагрузки на человека, а следовательно, увеличение уровня стресса. Возрастает важность поддержания своего когнитивного статуса для продления активного жизненного периода. В связи с этим актуальным является изучение нейрофизиологических процессов, лежащих в основе работы головного мозга, и связанных с ними нарушений. Как результат, активно развиваются средства обмена информацией между мозгом и электронными устройствами, получившие название «нейроинтерфейсы» (Brain-computer interface (BCI), интерфейс мозг-компьютер (ИМК) (рис. 1), нейрокомпьютерный интерфейс (НКИ), интерфейс нейронного управления (ИНУ), прямой нейронный интерфейс (ПНИ), интерфейс мозг-машина (ИММ). В общем смысле это система прямой связи между мозгом и внешним устройством [1].

Рис. 1. Схематичное представление работы интерфейса мозг-компьютер

7

Глава 1. Цели применения и классификация ИМК

Первое определение мозг-компьютерного интерфейса было дано Жаком Видалем в 1970 году как системы, позволяющей получать детальную информацию о функциях головного мозга.

Выделяют одно- и двунаправленные нейроинтерфейсы. В однонаправленных нейроинтерфейсах внешние устройства могут либо принимать сигналы от мозга, либо посылать ему сигналы (например, имитируя сетчатку глаза при восстановлении зрения электронным имплантатом). Двунаправленный нейроинтерфейс позволяют мозгу и внешним устройствам обмениваться информацией в обоих направлениях.

Современные технологии микроэлектроники позволяют создавать двунаправленные интерфейсы для обмена информацией с внешним устройством. В основе нейрокомпьютерного интерфейса часто используется метод биологической обратной связи.

Одновременная регистрация сигналов различной физической природы позволяет получить важную информацию о функциях головного мозга, состоянии центральной нервной системы и психофизическом состоянии человека. В этом случае речь идет о мультимодальных интерфейсах.

Нейрокомпьютерные интерфейсы предназначены для исследования, преобразования, улучшения или восстановления когнитивных или сенсомоторных функций нервной системы человека. Существующие нейроинтерфейсы включают три этапа работы: регистрацию сигнала; обработку и интерпретацию сигнала; вывод команд на подключенное устройство.

ИМК можно применять для разных задач: улучшения обработки сенсорной информации, управления внешними устройствами, игр, восстановления двигательных и когнитивных функций у пациентов с неврологическими нарушениями.

ИМК могут быть классифицированы разными способами. По методам регистрации сигнала можно выделить инвазивные (внедряемые в тело) и неинвазивные ИМК.

Инвазивные виды ИМК имплантируются непосредственно в мозг в процессе нейрохирургической операции. Существуют однокомпонентные ИМК, которые регистрируют сигнал от одной области клеток мозга, и составные, которые регистрируют сигнал от нескольких областей. Электроды имеют разную длину — 1.5–10.0 мм [2].

Преимуществом инвазивных ИМК является высокое качество получаемого сигнала. Недостатки их связаны с рисками внедрения элек- трода—послеоперационными осложнениями (инфекции, образование

8