5 курс / ОЗИЗО Общественное здоровье и здравоохранение / Проектирование_мультимодальных_интерфейсов_мозг_компьютер
.pdfА. М. СЫСКОВ
В. И. БОРИСОВ
Т. С. ПЕТРЕНКО
ПРОЕКТИРОВАНИЕ МУЛЬТИМОДАЛЬНЫХ
ИНТЕРФЕЙСОВ МОЗГ-КОМПЬЮТЕР
Учебно-методическое пособие
Министерство науки и высшего образования Российской Федерации
Уральский федеральный университет имени первого Президента России Б. Н. Ельцина
А. М. Сысков, В. И. Борисов, Т. С. Петренко
ПРОЕКТИРОВАНИЕ МУЛЬТИМОДАЛЬНЫХ ИНТЕРФЕЙСОВ МОЗГ-КОМПЬЮТЕР
Учебно-методическое пособие
Под общей редакцией кандидата технических наук А. М. Сыскова
Рекомендовано методическим советом Уральского федерального университета для студентов вуза,
обучающихся по направлениям подготовки
09.04.01— Информатика и вычислительная техника;
09.04.02— Информационные системы и технологии
Екатеринбург Издательство Уральского университета
2023
УДК 004.5(075.8) ББК 32.973я73 С95
Рецензенты:
д-р мед. наук, проф., проректор по научно-исследовательской и клинической работе ФГБО УВО «Уральский государственный медицинский университет» М. А. Уфимцева; заместитель генерального директора по развитию фирмы
«Тритон-ЭлектроникС», главный конструктор А. В. Чистяков
Рисунок на обложке выполнен Е. А. Сысковой.
Сысков, Алексей Мстиславович.
С95 Проектирование мультимодальных интерфейсов мозг-ком- пьютер : учебно-методическое пособие / А. М. Сысков, В. И. Борисов, Т. С. Петренко ; под общ. ред. канд. техн. наук А. М. Сыскова ; М-во науки и высшего образования РФ. — Екатеринбург : Изд-во Урал. ун-та, 2023.—131,[1] с.—ISBN 978-5-7996-3724-8.— Текст : непосредственный.
ISBN 978-5-7996-3724-8
В издании рассмотрены основные вопросы, связанные с проектированием мультимодальных интерфейсов мозг-компьютер (ИМК): цели применения и классификация; архитектура и стандарт мультимодальных ИМК. Описаны этапы обработки данных и извлечения признаков с примерами кода на Python; включены главы с примерами использования методов машинного обучения для обработки мультимодальных данных ИМК.
Табл 3. Рис. 61.
УДК004.5(075.8) ББК 32.973я73
ISBN 978-5-7996-3724-8 |
© Уральский федеральный |
|
университет 2023 |
Оглавление
Введение................................................................................................ |
5 |
Глава 1. Цели применения и классификация ИМК............................... |
7 |
Вопросы к главе 1........................................................................... |
11 |
Глава 2. Шаблоны проектирования ИМК............................................ |
12 |
Мультимодальный интерфейс....................................................... |
12 |
Биомедицинские сигналы различных модальностей |
|
и методы их регистрации................................................................ |
15 |
Единый стандарт IEEE для ИМК.................................................. |
18 |
Функциональная модель ИМК...................................................... |
19 |
Модуль «Преобразователь»............................................................ |
21 |
Интерфейс управления.................................................................. |
25 |
Аспекты применения ИМК........................................................... |
27 |
Особенности хранения и совместного |
|
использования данных................................................................... |
28 |
Вопросы к главе 2........................................................................... |
31 |
Глава 3. Обработка сигналов ЭЭГ для ИМК....................................... |
32 |
Регистрация сигналов активности |
|
головного мозга на поверхности головы....................................... |
33 |
Предварительная обработка сигналов........................................... |
37 |
Фильтрация сигнала....................................................................... |
38 |
Артефакты....................................................................................... |
41 |
Методы восстановления данных |
|
при работе с артефактами............................................................... |
49 |
Вопросы и задания к главе 3.......................................................... |
56 |
Глава 4. Извлечение значений признаков для различных |
|
типов ИМК........................................................................................... |
59 |
ИМК на базе сенсомоторных ритмов............................................ |
60 |
3
Оглавление |
|
ИМК на базе вызванных потенциалов.......................................... |
71 |
Вопросы и задания к главе 4.......................................................... |
81 |
Глава 5. Применение методов машинного обучения для ИМК............. |
83 |
Обучение с учителем...................................................................... |
83 |
Пример использования методов |
|
машинного обучения в задачах ИМК............................................ |
86 |
Метод опорных векторов (SVM).................................................... |
88 |
Нейронные сети.............................................................................. |
90 |
Получение данных из набора данных MNE EEG....................... |
101 |
Вопросы к главе 5......................................................................... |
110 |
Глава 6. Мультимодальная обработка сигналов на примере |
|
данных полисомнографии................................................................... |
112 |
Задания к главе 6........................................................................... |
123 |
Список библиографических ссылок.................................................... |
125 |
4
Введение
Наше взаимодействие с внешней средой, несмотря на многообразие его проявлений, сводится в обычной жизни к одному явлению — мышечной активности. Великий русский физиолог И. М. Сеченов в работе «Рефлексы головного мозга», 1863 г., писал: «Всё бесконечное разнообразие внешних проявлений мозговой деятельности сводится окончательно к одному лишь явлению—мышечному движению. Смеется ли ребенок при виде игрушки, улыбается ли Гарибальди, когда его гонят за излишнюю любовь к родине, дрожит ли девушка при первой мысли о любви, создает ли Ньютон мировые законы и пишет их на бумаге — везде окончательным фактом является мышечное движение».
В XX веке были разработаны методы анализа метаболической и биоэлектрической активности тканей головного мозга: инфракрасная спектроскопия, магниторезонансная томография, электроэнцефалография, магнитоэнцефалография, радиотермография. Используя информацию о функциональном состоянии головного мозга и опираясь на известные нейрофизиологические феномены, стало возможно реализовать принципиально новые способы взаимодействия человека с внешней средой. Под новыми способами понимается, например, замещение естественных выходных сигналов центральной нервной системы, которые управляют мышцами при взаимодействии человека с окружающим миром.
Первые устройства, которые использовали сигнал электроэнцефалографии для определения намерения человека и организации взаимодействия с внешней средой, появились в середине XX века. Подобного рода устройства, которые измеряют активность центральной нервной системы, и преобразуют ее в искусственные выходные сигналы, и используют их для замещения, восстановления, расширения, дополнения и улучшения естественных выходных сигналов центральной нервной системы, стали называть интерфейсами мозг-компьютер (ИМК).
5
Введение
Несмотря на то что сам принцип построения ИМК не изменился за последние более чем 70 лет, в наши дни мы наблюдаем своеобразный ренессанс в области разработки и применения ИМК. Во многом это связано с тем, что передовые методы обработки сигналов, методы машинного обучения стали частью технологии обработки и анализа данных и доступны в свободно распространяемых программных пакетах. Следует также отметить, что с начала XXI века результаты работ научных коллективов в области анализа ЭЭГ, построения ИМК накапливались на открытых ресурсах. На сегодняшний день разработчику ИМК доступны не только программные пакеты, но и непосредственно интегрированные в них ресурсы с наборами данных экспериментов.
Нельзя не отметить и то, что миниатюризация элементной базы, энергоэффективность решений позволили создать носимые гарнитуры для ИМК, доступные в потребительском сегменте, что привело к шаблонизации проектирования и процесса разработки программного обеспечения таких ИМК. Особенно эта шаблонизация ярко проявляется в условиях, когда используется интеграция с облачными сервисами как самих поставщиков решений, так и сторонних провайдеров Google, Microsoft, Amazon, Yandex и других.
По данным аналитических обзоров, в мире около сотни высокотехнологичных компаний занимается разработкой ИМК, есть такие компании и в России. Значительными темпами растет рынок инновационных устройств для медицины и здорового образа жизни. В связи с этим возникает значительный спрос на специалистов, способных применять современные методы обработки биомедицинских сигналов и методы машинного обучения, в том числе распознавания образов и визуализации. Помимо владения «математикой» требуются навыки по выстраиванию масштабируемых и оптимальных каркасов для программного обеспечения инновационных продуктов медицинского назначения, в том числе в условиях одновременного использования биофизических сигналов различной природы — так называемых мультимодальных сигналов.
6
Глава 1. Цели применения и классификация ИМК
Ускорение ритма жизни, усложнение техносферы, повышение требований к когнитивной сфере постоянно создают новые вызовы для ученых в области нейронаук. Повсеместное внедрение ИТ-техноло- гии влечет за собой увеличение уровня сенсорной нагрузки на человека, а следовательно, увеличение уровня стресса. Возрастает важность поддержания своего когнитивного статуса для продления активного жизненного периода. В связи с этим актуальным является изучение нейрофизиологических процессов, лежащих в основе работы головного мозга, и связанных с ними нарушений. Как результат, активно развиваются средства обмена информацией между мозгом и электронными устройствами, получившие название «нейроинтерфейсы» (Brain-computer interface (BCI), интерфейс мозг-компьютер (ИМК) (рис. 1), нейрокомпьютерный интерфейс (НКИ), интерфейс нейронного управления (ИНУ), прямой нейронный интерфейс (ПНИ), интерфейс мозг-машина (ИММ). В общем смысле это система прямой связи между мозгом и внешним устройством [1].
Рис. 1. Схематичное представление работы интерфейса мозг-компьютер
7
Глава 1. Цели применения и классификация ИМК
Первое определение мозг-компьютерного интерфейса было дано Жаком Видалем в 1970 году как системы, позволяющей получать детальную информацию о функциях головного мозга.
Выделяют одно- и двунаправленные нейроинтерфейсы. В однонаправленных нейроинтерфейсах внешние устройства могут либо принимать сигналы от мозга, либо посылать ему сигналы (например, имитируя сетчатку глаза при восстановлении зрения электронным имплантатом). Двунаправленный нейроинтерфейс позволяют мозгу и внешним устройствам обмениваться информацией в обоих направлениях.
Современные технологии микроэлектроники позволяют создавать двунаправленные интерфейсы для обмена информацией с внешним устройством. В основе нейрокомпьютерного интерфейса часто используется метод биологической обратной связи.
Одновременная регистрация сигналов различной физической природы позволяет получить важную информацию о функциях головного мозга, состоянии центральной нервной системы и психофизическом состоянии человека. В этом случае речь идет о мультимодальных интерфейсах.
Нейрокомпьютерные интерфейсы предназначены для исследования, преобразования, улучшения или восстановления когнитивных или сенсомоторных функций нервной системы человека. Существующие нейроинтерфейсы включают три этапа работы: регистрацию сигнала; обработку и интерпретацию сигнала; вывод команд на подключенное устройство.
ИМК можно применять для разных задач: улучшения обработки сенсорной информации, управления внешними устройствами, игр, восстановления двигательных и когнитивных функций у пациентов с неврологическими нарушениями.
ИМК могут быть классифицированы разными способами. По методам регистрации сигнала можно выделить инвазивные (внедряемые в тело) и неинвазивные ИМК.
Инвазивные виды ИМК имплантируются непосредственно в мозг в процессе нейрохирургической операции. Существуют однокомпонентные ИМК, которые регистрируют сигнал от одной области клеток мозга, и составные, которые регистрируют сигнал от нескольких областей. Электроды имеют разную длину — 1.5–10.0 мм [2].
Преимуществом инвазивных ИМК является высокое качество получаемого сигнала. Недостатки их связаны с рисками внедрения элек- трода—послеоперационными осложнениями (инфекции, образование
8