5 курс / ОЗИЗО Общественное здоровье и здравоохранение / Проектирование_мультимодальных_интерфейсов_мозг_компьютер

ИМК на базе сенсомоторных ритмов

picks = pick_types(raw.info, meg=False, eeg=True, stim=False, eog=False,

exclude='bads')

#Чтение эпох на интервале от –1 с. до 4 с.

#В дальнейшем для тестирования будет использоваться классификатор

epochs = Epochs(raw, events, event_id, tmin, tmax, proj=True, picks=picks,

baseline=None, preload=True) epochs_train = epochs.copy().crop(tmin=1., tmax=2.) labels = epochs.events[:, –1]

#%%

#Классификация с использованием LDA и получение топо грамм

#Определяем генератор Монте-­Карло для валидации scores = []

epochs_data = epochs.get_data() epochs_data_train = epochs_train.get_data()

cv = ShuffleSplit(10, test_size=0.2, random_state=42) cv_split = cv.split(epochs_data_train)

#Создаем объект классификатора

lda = LinearDiscriminantAnalysis()

# Создаем объект CSP

csp = CSP(n_components=1, reg=None, log=True, norm_ trace=False)

#Создаем конвейер (pipelain) для классификации и вали дации

clf = Pipeline([('CSP', csp), ('LDA', lda)])

scores = cross_val_score(clf, epochs_data_train, labels, cv=cv, n_jobs=None)

#Выполняем подгонку и преобразование данных

csp.fit_transform(epochs_data, labels)

# Заменяем коэффициенты фильтра на их абсолютные значе ния

csp.filters_=abs(csp.filters_) csp.plot_filters(epochs.info, ch_type='eeg', units='Ко

эф.-ты', show_names=True, size=1.5, colorbar=False, name_ format='Правая рука')

На рис. 38 представлены топомапы для абсолютных значений фильтров первой компоненты преобразования csp. Фильтр — строка матрицы W (см. формулу (2)). В приведенном примере W содержит 64

69

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 4. Извлечение значений признаков для различных типов ИМК

строки, однако лишь несколько первых и последних строки используются для формирования признакового пространства. В нашем случае мы использовали первую строку матрицы W. Для просмотра всей матрицы используется код csp.fi lters_.Т.

Рис. 38. Абсолютное значение коэффициентов пространственных фильтров первой компоненты для движения левой и правой рукой по сравнению с состоянием функционального покоя

У разных людей топомапы движения руками могут достаточно сильно отличаться, в том числе за счет охвата областей вдали от датчиков С3 и С4. Связано это может быть, например, с расположением диполя в складке извилины, как на рис. 34 (б). Обращаем внимание на то, что на топомапах (см. рис. 38) отображены не усредненные данные эпох, а абсолютные значения коэффициентов, их пространственная связь с каналами ЭЭГ.

Феномен синхронизации-десинхронизации связан не только с расположением электродов, но и с частотной локализацией изменений. В рассмотренном примере мы выбрали полосу частот 7–30 Гц. Для получения более информативного вектора признаков необходимо оценить качество классификации для набора частот. Примером тому может служить метод с использованием набора фильтров Filter Bank CSP (FBCSP) [63](рис. 39).

Если в нашем примере мы рассматривали преобразование CSP на данных мощности сигнала в каналах ЭЭГ для полосы частот 7–30 Гц, то в упомянутом методе на первом этапе формируется несколько наборов сигналов ЭЭГ для каждого фильтра шириной 4 Гц, начиная с 8 Гц и заканчивая 40 Гц. Такой подход позволяет учесть особенности

70

ИМК на базе вызванных потенциалов

не только пространственной локализации, но и реализации эффекта синхронизации-­десинхронизации у конкретного человека в специфичном для него диапазоне частот.

Рис. 39. Схема метода FBCSP

МногократноеповторениепроцедурыCSPприводитк значительному росту признакового пространства. В итоге на третьем этапе (см. рис. 39) мы находим информативную подсистему признаков с использованием алгоритмов, вычисляющих взаимную информацию (MI) между двумя случайными величинами: исходными данными, определенными через i-й набор признаков, и множеством классов обучающей выборки. Задача таких алгоритмов — максимизация взаимной информации между двумя случайными величинами.

ИМК на базе вызванных потенциалов

Вызванными потенциалами (ВП или EP) называются биоэлектрические сигналы, которые появляются с постоянными временными интервалами после определенных внешних воздействий.

Кратко опишем типы вызванных потенциалов [64; 36] (рис. 40). Зрительный вызванный потенциал (SSVEP) представляет собой

электрические сигналы, генерируемые зрительной корой в ответ на визуальную стимуляцию: вспышку света, появление изображения, внезапное изменение цвета, внезапное изменение паттерна изображения. Регистрируется с затылочных электродов.

71

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 4. Извлечение значений признаков для различных типов ИМК

Вызванный потенциал

(Evoked Potential)

Рис. 40. Вызванные потенциалы

Можновыделитьтриподходак построениюИМКна базеSSVEP[65]: частотное разделение стимулов, временное разделение стимулов, использование псевдослучайных бинарных последовательностей.

При частотном разделении стимулов, на экране присутствует несколько объектов, мерцающих с разной частотой. Когда человек смотрит на один из них, на затылочной зоне регистрируется сигнал с той же частотой.

При временном разделении стимулов, появление объекта, изменение его паттерна или яркости соотносится с изменением сигналов ЭЭГ в момент воздействия. При временном разделении требуется реализация синхронного типа ИМК.

Псевдослучайные бинарные последовательности используются для кодирования изменений изображения в соответствии со специальной бинарной последовательностью, так называемой М-последова- тельностью. Они декадируются через накопление и анализ изменений сигнала ЭЭГ.

Хотелось бы отметить, что SSVEP является перспективным паттерном для построения ИМК. Среди его сильных сторон отмечаются: минимальные потребности в обучении человека и адаптации ИМК, явная фокусировка на стимуле (объект на экране, например).

Слуховые вызванные потенциалы (SSAEP, ASSEP) могут использоваться для отслеживания сигнала, генерируемого звуковой волной, по восходящему слуховому пути. Вызванный потенциал генерируется в улитке, проходит через кохлеарный нерв, кохлеарное ядро, верхний оливковый комплекс, латеральный лемнискус к нижнему колли-

72

ИМК на базе вызванных потенциалов

кулюсу в среднем мозге, к срединному коленчатому телу и, наконец, к коре головного мозга. Слуховой вызванный потенциал представляет собой очень малые потенциалы электрического напряжения, исходящие из мозга, которые регистрируются на коже головы в ответ на слуховой раздражитель, такой как различные тоны, речевые звуки и другое.

Рассмотрим пример реализации ИМК с использованием ASSEP [66]. Субъекты слышали чистые тона от двух разные источников. Один источник включается и выключается с частотой 37 Гц, другой — 43 Гц. Частотный спектр ASSEP зависел от того, на какой стимул обращал внимание пользователь. Хотя точность и скорость этих двух невизуальных стационарных ИМК на основе вызванных потенциалов были низкие по сравнению с большинством других ИМК, они представляли собой первоначальные исследовательские усилия, и существует множество возможных вариантов улучшения их работы. Эти невизуальные ИМК могут обеспечивать взаимодействие с внешней средой для пользователей с сильно ослабленным зрением и, возможно, также для здоровья пользователей, чье зрение занято другими задачами (например, вождением, просмотром фильма или при одновременном использованием другого типа ИМК). Также результаты работ по исследованию ASSEP применяются при реализации речевых ИМК [67].

Соматосенсорные вызванные потенциалы (SSSEP) — это ВП, регистрируемые в головном или спинном мозге при повторной стимуляции периферических нервов. Соматосенсорные вызванные потенциалы используются в нейромониторинге для оценки функции спинного мозга пациента во время операции. Они регистрируются путем стимуляции чаще всего большеберцового нерва, срединного нерва или локтевого нерва обычно с помощью электрического стимула. Ответ затем записывается с кожи головы пациента. В приложениях ИМК SSSEP обнаруживается как реакция мозга на вибрационную стимуляцию, воздействующую на тело пользователя (ладонь, запястье, пальцы рук и ног). Например, электроды, расположенные в зонах C3, C4, Cz, могут использоваться для обнаружения реакции мозга на вибрацию с определенной частотой, приложенную к пальцам правой или левой руки или ноги соответственно.

Изучались ИМК на основе SSSEP для управления креслом-­ коляской или распознавания задач. ИМК на основе SSSEP могут снизить утомляемость, обычно вызываемую зрительным вниманием. Они

73

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 4. Извлечение значений признаков для различных типов ИМК

используются в качестве средств связи, предназначенных для «закрытых» пациентов.

Отдельный тип сигналов — потенциалы, вызванные событием (ERP). Такие потенциалы формируется в ответ на двигательное, сенсорное или когнитивное явление. Наиболее известным примером когнитивного вызванного потенциала является P300.

Потенциал P300 представляет собой компонент, связанный с событиями, возникающими в процессе принятия решений. Он считается эндогенным потенциалом, поскольку его появление связано не с физическими атрибутами стимула, а с реакцией человека на него [62].

Обычно потенциал P300 вызывается, если выполняются четыре условия:

‒должна быть представлена случайная последовательность событий стимула;

‒необходимо применять правило классификации, разделяющее серию событий на две категории;

‒задача пользователя должна требовать использования правила;

‒одна категория событий должна представляться реже других. Пространственное распределение амплитуды потенциала P300 сим-

метрично относительно центрального электрода. Он является самым большим на участках электродов и ослаблен, поскольку места записи перемещаются в центральные и лобные.

Типичный ответ P300 имеет во времени ширину 150–200 мс и треугольную форму. Пиковый потенциал Р300 обычно составляет 2–5 мкВ, что меньше фоновой активности мозга. Таким образом, коэффициент сигнал – шум P300 является низким и обычно усиливается путем усреднения по нескольким ответам [62].

Рис. 41. Модель обновления контекста P300

74

ИМК на базе вызванных потенциалов

В блок-схеме модели обновления контекста P300 (см. рис. 41) стимулывходятв системуобработкии задействованпроцесссравненияпамяти, который определяет, является ли текущий стимул тем же, что и предыдущий, или нет. В этой структуре компонента P300 индексирует деятельность мозга, лежащую в основе пересмотра ментального представления, вызванного входными раздражителями. После начальной сенсорной обработки, ориентированный на результат процесс сравнения оценивает представление предыдущего события в рабочей памяти процесс, отличный от двигательного, хотя он связан с обнаружением рассогласования признаков сенсорного стимула. Если никакого изменения атрибута стимула не обнаружено, то текущая ментальная модель или схема контекста стимула сохраняется и регистрируются только сенсорные визуальные вызванные потенциалы SSVEP (N100, P200, N200). Если обнаружен новый стимул, процессы внимания регулируют изменение или «обновление» представления стимула, которое сопутствует P300.

Хотя основные свойства­ вызванных потенциалов Р300 являются одинаковыми для всех людей, задержка, ширина и пространственная структура отклика являются уникальными для каждого человека. Рассмотрим пример формирования признакового пространства для P300.

Особенностью потенциала P300 является то, что он локализуется во временно́й области. Методы пространственной и частотной фильтрации не применяются для формирования и поиска информативной подсистемы признаков.

Для улучшения соотношения сигнал – шум применяется метод XDAWN. Это метод чем то похож на метод независимых компонент (ICA). Основным его отличием является то, компоненты выделяются с учетом информации о принадлежности эпох к классу.

Далее рассмотрим формирование признакового пространства и классификацию на примера набора данных проекта BNCI [56]. Данные доступны через подключение библиотеки Python MOABB [68].

import warnings

from mne import (compute_covariance) from mne.viz import plot_epochs_image from mne.preprocessing import Xdawn import moabb

from moabb.analysis.meta_analysis import (# noqa: E501 compute_dataset_statistics, find_significant_differences,

)

75

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 4. Извлечение значений признаков для различных типов ИМК

from moabb.datasets import BNCI2014009 from moabb.paradigms import P300 dataset = BNCI2014009()

dataset.subject_list = dataset.subject_list[:3] datasets = [dataset]

paradigm = P300()

Выполнение этого кода приведет к загрузке данных и созданию объекта класса P300. Объект данного класса позволит применять методы и форматы данных, совместимые с MNE-Python. Набор данных содержит записи экспериментов, 10 испытуемых.

Испытуемые работали с матрицей 6х6, классическим спеллером и ожидали появления символа, который им давали в подсказке. При появлении в спеллере символа с подсказки, регистрировалось событие Target, в противном случае — NonTarget.

Потенциалы ЭЭГ скальпа измеряли с помощью 16 электродов Ag/AgCl, которые покрывали левую, правую и центральную часть головы (Fz, FCz, Cz, CPz, Pz, Oz, F3, F4, C3, C4, CP3, CP4, P3, P4, PO7, PO8) по стандарту 10-10. В качестве референтного электрода использовался электрод, подсоединенный к мочкам уха и правому сосцевидному отростку. ЭЭГ регистрировали на частоте 256 Гц, отфильтровывали через фильтр верхних и нижних частот с частотой среза 0.1 и 20 Гц соответственно.

Каждый испытуемый участвовал в 4 сеансах записи. Во время каждого сеанса испытуемый выполнял по 3 прогона с каждым из интерфейсов стимуляции.

Далее загрузим данные для 2 го испытуемого и создадим объекты эпох, построим для состояния Target диаграммы до применения XDAWN.

subject_list = [2]

epochs, labels, meta = paradigm.get_ data(dataset=dataset, subjects=subject_list, return_ epochs=True)

epochs_target = epochs['Target'] epochs_target_av = epochs['Target'].average()

epochs_target_av.plot_joint(times=[.06,.095,.2,.33]) epochs_target.plot_image(combine='mean')

На рис. 42 представлены усредненные значения эпох по каналам. Представлены топограммы для трех моментов времени. Первые две топограммы связаны со SSVEP-потенциалами. Топограмма для

76

ИМК на базе вызванных потенциалов

момента времени 0.330 с соответствует когнитивно вызванному потенциалу, связанному с событием P300.

На диаграмме представлены данные для события Target, когда испытуемому на спеллере был показан символ, соответствующий подсказке.

Рис. 42. Усредненные по каналам данные эпох для Target

На тепловой карте (рис. 43) представлены данные 288 эпох для события Target. Ниже показан фрагмент кода, в котором мы ограничили временной интервал промежутком 150–500 мс для фокусировки на потенциале P300.

t1, t2 = .15,.5 epochs_crop = epochs.copy()

epochs_crop = epochs_crop.crop(tmin=t1, tmax=t2) epochs_crop_target = epochs_crop['Target']

fi g=epochs_crop_target.plot_image(combine='mean')

Слева и справа от показателя 300 мс заметен шум (рис. 43). Применим метод xDAWN для уменьшения шума. xDAWN — это метод пространственной фильтрации, предназначенный для улучшения отношения сигнал – шум (SSNR) откликов ERP. xDAWN изначально был разработан для вызванного потенциала P300 путем усиления целевого ответа по сравнению с нецелевым ответом [69]. Эта реализация является обобщением для любого типа ERP. Ниже приведем код, который применяет метод xDAWN.

signal_cov = compute_covariance(epochs)

xd = Xdawn(n_components=2, signal_cov=signal_cov)

77

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 4. Извлечение значений признаков для различных типов ИМК

xd.fi t(epochs_crop_target)

epochs_denoised = xd.apply(epochs_crop_target) fi g=plot_epochs_image(epochs_denoised['Target'],

combine='mean')

а

б

Рис. 43. Тепловая карта данных эпох для Target до (а) и после (б) применения XDAWN

На рис. 43, б заметно уменьшение шумовой составляющей. Метод использует ковариационную матрицу помех, вычисленную для усло-

78