ЖУРНАЛ ВЫСШЕЙ НЕРВНОЙ ДЕЯТЕЛЬНОСТИ, 2014, том 64, № 1, с. 32-40
ФИЗИОЛОГИЯ ВЫСШЕЙ НЕРВНОЙ (ПСИХИЧЕСКОЙ) ДЕЯТЕЛЬНОСТИ ЧЕЛОВЕКА
УДК 612.821.2,612.821.8,617.3
ИНТЕРФЕЙС МОЗГ-КОМПЬЮТЕР НА ОСНОВЕ ВОЛНЫ P300: ПРЕДЪЯВЛЕНИЕ КОМПЛЕКСНЫХ СТИМУЛОВ "ПОДСВЕТКА + ДВИЖЕНИЕ"
© 2014 г. И. П. Ганин1, 2, А. Я. Каплан1
1Московский государственный университет имени М. В. Ломоносова, 2Российский национальный исследовательский медицинский университет имени Н. И. Пирогова, Москва,
e-mail: akaplan@mail.ru Поступила в редакцию 04.04.2013 г.
Принята в печать 26.09.2013 г.
В основе работы интерфейса мозг-компьютер "на волне P300" лежит анализ когнитивной волны P300 потенциалов мозга, связанных с событиями. Большинство пользователей ИМК-Р300 могут освоить управление в течение нескольких минут и после быстрой настройки классификатора вводить текст на экране компьютера или собирать изображение из отдельных фрагментов в простейших ИМК-играх. Однако тесному интегрированию ИМК-Р300 в управление реальными информационными процессами мешает его недостаточная эргономичность и консервативная организация подачи стимулов. В то же время было известно, что стартовое движение объекта является самостоятельным фактором, вызывающим Р300. В настоящей работе проверялась гипотеза о том, что комплексные стимулы "подсветка + движение" вместе с более радикальным и компактным форматом размещения их на экране компьютера могут оказаться более привлекательными для пользователя при работе в контуре ИМК-Р300. В исследовании на 20 испытуемых мы продемонстрировали эффективность разработанного интерфейса. Точность работы, а также амплитуда волны P300 при использовании стимулов-подсветок и комплексных стимулов "подсветка + движение" были выше, чем при использовании начала движения в качестве стимула. Амплитуда компонента N200 была максимальна в режиме с подсветками, а в режимах со стимулами "подсветка + движение" и с движением его амплитуда была примерно вдвое ниже. Подобный ИМК с комплексными стимулами может быть встроен в компактные системы управления, где от пользователя требуется повышенный уровень внимания в условиях негативных эффектов внешней среды, затрудняющих управление.
Ключевые слова: интерфейс мозг-компьютер, потенциалы, связанные с событиями, волна P300, компонент N200, начало движения как стимул.
The P300-Based Brain-Computer Interface: Presentation of the Complex "Flash + Movement" Stimuli
I. P. Ganin, A. Ya. Kaplan
Lomonosov Moscow State University, Pirogov Russian State Medical University, Moscow, e-mail: akaplan@mail.ru
The P300based brain-computer interface requires the detection of P300wave of brain event-related potentials. Most of its users learn the BCI control in several minutes and after the short classifier training they can type a text on the computer screen or assemble an image of separate fragments in simple BCI-based video games. Nevertheless, insufficient attractiveness for users and conservative stimuli organization in this BCI may restrict its integration into real information processes control. At the same time initial movement of object (motion-onset stimuli) may be an independent factor that induces P300wave. In current work we checked the hypothesis that complex "flash + movement" stimuli together with drastic and compact stimuli organization on the computer screen may be much more attractive for user while operating in P300 BCI. In 20 subjects research we showed the effectiveness of our interface. Both accuracy and P300amplitude were higher for flashing stimuli and complex "flash + movement" stimuli com-
pared to motion-onset stimuli. N200 amplitude was maximal for flashing stimuli, while for "flash + movement" stimuli and motion-onset stimuli it was only a half of it. Similar BCI with complex stimuli may be embedded into compact control systems requiring high level of user attention under impact of negative external effects obstructing the BCI control.
Keywords: brain-computer interface, event-related potentials, P300 wave, N200 wave, motion-onset stimuli. DOI: 10.7868/S0044467714010067
Возможность использования показателей ЭЭГ в качестве командных сигналов для создания контуров управления внешними исполнительными устройствами от курсора на компьютерном мониторе до буквопечатающих и робототехнических устройств в настоящее время не вызывает сомнений [Kaplan etal., 2005; Kaplan et al., 2013; Wolpaw et al., 2002]. Становятся очевидными и возможные области применения интерфейсов мозг-компьютер (ИМК) в различных сферах жизни и деятельности человека: для помощи пациентам с фатальными нарушениями двигательной системы [Kleih et al., 2011; Sellers et al., 2010; Wolpaw et al., 2002], в реабилитационной медицине для восстановления временно нарушенных двигательных функций у человека, например после инсульта [Do et al., 2012], для тренажеров способности концентрации внимания и контроля двигательной активности [Blankertz et al., 2010], для расширения манипуляторных функций здорового человека и при ампутациях конечностей [Blankertz et al., 2010; Nicolelis, 2003], наконец, для встраивания в индустриальные системы управления технологическими и информационными процессами.
Существует несколько подходов для разработки ИМК, среди которых одним из наиболее надежных по скорости и точности управления является так называемый ИМК на "волне P300", или ИМК-Р300 [Farwell, Donchin, 1988]. В основу работы ИМК-Р300 положен анализ когнитивного компонента потенциалов мозга, волны P300, которая имеет тенденцию к увеличению при предъявлении ожидаемого оператором стимула в ряду незначимых стимулов. Подобный "негласный" выбор оператора того или иного стимула-символа, детектируемый по Р300, можно транслировать как командный сигнал к заранее обусловленному этим символом исполнительному механизму. В ИМК-Р300 весь набор команд-символов, доступных оператору, обычно располагается на экране компьютера в виде пульта или виртуальной клавиатуры
[Каплан и др., 2013; Farwell, Donchin, 1988; Rebsamen et al., 2010]. Таким образом, в контуре ИМК-Р300 оператор может выбрать к исполнению ту или иную команду простым фокусированием внимания на нужном символе. При этом ИМК-распознавание сделанного человеком выбора основывается на сравнении реакций мозга на разные стимулы: более высокая амплитуда волны P300 [Ганин и др., 2012; Каплан и др., 2013; Михайлова и др., 2008; Farwell, Donchin, 1988; Mak et al., 2011; Wolpaw et al., 2002] на определенный стимул указывает на то, что именно он находится в центре внимания пользователя и является для него целевым или командным на данный момент. В последние годы, в том числе и в нашей лаборатории, показано, что значительный вклад в детектирование фокуса внимания человека могут вносить и другие компоненты потенциалов, связанных с событиями (ПСС), например компонент N200 [Ганин и др., 2012; Каплан и др., 2013; Bianchi etal., 2010; Kaufmann et al., 2011; Krusienski et al., 2008; Shishkin et al., 2009], учет которых еще более повышает эффективность ИМК-Р300.
Однако внедрение ИМК-Р300 в реальную практику пока сдерживается недостаточной эргономичностью пользовательского интерфейса ИМК-Р300. В частности, отсутствие средств автоматического привлечения внимания к предъявляемым в контуре ИМК стимулов делает его незащищенным от внешнего фона неконтролируемых стимулов, а расположение символов в форме регулярной матрицы заранее определяет частичное смешение целевых и нецелевых стимулов в корковых ответах; и наконец, матричное предъявление символов ограничивает возможности предъявления стимулов на компактных средствах отображения.
Между тем ранее было показано, что для получения волны P300 возможно предъявлять зрительные стимулы не только посредством увеличения их яркости, но и кратковременным их перемещением в поле зрения
Рис. 1. Экран интерфейса мозг-компьютер "на волне P300" с комплексными стимулами "подсветка + движение". На представленном примере стимул в верхней левой части экрана находится в "активированном" положении (подсвечен и находится в движении). Рамкой схематично показано только квадратное поле размером 7.4 х 7.4 град (реальный цвет в RGB-кодировке: 148, 178, 214), располагавшееся в центре экрана компьютера размером 23.6 х х 18.9 град (RGB-кодировка: 25, 25, 25). Fig. 1. The display of the P300-based brain-computer interface with complex "Flash + Movement" stimuli. The stimulus at the top left part of the screen is 'activated' (flashing and moving) here. The frame represents the square field (7.4 х х 7.4 deg., RGB-codes of the color: 148, 178, 214) in the middle of the screen (23.6 х 18.9 deg., RGB-codes: 25, 25, 25).
[Guo et al., 2008; Jin et al., 2012; Roser et al., 2009; Salvaris et al., 2009]. Кроме того, известны отдельные попытки создания нейроин-терфейсов с такими стимулами [Jin et al., 2012; Liu et al., 2010]. Предъявление стимулов на движущихся объектах может быть одним из путей повышения вовлеченности оператора в процесс управления, способствуя поддержанию внимания, что важно при длительном монотонном управлении в ИМК [Kaplan et al., 2013]. Кроме того, в определенных условиях слежение за движущимися объектами может быть менее утомительной задачей для зрительной системы, чем слежение за статичными объектами управления; в последнем случае для предотвращения утомления на сетчатке должны активироваться механизмы компенсации, включающие микро-саккады (см. обзор [Engbert, Mergenthaler, 2006]). Руководствуясь этой логикой, мы предположили, что движение, используемое в качестве самостоятельного стимула, также может при определенном дизайне ИМК быть более эффективным по сравнению с другими типами стимуляции. Поэтому первой целью
настоящей работы было исследование возможности создания ИМК-Р300 на основе предъявления комплексных стимулов "подсветка + движение" с целью увеличения их привлекательности для пользователя и большей защищенности ИМК от неконтролируемых простых стимулов внешней среды. Второй целью работы было создание нового компактного формата размещения комплексных стимулов-символов на экране компьютера.
МЕТОДИКА
В
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.