ВОПРОСЫ ЯЗЫКОЗНАНИЯ
№ 6 2011
© 2011 г. А.А. КАРПОВ
КОМПЬЮТЕРНЫЙ АНАЛИЗ И СИНТЕЗ РУССКОГО ЖЕСТОВОГО ЯЗЫКА
В статье описываются характеристики жестового языка, используемого в коммуникации с неслышащими людьми, даны его подтипы и функции, приведен анализ особенностей русского жестового языка и его отличий от иных жестовых языков мира, кратко описаны свойства его лексических элементов. Также приводится аналитический обзор компьютерных средств обработки жестового языка, в том числе систем жестовой нотации и существующих в мире систем жестового синтеза и преобразования «текст-в-жесты». Предложена идея создания универсальной многомодальной системы аудиовизуального синтеза звучащей и жестовой речи по тексту на русском языке.
ВВЕДЕНИЕ
Жестовый язык (ЖЯ) является одним из основных способов межчеловеческой коммуникации, в котором для передачи информации используются различные кинетические средства: жесты рук, мимика, артикуляция губ. Согласно общепринятому определению, «жест» (от лат. gestus 'движение тела') - это некоторое действие или движение человеческого тела или его части (например, рук или головы), имеющее определенное значение в конкретной ситуации. Например, жестом головой является утвердительный кивок, отрицательное покачивание, наклон головы при приветствии и т. д., причем у разных народов такие распространенные жесты могут иметь различные толкования, иногда даже полностью противоположные. Многие жесты выполняют функцию целого высказывания: указание пальцем или рукой на некоторый объект, улыбка, рукопожатие, воздушный поцелуй. Однако совокупность всех этих жестов не составляет самостоятельную коммуникативную систему, оставаясь вспомогательным компонентом вербального языка. О языке жестов можно говорить только в том случае, когда жесты являются основным способом коммуникации.
В настоящее время жестовые языки известны как средство коммуникации людей с нарушениями речи и слуха. ЖЯ является вторым государственным языком межчеловеческого общения в США, Финляндии, Испании и др., что закреплено конституцией этих стран. В России ЖЯ до сих пор официально не признан национальным языком общения, хотя дискуссии об этом идут в связи с присоединением России в сентябре 2008 г. к Конвенции ООН о правах инвалидов, в которой ЖЯ отводится важная роль по обеспечению доступности информации и равных возможностей для людей с нарушениями слуха.
* Данное исследование проводится при поддержке Совета по грантам Президента РФ (проект МК64898.2010.8), Министерства образования и науки РФ в рамках ФЦП «Кадры» (госконтракт 14.740.11.0357), а также Комитета по науке и высшей школе Правительства Санкт-Петербурга.
1. ОСНОВНЫЕ ХАРАКТЕРИСТИКИ РУССКОГО ЖЕСТОВОГО ЯЗЫКА
Основным способом межчеловеческой коммуникации в среде глухих людей является национальный жестовый язык, в котором каждому понятию (или группе синонимичных понятий) соответствует определенный уникальный жестовый эквивалент. Не существует одного универсального ЖЯ, они различны в разных странах, так как возникают и развиваются естественным путем в разных локальных сообществах и изменяются со временем в связи с появлением новой лексики. ЖЯ состоит из разных знаковых систем, совмещая в себе язык неслышащих людей и жесты, используемые в обществе в целом. На рисунке 1 приводятся примеры жестов из разных ЖЯ, обозначающие одно и то же понятие - «СТОП» (остановка, завершение). Здесь показаны финальные статические стадии выполнения данных жестов, так как сам жест выполняется в динамике. Это понятие в РЖЯ (русском жестовом языке) изображается как остановка некоторого механизма поворотом умозрительного рычага в направлении от диктора. В других ЖЯ это понятие может, например, показываться как установка определенного заграждения (стены или шлагбаума) одной или двумя руками.
Очевидно, что различия в ЖЯ вызывают трудности как при экспертном переводе с языка на язык, так и при разработке автоматических компьютерных систем обработки и синтеза ЖЯ. Анализ показывает, что лишь менее 30 % наиболее распространенных жестов являются одинаковыми для разных ЖЯ, это в основном простые жесты, указывающие на объекты в поле зрения человека («Я», «ТЫ», «ГОЛОВА», «НОС» и т. д.), тогда как жесты для абстрактных понятий зависят от национальных и культурных особенностей. Производились попытки создать универсальный ЖЯ, например, «Жестуно» - это ЖЯ, сконструированный специально для общения неслышащих из разных стран мира [Гейльман 1980] и являющийся фактически аналогом эсперанто. Этот язык обладает своей собственной грамматикой и словарем, однако широкого распространения за границами России он не получил.
Помимо ЖЯ глухие люди в своем общении используют две иные коммуникационные системы, которые сами по себе полноценными и самостоятельными языками не являются: дактильную азбуку и калькирующую жестовую речь. Дактильная азбука служит для жестовой передачи букв алфавита посредством пальцев рук. В силу специфики передаваемого материала, она используется не как основное средство коммуникации неслышащих людей, а как важный вспомогательный инструмент. В том случае, если говорящий не знает жеста для какого-либо понятия или ему необходимо передать точное звучание некоторого слова, он прибегает к дактильной азбуке, которая используется также для передачи различных имен собственных, аббревиатур, редко встречающихся слов, слов иностранного происхождения. Можно выделить характерные отличия русской дактильной азбуки от, например, британской: 1) все 33 буквы русского алфавита показываются одной рукой, а буквы британского - двумя руками; 2) ряд букв русской азбуки отображается посредством динамических жестов, в то время как жесты британ-
Рис. 1. Жесты, означающие понятие «СТОП» в различных ЖЯ мира (слева направо: русский, британский, французский, испанский и чешский языки) [ЭР1]
ской азбуки статические; 3) конфигурации кисти и пальцев рук в русском дактильном алфавите более сложны. Большинство стран имеет свою оригинальную дактильную азбуку, зависящую от социокультурных особенностей народов, причем одноручные азбуки (в Германии, Франции, США, Китае, Индии и др.) преобладают в мире над двуручными (в Великобритании, Турции, Чехии, Новой Зеландии и др.) [ЭР2].
Калькирующая жестовая речь (КЖР) является иным способом передачи письменного или устного языка в среде глухих. «Калькирующая жестовая речь» (данный термин предложен Г.Л. Зайцевой) представляет собой систему жестов, предназначенную для визуального воспроизведения (калькирования) устной речи. При этом жесты выступают как эквиваленты слов, а порядок их следования аналогичен расположению в предложении, жестам в КЖЯ соответствуют слова в начальной форме. При использовании КЖР дополняется жестами из дактильного алфавита, применяемыми для показа неизвестных человеку жестов-слов или для слов, пока не имеющих аналогов в жестовом словаре, различных аббревиатур и др. КЖЯ не имеет собственной грамматики, а копирует структуру общепринятого письменного и устного языка, поэтому является вторичной знаковой системой [Зайцева 2000]. В лексике КЖР выделяются два основных класса жестов: 1) жесты, заимствованные из разговорного РЖЯ (например, «ЖЕНЩИНА», «ШКОЛА»), которые составляют подавляющее большинство в КЖР; 2) жесты, существующие исключительно в КЖР, которые в свою очередь подразделяются на три подкласса: а) собственно слова-жесты («ДИСКРИМИНАЦИЯ»); б) слова русского языка, воспроизводимые с помощью дактилологии («К-И-Б-Е-Р-Н-Е-Т-И-К-А»); в) слова, включающие жест РЖЯ и несколько букв из дактильного алфавита («ЧТО-Б-Ы»). Основное функциональное назначение КЖР состоит в использовании в ситуациях «официального» общения, тогда как РЖЯ является разговорным языком бытовой коммуникации в среде неслышащих людей [Пенин 2005]. Также КЖР весьма удобна для сопровождения фильмов и телепередач; так, в некоторых странах, например в Турции, теленовости дублируются сурдопереводчиками исключительно с помощью КЖР с некоторыми упрощениями [Aran et al., 2008].
2. ИНФОРМАЦИОННЫЕ ЛЕКСИЧЕСКИЕ РЕСУРСЫ РЖЯ
Исторически РЖЯ происходит от французского ЖЯ и относится к французской семье ЖЯ, куда входят также американский (так называемый Амслен ASL), ирландский, нидерландский, испанский, мексиканский, бразильский и некоторые другие национальные ЖЯ. РЖЯ, помимо французского наследия, также имеет определенный пласт лексики из немецкого и австрийского ЖЯ, вследствие чего лексика РЖЯ близка многим жестовым языкам мира. Однако как и другие ЖЯ, РЖЯ имеет много слов, заимствованных из национального звучащего языка или трансформировавшихся под его влиянием. Жесты для некоторых понятий основаны на дактилировании букв, с которых начинаются эти слова в русском языке, и, следовательно, эти жесты уникальны для РЖЯ. В республиках бывшего СССР РЖЯ распространялся через создание школ для глухих. В результате сформировалось несколько схожих друг с другом «диалектов» РЖЯ1. В последние годы наиболее активные научные исследования диалектов русского жесто-вого языка проводились в МГПУ под руководством А.А. Комаровой.
Существование различных диалектов РЖЯ, различающихся в основном лексикой, является определенной трудностью для неслышаших людей и сурдопереводчиков, возникают проблемы при переводе и понимании жестовой речи дикторов из других регионов и стран СНГ. Значительные проблемы встают и перед разработчиками компьютерных систем и мультимедийных обучающих словарей ЖЯ. На рисунке 2 представлено разнообразие жестов, означающих понятие «ОДИН» (цифра), взятых из различных словарей РЖЯ (пяти мультимедийных словарей и печатного). Можно отметить три основных и отличных друг от друга варианта жестикуляции для данной цифры, принятые
1 Википедия http://ru.wikipedia.org, статья «Русский жестовый язык».
в разных локальных обществах глухих в России. Зачастую члены одного общества не приемлют жесты, принятые в другом сообществе, хотя многие из них интуитивно понятны. Сейчас в России доступно несколько печатных книг и электронных ресурсов и обучающих систем, содержащих словари РЖЯ. Среди существующих мультимедийных компьютерных систем можн
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.