2. Петрова А.А. Мультимодальные аспекты исследования интеракции // Вестник Волгоградского государственного университета. Серия 2, Языкознание. Выпуск № 2 (8). Волгоград: Изд-во ВолГУ, 2008. С. 105-111.
3. Чернявская В.Е. Медиальный поворот в лингвистике: поликодовые и гибридные тексты // Вестник Иркутского государственного лингвистического университета. Выпуск № 2 (23). Иркутск: Изд-во ИГЛУ, 2013. С. 122-127.
4. Talk-show "Maybrit Illner" "Helden, Hoeneß, Hass und Häme - kennen wir keine Gnade mehr?", Sendung vom 29.05.2014. - URL: http://www.youtube. com/watch?v=OUXb4UioaQI. (дата обращения: 1.07.2015).
МультиМодАльность как исследовательская перспектива: методологический аспект в изучении интеракции
Петрова А.А.
Волгоградский государственный университет, г. Волгоград, Россия
В статье рассматривается комплексное междисциплинарное исследовательское направление - мультимодальность, изучающее коммуникацию в ее естественном состоянии с включением всех модальных уровней, транслирующих информацию; обсуждаются основные методологические приемы и принципы в исследованиях мультимодального события, такие как реконструкция, импликация, сукцессивность и симультан-ность; функционирование мультимодальных уровней показывается на примере немецкого политического ток-шоу.
Ключевые слова: мультимодальность; мультимодальная интеракция; конверсационный анализ; мультимодальный анализ; этнометодоло-гический метод; мультимодальные уровни взаимодействия.
MULTIMODALITY AS A RESEARCH PERSPECTIVE: METHODOLOGICAL ASPECT OF STUDYING INTERACTION
Petrova A.A.
Volgograd State University, Volgograd, Russian Federation
The article considers an integrated interdisciplinary research direction of multimodality studying communication in its natural state, including all modal levels imparting information. The main methodological techniques and principles of studying multimodal interaction, such as reconstruction, implication, successivity and simultaneity are discussed. Functioning of multimodal levels is shown by the example of the German political talk show.
Keywords: multimodality; multimodal interaction; conversation analysis; multimodal analysis; ethnomethodological method; multimodal interaction levels.
Мультимодальность как новое комплексное междисциплинарное исследовательское направление ставит своей целью изучать коммуникацию в ее естественном состоянии, учитывая все ее проявления на всех уровнях взаимодействия: вербальном, визуальном, аудиальном, тактильном, оль-факторном и т.д. - и исследует мультимодальные практики и их продукты [5, с. 1-24], выраженные в форме репрезентаций. Мультимодальные практики могут включать непосредственно мультимодальную интеракцию, в обязательном порядке хроно- и пространственно обусловленную, и дискурсивные практики и их продукты - мультимодальные тексты. Такое понимание мультимодальности требует и несколько подходов к ее осмыслению.
В некоторых отечественных социологических исследованиях, практически единичных (Т.В. Вдовина), предпринята попытка объединить социологический подход к изучению репрезентативной культуры с дис-
курсивным подходом к анализу мультимодальных текстов. Такой подход основан на том, что все элементы репрезентативной культуры становятся доступными для исследования в виде материальных репрезентаций. Данные репрезентации формируют мультимодальные тексты, в которых отражены действия социально и культурно обусловленных дискурсивных механизмов. В этом случае, на наш взгляд, возможно ошибочное сопряжение двух категорий текстов в рамках мультимодальности: мультимедийных (имеющих модусы коммуникации - письмо, изображение и т.д.) и мультимодальных (имеющих разные каналы, модули, кластеры - вербальные, визуальные, аудиальные и т.д.), что часто приводит к представлению мультимедийных изысканий в качестве мультимодальных.
Выделим еще несколько моментов, предложенных Т.В. Вдовиной [1], которые, на наш взгляд, дискуссионны при исследовании именно мульти-модальной интеракции: 1) концентрация на кросс-семиотических эффектах в исследуемом тексте; 2) применение дискурс-анализа как теоретического обоснования социальной обусловленности производства значений и их реализации в мультимодальных текстах, а также как категориального аппарата и специфических стратегий изучения этих значений.
Данное может быть верно: а) при изучении мультимодальных текстов, а не мультимодальной интеракции, в которой возможна концентрация на импликациях от мультимодального взаимодействия в интерактивном событии, а не на кросс-семиотических эффектах; б) в мультимодьной интеракции возможно лишь фрагментарное использование дискурс-анализа, вполне вероятно, что и вообще невозможно, хотя необходимо согласиться с тем, что дискурс, реализуясь через высказывания, тексты, действия людей, иначе дискурсивные события, обуславливает не только практику репрезентации, но и практику интерпретации.
Для изучения подлинной мультимодальной интеракции все же основным методом являетсяэтнометодологический, исследующий способы, при помощи которых люди производят и воспринимают элементы повседневной жизни в каждой реальной, конкретной, а не гипотетической или теоретически сконструированной ситуации. Таким образом, здесь
реализуется основной принцип этнометодологии - изучение общества в его непосредственной наблюдаемости, что становится возможным в условиях видеозаписи, которая способна предоставитьобъемную картинку, соединяющую в себе как звуковые, так и визуальные элементы. Этноме-тодология, уделяя особое внимание природе разговора, привела к выделению отдельной этнометодологической ветви - конверсационного анализа, разработанного Х. Саксом, Э. Щеглоффым, Г. Джефферсон. Этнометодо-логов интересовали базовые принципы организации разговора, которые помогают его участникам достигать межсубъективного понимания.
Следующими важными методологическими приемами в исследованиях мультимодальной интеракции являются: а) учет бинарной категориальной структуры «симультанность - сукцессивность»; б) применение метода реконструкции для понимания природы изучаемого явления; в) не интенциональность, но импликативность, т.е. изучение импликации / происходящего независимо от воли участника интерактивного события/ как объективного значения, единственного эмпирически доступного и представленного в интеракции.
Появление и развитие мультимодальной концепции интеракции (G. Jefferson, A. Kendon, L. Mondada, H. Hausendorf, H. Sacks, E.A. Schegloff, A.E. Scheflen, R. Schmitt), таким образом, связано, прежде всего, с осмыслением участия человека в коммуникативном действии. При этом коммуникативное действие как действие социальное рассматривается не только с позиции антропологической парадигмы, но и базируется на применении этнометодологического концепта с включением различных методологий в изучении механизма речевого взаимодействия индивидов, принадлежащих к разным этносам и культурам [7, с. 26-52].
Концепция мультимодальной интеракции развивает конверсационный анализ так, что вербально упорядоченные структуры не занимают более главенствующего положения в любой интерактивной деятельности, но последняя предстает как сложный комплекс модально обусловленных упорядоченных структур или интерактивных модальностей, а вербальные средства оказываются органично вписанными в данный контекст.
В соответствии с концентрацией нашего внимания на мультимодаль-ности как категории, исследующей интеракцию мульти-, а не мономодально, мы исходим из признания того, что пространство является составным элементом мультимодальной комплексности интеракции; данное логично представлено R. Schmitt в следующей таблице [Таблица 1] [6, с. 5], в которой излагается актуальное состояние исследования проблемы.
Таблица 1.
состояние исследования процессов интеракции в мультимодальной перспективе1
При изучении любого мультимодального события особое значение приобретает система транскрибирования, способная не просто регистрировать содержание речи, но и включать в запись разговора экстралингвистические элементы, такие как мимику, интонации, паузы и т.д.
Подобная методика транскрибирования мультимодального события позволит создать модель мультимодальной интеракции с несколькими,
'Пояснение к таблице: мы намеренно выделили в колонке № 3 «Raum als Ressource» - пространство как один из значимых релевантных аспектов исследования в мультимодальной интеракции.
магнитологически обусловленными, входами, включающими, в том числе, доминантные и рациональные сценарии.
Методика транскрибирования интеракции в аспекте мультимодально-сти должна фиксировать:
1. видеоряд, дающий представление о мультимодальной дименсио-нальности интеракционного пространства;
2. знаково-символический кластер/ предметы, окружающие человека в жизни;
3. пространственный кластер/ проксемика, расположение собеседников и дистанция между ними;
4. оптико-кинетический кластер/ мимика, жесты, позы, направление взгляда;
5. вербальный кластер/ речь;
6. фонационный кластер/ экстра и паралингвистика, просодия: пауза, темп речи, вокальные качества голоса;
7. тактильный кластер.
Отметим также и то, что все данные ряды и кластеры/модули развертываются в интерактивном событии симультанно и сукцессивно, так, что нельзя более утверждать, что один кластер сопровождает другой, усиливает, акцентирует, например, вербально выраженную, информацию, подкрепляя ее невербально. Более того, сам термин «невербально» уже не может быть релевантным в аспекте мультимодальности, поскольку смещает и фокусирует спектр изучения в вербальном кластере и предлагает с позиции вербальности оценивать деятельность остальных модулей события, что не может быть верным, так как вербальный модуль не может разворачиваться первым в пространственном мультимодальном взаимодействии, не может направлять деятельность, например, тактильного или оптико-кинетического кластера. Однако, симультанность предполагает, что в какой-то определенный момент все модули и ряды или часть из них действуют одновременно, создавая эффект повышенной выделен-ности или избыточной информативности. Данный эфф
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.