ПСИХОЛОГИЧЕСКИЙ ЖУРНАЛ, 2014, том 35, № 6, с. 99-113
= МЕТОДЫ И МЕТОДИКИ =
НАДЕЖНОСТЬ И ДОСТОВЕРНОСТЬ В КОНТЕНТ-АНАЛИЗЕ ТЕКСТОВ: ВЫБОР ПОКАЗАТЕЛЕЙ
© 2014 г. А. Н. Олейник*, И. П. Попова**, С. Г. Кирдина***, Т. Ю. Шаталова****
* Доктор экономических наук, PhD, ведущий научный сотрудник Центрального экономико-математического института РАН, Университет Мемориал (Канада);
e-mail: aoleynik@ mun.ca ** Кандидат социологических наук, старший научный сотрудник Института социологии РАН, ведущий научный сотрудник НИУ - Высшая школа экономики;
e-mail: irina_popova@list.ru *** Доктор социологических наук, зав. сектором Института экономики РАН;
e-mail: kirdina777@gmail.com **** преподаватель Московского государственного университета имени М.В. Ломоносова;
е-mail: shatalova-tanya@yandex.ru.
Рассматривается контент-анализ как один из методов анализа первичных текстовых данных, применяемый в психологических, социологических и других исследованиях. Обсуждаются такие показатели его надежности, как r (пи) Скотта, a (альфа) Криппендорфа, S Беннета, к (каппа) Коэна, I Перро и Лея, а также допущения, используемые при их расчетах. Показано, что данный список может быть дополнен, с одной стороны, коэффициентами корреляции между распределением качественных кодов и совместной сочетаемости слов, а с другой - между распределением качественных кодов и распределением категорий, полученных с помощью словаря, основанного на замещении. Показано, что выбор конкретного показателя надежности зависит от текста, а именно: его формата (стилистический или риторический) и типа прочтения (понимание или интерпретация). В частности, к и S представляются уместными для зависящего от конкретной точки зрения анализа, например, при прочтении риторических текстов. Представлены результаты контент-анализа 57 текстов, осуществленного четырьмя кодировщиками с помощью специализированной компьютерной программы QDA Miner.
Ключевые слова: контент-анализ, показатели надежности, корреляционный анализ, интерпретация, понимание, стилистические тексты, риторические тексты, психология чтения
Оценка любого исследования с точки зрения критериев достоверности и надежности представляет собой важный шаг в его проектировании, внедрении и распространении результатов. Соответствие между инструментарием исследования или исследовательскими данными, с одной стороны, и изучаемым явлением, с другой стороны, увеличивает его достоверность. В свою очередь, надежность зависит от стабильности инструментария исследования или его результатов во времени и/или при одновременном использовании инструментария несколькими исследователями. Существует несколько видов надежности в зависимости от занимаемой эпистемологической позиции (позитивистской или объяснительной/ин-терпретативной) и от характеристики программы исследований: основными критериями могут выступать такие виды надежности, как надежность-
стабильность, надежность-воспроизводимость и надежно сть-точно сть.
Контент-анализ является одним из методов анализа и обработки первичных данных, применяемым в целом ряде социальных наук, включая психологию. Он предназначен для описания, анализа и интерпретации смыслов, которые содержатся в текстах или изображениях. Диапазон его использования - от кодирования открытых вопросов в массовых опросах населения [42, 32] и оценки согласия между экспертами в психологических и социологических исследованиях - до создания аннотаций в лингвистике и библиографических исследованиях [23], включая подготовку обзоров научной литературы [7].
В психологии можно выделить четыре основные области применения контент-анализа [30, с. 11-12]. Во-первых, это исследование транс-
криптов интервью для выявления мотивацион-ных, ментальных и личностных характеристик человека. Классические работы Олпорта [21], Болдуина [24] и Уайта [47] служат наиболее известными примерами таких исследований. Во-вторых, при обработке ответов на открытые вопросы интервью и различных тестов, таких как Тематический апперцептивный тест (Thematic Apperception Test) - TAT. В-третьих, это исследования коммуникационных процессов при условии признания значимым их содержания [25], например, психологические теории чтения, к обсуждению которых мы еще вернемся в настоящей статье. В-четвертых, контент-анализ полезен при обобщении терминов, с помощью которых испытуемые осмысляют различные ситуации или культурные контексты. Так, шкала (семантический дифференциал) Осгуда была адаптирована для сравнения культур [38, 39]. Среди российских психологов, применяющих контент-анализ в своих исследованиях, можно назвать Т.Н. Ушакову, С.С. Белову и Е.А. Валуеву [20], Н.Д. Павлову [12], Е.А. Володарскую и Н.Ю. Логвинову [4], М.И. Воловикову и Л.М. Соснину [5], работы которых близки к четвертой обозначенной выше области. В свою очередь, работы Н.Е. Лысенко и Д.М. Давыдова [9], В.В. Абраменковой [1] и О.А. Гулевич [6] можно отнести ко второй области, когда речь идет об анализе ответов на интервью и разработке тестов.
При оценке исследований с использованием контент-анализа особое внимание требуется уделять такой группе критериев, как надежность-воспроизводимость. Так, при кодировании данных суждения кодировщика могут быть субъективными. Привлечение нескольких кодировщиков повышает объективность анализа, но требует измерения степени согласия между ними. Для таких случаев Криппендорф определяет надежность-воспроизводимость как "степень, в которой процесс может быть повторен различными исследователями, работающими в самых разных условиях, в разных местах или с использованием различных, но функционально эквивалентных инструментов" [30, с. 215].
Контент-аналитики имеют в своем распоряжении несколько показателей надежности-воспроизводимости: S Беннета и соавторов, r Скотта, к Коэна, a Криппендорфа - лишь немногие из них. Такой плюрализм создает некоторую путаницу, ставя вопрос о замещении или дополнении этими показателями друг друга. Если имеет место замещение, то в таком случае исследователь определяет лучший показатель надежности, который "превосходит" другие. Утверждение о том, что
"из существующих показателей а Криппендорфа лучше всего подходит в качестве стандарта" [29, с. 78], иллюстрирует такой подход. Если же имеет место взаимодополняемость, исследователь пытается разграничить области применения существующих показателей. В этом случае необходимо определить, при каких условиях (параметры текстов, которые подлежат анализу; количество кодировщиков; число категорий, включенных в книгу кодов и др.) более целесообразно использование а Криппендорфа, а не, например, S Беннета и соавторов.
Цель статьи - представить дополнительные аргументы и эмпирических данные в поддержку предположения о взаимодополняющем характере методов измерения надежности. В отличие от других работ, посвященных данной проблеме [23, с. 586-591; 32, с. 530-533], представленное ниже исследование было направлено на то, чтобы предварительно разграничить области применения наиболее популярных показателей надежности: во-первых, в соответствии с особенностями текста, подлежащего контент-анализу (стилистический или риторический), и, во-вторых, в зависимости от конкретной цели контент-анализа (понимание авторского сообщения в отличие от читательской интерпретации).
В первой части статьи дается краткий обзор самых популярных показателей надежности-воспроизводимости. Обсуждение допущений, на которых основаны те или иные показатели надежности, помогает уточнить вопрос исследования: как контекст контент-анализа влияет на их применимость. Во второй части рассматриваются данные проведенного исследования по изучению академического чтения - того, как ученые читают и понимают работы друг друга. В третьей части эмпирически проверяются две гипотезы относительно выбора показателей надежности.
АНАЛИЗ ИМЕЮЩИХСЯ ПОКАЗАТЕЛЕЙ
Ознакомиться с всесторонним обзором существующих показателей надежности-воспроизводимости, включая обсуждение математических оснований их расчета, можно в других работах [30, 34]. Наша задача в данном случае более ограничена. Она предполагает выявление различий в допущениях, на которых основаны показатели надежности.
Различия в допущениях часто остаются без должного внимания из-за того факта, что большинство известных индексов надежности-воспроизводимости следует общей логике. Оставляя
в стороне простой расчет процента согласия (т.е. процента единиц, одинаково закодированных всеми кодировщиками), расчет показателей надежности предусматривает сравнение наблюдаемого процента согласия или несогласия с ожидаемым. Другими словами, достигнутый уровень (не)согласия сравнивается с уровнем (не)согласия, который может быть получен случайно. "Значение 1-Ае [А означает согласие] показывает максимально возможную величину согласия за вычетом фактора случайности; значение А0-Ае показывает наблюдаемую величину согласия за вычетом фактора случайности. Далее, соотношение между А0-Ае и 1 -Ае говорит нам, какая пропорция возможного неслучайного согласия в действительности наблюдалась. Эта идея выражается следующей формулой: 5, г,
А о А е
к =-" [23, с. 559]. "а имеет такое же ло-
1- Ае
гическое обоснование, но для ее расчета нужно учитывать уровни несогласия: Б0 наблюдаемого и Бе ожидаемого" [30, с. 248].
Показатели надежности начинают расходиться с момента расчета ожидаемого (не)согласия, Ае. На первый взгляд, это простая формальность, однако она позволяет увидеть различия в допущениях, на которых эти показатели основаны.
Показатель г Скотта. Данный критерий корректирует процент согласия "на количество категорий в коде и частоты, с которой каждая категория использована" [42, с. 323]. Это достигается путем сравнения наблюдаемого распределения категорий с ожидаемым, как в общем случае.
Однако Скотт делает очень специфическое предположение относительно соответствия между наблюдаемым и ожидаемым распределениями. Предполагается, что наблюдаемое распределение категорий кодировщиками между фрагментами текста указывает на их "истинное" распределение, которое служит в качестве основы для расчета ожидаемого распредел
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.