научная статья по теме Адаптивный тестовый контроль в системах дистанционного образования Биология

Текст научной статьи на тему «Адаптивный тестовый контроль в системах дистанционного образования»

УДК 510.52

АДАПТИВНЫЙ ТЕСТОВЫЙ КОНТРОЛЬ В СИСТЕМАХ ДИСТАНЦИОННОГО ОБРАЗОВАНИЯ

Никитин Михаил Михайлович, доктор технических наук, профессор, заведующий кафедрой «Прикладная математика»

Московский автомобильно-дорожный государственный технический университет (МАДИ), nikitin@mail.ru Строганов Виктор Юрьевич, доктор технических наук, профессор кафедры ИУ5 Московский государственный технический университет им. Н.Э. Баумана,

str@bmstu. ru Карташев Михаил Игоревич, аспирант кафедры «Автоматизированные системы управления»

Московский автомобильно-дорожный государственный технический университет(МАДИ), kartashev@gmaile. com

Рассмотрены основные вопросы создания динамических алгоритмов адаптивного тестирования.

Ключевые слова: сложность тестового задания; адаптированное тестирование; тестовая траектория.

В системах дистанционного образования основной методикой контроля успеваемости является тестирование, т.к. автоматизация тестирований наиболее удобна и наилучшим образом соответствует действительности. Но для качественного тестирования необходимы качественные алгоритмы. Позволяющие наиболее эффективно организовать процесс тестирования и наиболее точно оценить уровень подготовленности испытуемого, что и является целью тестирования. Сегодня наибольшее распространение получили алгоритмы адаптивного тестирования, т.е. алгоритмы, предоставляющие задания динамически, в зависимости от ответов испытуемых. Основные вопросы при создании таких алгоритмов - это вопросы построения траектории

(выбора вопроса на основании текущих результатов) и вопрос окончания тестирования, если предполагается переменное число заданий в тесте.

Мера сложности тестового задания. Если мы говорим об адаптивном тестировании, то предполагаем, что задания, представляемые испытуемому, зависят от результатов его ответов на предыдущие задания. Соответственно, на каждом шаге тестирования система должна анализировать результат ответа на текущее задание, общий промежуточный результат по всем ответам данного теста и, руководствуясь этими данными выбирать следующее задание для испытуемого, т.е.

Тп+1: /(¿ВД), Я(Тя)), (1.1)

1

Тп - задание п-ого шага тестирования есть функция от промежуточных

п-1

результатов ^ я(тп), и результата ответа на последние задание Я(Тп-1).

1

Необходимость отдельного рассмотрения результата последнего задания вызвана тем, что необходимо добиться максимально быстрого схождения теста, т.е. мера сложности последующего задания должна быть не только сопоставимо средней сложности теста, но и быть ниже меры сложности последнего задания, если ответ на него был неверный, и выше его сложности при верном ответе.

Результат ответа разумно брать в диапазоне 0.. .1, где 0 сотвесвует неверному ответу, 1 - верному, а промежуточные значения используются для заданий с множеством частично верных ответов, формирующим полный верный ответ. Задание представляет собой множество

7 : <Т2, Dz, М р2, Fz, А{аь..ап}>

где Т - текст задания (если имеется), D - дисциплина, к которой относится задание, М - модуль, к которому относится задание, в - сложность задания, А -файл задания (например, £^^файл), если имеется, А - множество вариантов ответа на задание, если имеется, и a1 - an - варианты ответов, такие, что каждому а соответствует мера правильности от 0 до 1, причем,

л^) =

для частично правильных вариантов ответа, где аф - частично правильный вариант ответа, и пр - число частично правильных вариантов, формирующее полный правильный ответ, к - весовой коэффициент (в простейшем случае к = 1).

Тогда мера правильности ответа (А) может быть выражена следующим соотношением:

А = p/np - q/nq , где p/np - отношение числа правильных ответов испытуемого к количеству правильных вариантов, а q/nq - отношение числа неверных ответов испытуемого к числу неверных вариантов.

Рассмотрим параметр сложности вопроса. В соответствии с теорией IRT (Item Response Theory), в рамках модели, предложенной Г. Рашем, сложность задания определяется отношением доли неправильных ответов на задание к доле правильных:

Д = in , i = I.n, где (1.2)

Рг

Д0 - сложность задания в логитах, qi - доля неправильных ответов на i-е задание, pi - доля правильных ответов.

Отсюда можно сразу сделать одно важное следствие: накапливая статистическую информацию об ответах на каждый вопрос, можно автоматически регулировать сложность каждого вопроса. Таким образом, при составлении вопроса преподавателю или методисту достаточно указать только некоторую начальную меру сложности. В дальнейшем система сама сможет корректировать эту меру в зависимости от уровня подготовки обучаемых, и формировать тестовые траектории с учетом текущей сложности задания.

Но данная трактовка хороша, если мера правильности всех ответов A(pi) = 1. Если же мы вводим меру правильности для заданий с множеством частично верных ответов, логично связать эту характеристику с мерой сложности задания. Очевидно, что если ответы частично правильные, т.е. мера правильности 0 < A(pi) <1, то сложность задания фактически оказывается большей, чем в рамках модели Раша (1.2). Чтобы учесть данную характеристику, введем в модель Раша дополнительный параметр:

(in q-) n(ln q-)

д =-Р^ =-Р^, i = 1..n

Pl Pi /1 IX (Pi) IX (Pn) , (1.3) где

n=1 n=1

n

¿4 (рг)

—- - средняя арифметическая правильность ответов на ьй вопрос.

п

Таким образом, получаем, что при полностью правильных ответах на вопрос

¿4 (рг)

сложность задания определяется в рамах модели Раша, т.к. —- = 1, а при

п

частично верных ответах сложность задания оказывается выше ожидаемой в рамках модели Раша.

Вернемся к определению сложности последующего задания. Логично предположить, что под R(Tn) в (1.1) следует понимать меру сложности задания. Таким образом, зная меру сложности каждого представленного задания, можно рассчитать среднюю сложность теста (промежуточную). Она определяется как среднее арифметическое сложностей:

п

I А0

Ас,

средн

п

Возвращаясь к (1.1), перепишем соотношение с учетом (1.3):

1п ^

П-1 — Рг - Чп

I А0 1п

тп : /, А0) = /, —^)

п п Ап (Рп) (1.4)

Отметим, что среднеарифметическая промежуточная сложность теста недостаточна для определения сложности следующего задания. Для более надежного определения уровня подготовленности испытуемого необходимо, чтобы в случае правильного ответа на текущий вопрос, последующий вопрос имел большую меру сложности, а в случае неправильного ответа - не большую, чем мера сложности текущего вопроса.

Кроме того, важно определить, на сколько мера сложности последующего задания должна отличаться от меры сложности текущего. Очевидно, следует ввести вероятностный показатель, отражающий, с какой вероятностью испытуемый даст верный ответ на следующий вопрос с мерой сложности рп+1, исходя из предыдущих его результатов и его подготовленности.

В рамках однопараметрической модели Раша вероятность положительного результата зависит от сложности задания и подготовленности испытуемого и выражена соотношением:

Р,(в,",) = ^"'-"'¡у (1.5)

' 1 + ехр(" - )

Данная модель может отразить зависимость вероятности правильного ответа от уровня подготовки испытуемого или от меры сложности задания.

В рамках модели Раша, помимо прочего, приведено соотношение, описывающее уровень подготовки испытуемого:

в = 1пр, где Ч,

pi и qi - доля правильных и неправильных ответов соответственно. С помощью этого соотношения, на основании статистических данных по испытуемому можно определить его начальную подготовленность. Если статистические данные отсутствуют, начальную подготовленность можно принять за ноль, т.к. на логистической шкале Раша ноль соответствует среднему уровню подготовленности испытуемого (и трудности задания). В процессе тестирования можно динамически корректировать значение данного параметра в зависимости от ответов испытуемого. При положительной динамике прохождения тестирования, т.е. когда испытуемый дает правильные ответы, его уровень подготовленности несколько растет, а что касается выбора последующих заданий, их мера сложности не должна быть меньше значения параметра подготовленности испытуемого.

Построение тестовой траектории. Основная идея, движущая исследователей в сфере адаптивного тестирования, заключается в том, что тестовые задания необходимо адаптировать (подогнать) по трудности к уровню подготовленности испытуемых в тестируемой группе. При этом исследователи исходят из тех соображений, что слабым испытуемым бесполезно давать трудные задания, так как с большой вероятностью они не сумеют их выполнить верно. Отдельные исключения из сформулированного выше утверждения, конечно, бывают, но они крайне нежелательны, поскольку приводят к снижению валидности профилей ответов слабых испытуемых, способствуя тем самым росту ошибочного компонента в их тестовых оценках.

Столь же бесполезными выглядят легкие задания при тестировании сильных испытуемых. Очевидно, что использование слишком легких заданий может привести к тому, что все или почти все получат примерно одинаковые

высокие баллы и, следовательно, измерение не состоится по причине несоответствия уровня трудности заданий подготовленности испытуемых.

Эта очевидная связь между трудностью заданий и подготовленностью испытуемых натолкнула исследователей на мысль об исключении бесполезных заданий и повышении таким путем эффективности теста. Если процесс адаптации организован верно, то исключение должно привести к оптимизации состава теста, сокращению времени тестирования при условии сохранения либо увеличения точности измерений по сравнению с той, которая могла бы быть достигнута в традиционном тесте фиксированной длины.

Поскольку все испытуемые отличаются по уровню подготовленности, оценки которой к тому же меняются по мере выполнения теста, очередное задание приходится подбирать, подстраиваясь под текущие оценки. Из этих соображений легко предположить, что адаптивный тест состоит из заданий, каждое из которых на момент предъявления было оптимальным по трудности для текущего результата тестируемого. Также легко понять, что все адаптивные тесты внутри группы тестируемых состоят из разных зада

Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.

Показать целиком