Автоматика и телемеханика, № 4, 2014
© 2014 г. А.И. КИБЗУН, д-р физ.-мат. наук, А.О. ИНОЗЕМЦЕВ (Московский авиационный институт)
ОЦЕНИВАНИЕ УРОВНЕЙ СЛОЖНОСТИ ТЕСТОВ НА ОСНОВЕ МЕТОДА МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ1
Исследуется задача оценивания уровней сложности тестовых заданий для системы дистанционного обучения (СДО). Предполагается, что случайные ответы испытуемых описываются логистическим распределением, и уровни подготовленности студентов заранее не известны. Для вычисления сложностей заданий предлагается алгоритм, базирующийся на методе максимального правдоподобия и методе Бройдена - Флетчера -Голдфарба - Шэнно. Устанавливается строгая вогнутость логарифмической функции правдоподобия. Рассматривается пример.
1. Введение
В связи с активным развитием систем дистанционного обучения возникает необходимость автоматического оценивания знаний студентов на основе набора тестовых заданий, выполненных ими [1]. Но все тестовые задания имеют разные уровни сложности, испытуемые также имеют разный уровень подготовленности, который заранее не известен. Поэтому традиционный способ выведения оценки для конкретного студента по количеству правильных ответов на задания вряд ли будет объективным. Способ, при котором каждому заданию присваивается экспертом некоторый вес, также отличается субъективностью. Поэтому более объективной будет являться оценка, которая основывается лишь на выборке, полученной на основе ответов группы студентов на предложенные им тестовые задания. Но при этом возникает проблема эффективной обработки полученной неоднородной выборки.
Для решения этой проблемы в [2, с. 75] была предложена простая и эффективная модель описания тестов (модель Раша), правда, для другого объекта, отличного от рассматриваемого в данной статье. Особенности применения модели Раша при обработке тестов подробно изложены в [3-5]. Более того, в [6] предложен алгоритм получения оценки уровней сложности заданий, основанный на однопараметрической модели Раша и методе Ньютона. Но этот алгоритм имеет очень узкую область сходимости, которую, как оказывается, нельзя заранее определить. Поэтому нельзя гарантировать сходимость этого алгоритма при произвольно выбранной начальной точке. Для решения исследуемой задачи можно использовать квазиньютоновские методы (см., например, [7, 8]), у некоторых из которых областью сходимости является вся числовая ось.
1 Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (проект № 12-07-00191-а).
В данной работе также рассматривается однопараметрическая модель Ра-ша. Но при построении алгоритма поиска оценок сложности заданий используется квазиньютоновский метод Бройдена - Флетчера - Голдфарба - Шэн-но [9], у которого радиус сходимости равен бесконечности, т.е. для него не возникает проблема выбора начальной точки. Попутно устанавливается, что логарифмическая функция правдоподобия является строго вогнутой относительно параметров, описывающих сложности заданий и уровни подготовленности студентов. Предлагаемый алгоритм позволяет адаптировать тесты из [10] к уровню подготовки группы студентов, проходящих тестирование. Эффективность предложенного алгоритма демонстрируется на примере системы дистанционного обучения (СДО) CLASS.NET [11], разработанной для обучения по математическим дисциплинам через Интернет.
2. Постановка задачи
Рассмотрим следующую модель. Пусть существует группа из N обучающихся, отвечающих на Ь тестовых заданий. Результатом решения ^-го задания г-м студентом является случайная величина с реализациями из множества {0, 1}. Положим, что = 1, если ^-я задача решена г-м студентом, и С] = 0, если она им не решена.
Случайные величины г = 1, Л^, ] = 1,Ь, предполагаются независимыми. Данные случайные величины можно представить в виде табл. 1.
Таблица 1. Модель ответов на задания теста
Задание 1 Задание 2 Задание Ь
Студент 1 Си ¿12 ы
Студент 2 Ы 422 42 Ь
Студент N 6У2 Ыь
В [2] была предложена модель, в которой все случайные величины имеют один и тот же вид распределения, параметрами которого являются сложность j-гo задания ¿^^ и подготовленность г-го испытуемого ©¿, г = 1, Л^,
Параметры Д^ и в] являются безразмерными и могут быть любыми положительными числами, т.е. Дг € (0, в] € (0, Для удобства вводятся логарифмические преобразования этих величин
в 4 1п©, ^ 4 1пД.
В этом случае в г € К1, 5] € К1. В дальнейшем именно 5] и в г будем называть сложностью ^-го задания и уровнем подготовки г-го студента.
Очевидно, что правильность ответа зависит как от сложности ^-го задания 5], так и от уровня подготовки г-го студента вг, т.е. 4 С(вг,5]).
Заметим, что тогда в каждой строке табл. 1 уровень подготовки студента определяется одним и тем же параметром в г, а в каждом столбце сложность
задания также постоянна - 5^. Предположим, что все случайные величины ¿¡у, г = 1, Л^, ] = 1,Ь, независимы и имеют один и тот же вид распределения, описываемый функцией
(1) = = 1} = 1-п^ = о}, г=ттлг, з=т^,
где функция /(9г, 5^) принимает значения от 0 до 1, так как является вероятностью события = 1}. Таким образом, случайная величина имеет ряд распределения, заданный в табл. 2.
Таблица 2. Ряд распределения СВ
0 1
ГШ 1-тл-)
Пусть реализации случайных величин образуют матрицу ||ж^||, где Хц € {0,1}, г - номер студента в группе, г = 1, А?", ;) - номер задания теста, ;) = 1, Ь.
Замечание 1. Предположим, что в матрице \\xij|| нет строк или столбцов, целиком состоящих только из нулей или только из единиц. Подразумевается, что если такие столбцы появляются в матрице ||ху||, то они из нее вычеркиваются. Предполагается также, что задача, не решенная ни одним из группы обучающихся, имеет сложность равную +то.
В качестве математической модели, связывающей успех испытуемого с уровнем его подготовленности и сложностью задания, выбирается логистическая функция
ехр(6^ - 6^)
(2> '=1>£-
В этой модели предполагается, что при изменении уровня подготовки студента от —то до +то вероятность его правильного ответа изменяется от 0 до 1, а при изменении сложности задания от —то до +то вероятность правильного ответа уменьшается от 1 до 0. Сформулируем задачу.
Задача 1. Требуется по выборке {х^} оценить сложности заданий 5^,
;) = 1 ,Ь, предполагая, что распределение наблюдаемых случайных величин имеет логистический вид (2), а уровни подготовленности студентов вг, г = = 1 , Ж, не известны.
3. Оценивание сложностей заданий с помощью метода максимального правдоподобия
Так как уровни подготовленности студентов заранее не известны, то обобщим задачу 1 и будем оценивать одновременно со сложностями заданий также и уровни подготовленности студентов. С этой целью рассмотрим процедуру совместного оценивания неизвестных параметров г = 1,Ь, ] =
основанную на методе максимального правдоподобия. Итак, пусть имеется матрица наблюдаемых ответов ||жу||, г = 1, Л^, ] = 1 ,Ь.
Используя явный вид функции /(вг, 5]) из (2), можем найти вероятность неправильного ответа г-м студентом на ^-й тест
Pfój (вг,53 )=0} = 1 - f (вг,53 ) = 1 -
exp (вг - Sj)
Wi, Vi, -VS-.-J Vj, X -
1 + exp (вг — Sj) — exp (вг — Sj) 1
1+ехр(вг - 5]) 1 + ехр(вг - 5])'
Таким образом, вероятность того, что случайная величина примет значение X] € {0,1}, можно записать в виде
т.е. когда X] = 1, числитель равен ехр (вг — 5]), а когда X] = 0, числитель равен 1.
Запишем функцию правдоподобия
L(x, 9,6) = Г{^(вг, Sj) = Xij,i = 1, N, j = 1 ,L} = _ I^j exp (xij (вг - Sj))
a=inLua+exp^ - Sj)):
где
x 4 col (x11,..., x1L,..., xN 1,..., xNL), в 4 col (в1,..., в^), S 4 col (Si,..., Sl).
Тогда логарифмическая функция правдоподобия примет вид
N L N L
(3) L(e,S) 4 ln L(x, в, S) = ^^(вг - Sj ^j ln(1 + exp(вг - Sj)).
г=1j=1 г=1j=1
Из структуры функции правдоподобия видно, что константа может быть добавлена к вг и Sj без изменения значения вероятности правильного ответа:
P fój (вг, Sj) = 1} = P {Cíj(вг + С, Sj + С) = 1} ,
где c - произвольная константа. Поэтому для однозначности введем «точку отсчета». Пусть сложности заданий рассчитываются относительно первого задания, т.е. положим
(4)
S1 = 0.
Теперь с условием (4) выражение (3) примет вид
(5)
¿(в, 5)
N
Ь
вгХг! — 1п (1 + ехр (в*)) + ^ [(в, — 5])х] — 1п (1 + ехр (в, — 5]))]
г=1
]=2
Сформулируем задачу:
(6)
(в*, 5*) =argmax ¿¿(в, 5).
(М)
Решая задачу (6), можно оценить сложности заданий 5* с учетом уровней подготовленности студентов.
Замечание 2. Как известно [12], оценки, полученные на основе метода максимального правдоподобия, являются, как правило, при минимальных предположениях эффективными, состоятельными и асимптотически нормальными. Этим они существенно отличаются от других оценок, в том числе от оценок, найденных по методу наименьших квадратов.
Для решения задачи (6) исследуем свойства функции (5), в частности, докажем, что функция (5) является строго вогнутой. Для этого воспользуемся следующими простыми леммами (доказательства которых см. в Приложении) и напомним определение строго вогнутой функции.
Определение. Функция /(и) : Мп — М1 называется строго вогнутой на выпуклом множестве и С Мп, если для любого Л € (0,1) и произвольных и1,и2 € и выполняется неравенство
Лемма 1. Пусть /(и) : Мп — М1 строго вогнутая на Мп функция, д(и, у) : Мп х Мт — М1 вогнутая на Мп х Мт и строго вогнутая по у € Мт для всех и € Мп. Тогда функция
является строго вогнутой на Мп х Мт.
Лемма 2. Пусть функция /(и) : Мп — М1 строго вогнутая на Мп, д(у) : Мт — М1 строго вогнутая на Мт. Тогда функция
является строго вогнутой на Мп х Мт.
Лемма 3. Пусть функция /(и) : Мп — М1 строго вогнутая на Мп, д(и) : Мп — М1 вогнутая на Мп. Тогда функция
/(Ли1 + (1 — Л)и2) > Л/(и1) + (1 — Л)/(и2).
ь(и,у) 4 /(и) + д(и, у)
^(и,у) 4 / (и) + д(у)
Л,(и) 4 /(и) + д(х)
является строго вогнутой на Мп. 24
Другие свойства выпуклых (вогнутых) функций можно найти, например, в книге [13]. Приведем теперь один из основных результатов данной статьи, из которого будет следовать существование единственного максимума у функции (5).
Теорема 1. Функция Ь(х,в,5), определенная согласно (5), является строго в
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.