Елисеев Б.П., Заслуженный юрист Российской Федерации, доктор юридических наук, профессор, зав. кафедрой Московского государственного технического университета гражданской авиации
О КОЛИЧЕСТВЕННЫХ ОЦЕНКАХ ТЕСТОВЫХ ИСПЫТАНИИ ПРИ НАЛИЧИИ ВАРИАНТОВ ОТВЕТА
Приводятся соотношения, дающие возможность оценивать вероятности получения заданного числа правильных ответов при тестовых испытаниях в зависимости от общего и заданного числа вопросов и числа вариантов ответов (случай — отсутствие вариантов ответов).
Ключевые слова: вероятность, тестовые испытания, равнозначимые вопросы, алгоритм выбора.
Formulas, which enable to calculate probability of the concrete number correct answer are given. This probability is a function general and givenned numbers of the questions, as well as from number variant answer (event — presence variant answer).
Keywords: probability, test runs, equally significant questions, selection algorithm.
В работе [1] была получены количественные оценки тестовых испытаний для ситуации, когда экзаменуемому лицу не предлагаются варианты ответов на задаваемые вопросы. В настоящей работе решается аналогичная задача для случая, когда при проведении тестовых испытаний на каждый из задаваемых вопросов предлагается набор ответов, из которых требуется выбрать правильный ответ.
Итак, пусть тестовые испытания проводятся на основе равнозначимых вопросов при этом на каждый из них предлагаются варианты ответов, их которых только один является истинным.
В этом случае искомую задачу можно сформулировать следующим образом. Испытуемому лицу задано S вопросов (в [1] эта величина обозначалась буквой М), ни на один из которых он не знает правильного ответа. При этом на каждый из вопросов предложено w ответов, из которых только один является правильным. В такой ситуации испытуемому лицу ничего другого, кроме того, чтобы наугад из предложенных ответов выбрать один из них. В этом случае вероятность выбора одного из ответов, естественно, будет равна 1/w. Спрашивается, какова вероятность того, что при таком алгоритме выбора будет получено ровно 1,2,3, ...т и т.д. правильных ответов. При рассматриваемой постановке, очевидно, мы выходим на распределение Бернулли, что позволяет сразу записать выражение для искомой вероятности:
Соотношение (1) дает возможность определить среднее и среднее квадратичное значения числа правильных ответов для рассматриваемого случая. Прямые вычисления выводят на следующие выражения для - среднего значения:
ABOUT ESTIMATION OF THE TEST
(1)
(2)
- дисперсии:
а
£
" т=0
I т2ст
(-1)
£ - т
£
= М (1 - ^о )( -1).
3)
Иллюстрация полученного выражения приведена на рис. 1 и 2.
В Таблицах 1 и 2 приведены значения вероятностей числа сделанных наугад правильных ответов Р(Б;т) точно на т из £ заданных вопросов в зависимости от числа вариантов ответов на задаваемые вопросы м>..
Таблица 1 Вероятности числа сделанных наугад правильных ответов Р(£;т) точно на т из £=15 заданных вопросов.
т Р(Б; т)
м= 2 м= 3 м= 4 м= 5
0 0,12 0,30 0,42 0,51
1 0,38 0,44 0,42 0,38
2 0,38 0,22 0,14 0,10
3 0,12 0,04 0,02 0,01
от 0 до 1 0,50 0,74 0,84 0,89
2 0,38 0,22 0,14 0,10
3 0,12 0,04 0,02 0,01
тс р 1,50 1,00 0,75 0,60
а 0,87 0,82 0,75 0,69
Таблица 2
Вероятности числа сделанных наугад пра-
вильных ответов Р(Б;т) точно на т из £=10 за-
данных вопросов.
Р(Б; т)
т м= м=
м=2 3 4 "=5
0 0,00 0,02 0,06 0,11
1 0,01 0,09 0,19 0,27
2 0,04 0,20 0,28 0,30
3 0,12 0,26 0,25 0,20
4 0,21 0,23 0,15 0,09
5 0,25 0,14 0,06 0,03
6 0,21 0,06 0,02 0,01
7 0,12 0,02 0,00 0,00
8 0,04 0,00 0,00 0,00
9 0,01 0,00 0,00 0,00
10 0,00 0,00 0,00 0,00
от
0 до 3 0,17 0,56 0,77 0,88
от 0,66 0,42 0,23 0,12
4 до 6
ог 0,17 0,02 0,00 0,00
7 до 10
тс
р
а
2
1
Соответствующие зависимости, относящиеся к средним и средним квадратичным значениям, приведены на рис. 3 и 4.
Как видно, ответы «наугад» могут внести серьезную корректировку в оценку знаний испытываемого лица при тестовых испытаниях.
Рис. 5 иллюстрирует зависимость среднего числа сделанных наугад правильных ответов тср от числа - " предложенных ответов на заданный вопрос при общем числе заданных вопросов £
Р(5»
0,40 0,30 0,20 0,10 0,00
w—5
5=5
0 12 3 т
Рис. 1. Вероятность получения т правильных ответов при общем числе вопросов 8=5 и различном числе вариантов ответов V
Р(5»
0,20 0,15 0,10 0,05 0,00
0 2 4 6 8 10 т Рис. 2. Вероятность получения т правильных ответов при общем числе вопросов 8=15 и различном числе вариантов ответов V
0
2 3 4 V
Рис. 3. Зависимость среднего числа правильных ответов тср и его среднего квадратичного разброса от числа вариантов ответов V при общем числе вопросов 8=15
2 3 4
Рис. 4. Зависимость среднего числа правильных ответов тср и его среднего квадратичного разброса от числа вариантов ответов V при общем числе вопросов 8=3
Проведем оценку числа правильных ответов для случая, когда испытываемое лицо на часть вопросов дает правильные ответы, а на те вопросы, на которые он таких ответов не знает, дает ответы наугад.
Итак, пусть общее число вопросов Ы, пусть испытываемое лицо знает правильные ответы на Q вопросов. При испытаниях задано М вопросов. На те вопросы, на которые испытываемое лицо не знает правильных ответов, он наугад дает ответ из предлагаемых на каждый вопрос V вариантов ответа, из которых только один правильный.
Требуется определить вероятность того, что число правильных ответов будет точно равно числу т, а также среднее и среднее квадратичное значения числа правильных ответов. Для решения этого круга задач воспользуемся результатам, полученными в [1].
Для среднего значения числа правильных ответов будем иметь:
т
Т,ср
=М [1+40( - О!
(4)
где 40 = Q / N - параметр, выступающий в качестве меры истинных знаний испытываемого лица, т.е. отношения числа вопросов, на которые испытываемое лицо знает правильные ответы - Q к общему числу вопросов - N.
Оценка уровня знаний по результатам тестовых испытаний рассчитывается по формуле 4 = т / М, т.е. в виде отношения числа правильных ответов - т к числу заданных вопросов - М.
В рассматриваемом случае для средней оценке уровня знаний будет иметь место следующее соотношение:
3
2
дшЕ - 40 +
1 (1 - Ч0 ).
М
(5)
Оценка «истинных знаний», получаемая при помощи (5), оказывается завышенной и тем больше, чем меньше предлагается число вариантов ответов м. Это значит, что тестовая оценка не может даже выступать как некая статистически среднее значение уровня знаний испытываемого лица или группы лиц.
Как видно, ответы «наугад» при малом числе вариантов предлагаемых ответов могут сильно исказить истинную картину оценки знаний, особенно для тех лиц, кто имеет низкий уровень знаний (малое значение до).
Расчет дисперсии для рассматриваемого случая выводит на следующее соотношение:
ст|-(1 - до )
до (М - М )+(м -1)"
N -1
.2
М
(6)
Как видно из соотношения (6), имеет место достаточно существенное увеличение среднего квадратичного значения по сравнению со случаем отсутствия режима «ответы наугад».
В Таблицах 3 и 4 в качестве иллюстрации приведены средние и средние квадратичные значения, как функции числа вариантов предлагаемых ответов на задаваемые вопросы и числа этих вопросов. Приведенные таблицы еще раз наглядно иллюстрируют, насколько грубой является оценка знаний, проводимая по результатам тестовых испытаний.
Таблица 3
Таблица 4
М=5о, М=8 М=5о, М=3
м до=о,25 до=о,5о до=о,75 до=о,9о м до=о,25 до=о,5о до=о,75 до=о,9о
шЕ шЕ ШЕ ШЕ шЕ ШЕ ШЕ ШЕ
2 о,6 3 1,6 2 о,7 5 1,5 2 о,8 8 1,2 8 о,9 5 о,9 9 2 о,6 3 1,1 4 о,7 5 1,1 1 о,8 8 о,9 6 о,9 5 о,7 6
3 о,5 о 1,5 7 о,6 7 1,4 8 о,8 3 1,2 6 о,9 3 о,9 8 3 о,5 о 1,1 1 о,6 7 1,о 9 о,8 3 о,9 5 о,9 3 о,7 6
4 о,4 4 1,5 о о,6 3 1,4 4 о,8 1 1,2 3 о,9 3 о,9 7 4 о,4 4 1,о 8 о,6 3 1,о 6 о,8 1 о,9 4 о,9 3 о,7 5
5 о,4 о 1,4 5 о,6 о 1,4 о о,8 о 1,2 1 о,9 2 о,9 6 5 о,4 о 1,о 5 о,6 о 1,о 4 о,8 о о,9 2 о,9 2 о,7 5
Перейдем к определению вероятности того, что испытываемое лицо даст ровно Шо правильных ответов на заданные ему вопросы. Задача в данном случае будет ставиться следующим образом.
Имеется множество вопросов, их общее количество равно М, испытываемое лицо знает правильные ответы на Q из этих вопросов (его объективный уровень знаний до — Q / N). Этому лицу задается М вопросов, на п из которых он знает правильные ответы, на остальные (М-п) вопросов он отвечает наугад, выбирая один из м предлагаемых ему ответов на каждый из вопросов. Требуется определить вероятность того, что испытываемое лицо даст правильные ответы ровно на т вопросов.
Ясно, что искомая вероятность Ре будет равняться сумме вероятностей одновременных событий, состоящих в том, что будет получено п (о < п < ш < М) правильных ответов, как результат знаний, и (т-п) правильных ответов, как результат ответа наугад.
Опираясь на полученные выше соотношения и соотношения работы [1], будем иметь:
т -б СМ-п ( ,\М -т
р = сп СМ-п ст-п ^ - Ч (7)
2 N М-п ' (7)
п=0 СМ ™
Иллюстрация полученных соотношений приведена на рис. 6 и 7.
Рис. 6. Вероятность правильных от- Рис. 7. Вероятность правильных от-
ветов ровно на т вопросов при различ- ветов ровно на т вопросов при раз-
ных параметрах V личных параметрах V
Приведенные зависимости достаточно наглядно свидетельствуют о заметном влиянии «ответов наугад» на общую оценку знаний при тестовых испытаниях. Еще нагляднее это видно при сравнении средних значений поучаемых правильных ответов. Соответствующие данные приведены в Таблице 5.
Приводимые аналитические зависимости и иллюстрирующие их графики и таблицы открывают пути к решению по существу обратных задач, в которых требуется по заданным требованиям к точности определения, в конечном счете, параметра 4 определять необходимое число задаваемых вопросов М и количество вариантов ответа на задаваемый вопрос (параметр м>).
Таблица 5
Статистические оценки числа правильных ответов
_хороший уровень знаний_
Стати-стич. оценки N—50, Q—40, 4
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.