научная статья по теме Анализ результатов тестирования знаний студентов по дисциплине «Теория автоматического управления» с использованием многофакторных тестовых заданий Биология

Текст научной статьи на тему «Анализ результатов тестирования знаний студентов по дисциплине «Теория автоматического управления» с использованием многофакторных тестовых заданий»

DOI: 10.12731/WSD -2015-8-13 УДК 517.977:62

АНАЛИЗ

РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ ЗНАНИЙ СТУДЕНТОВ ПО ДИСЦИПЛИНЕ «ТЕОРИЯ АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ» С ИСПОЛЬЗОВАНИЕМ МНОГОФАКТОРНЫХ ТЕСТОВЫХ

ЗАДАНИЙ

Обухова Е.Н.

Исследуется декомпозиция знаний на множество «микрознаний», допускающих однозначную двоичную тестовую оценку. Тогда задание теста формулируется как набор микрознаний ответов, раскрывающих совокупно уровень знания определенного подраздела. Это позволяет рассмотреть процесс разработки набора ответов на тестовый вопрос, как задачу исследования многофакторной зависимости, и подойти к нему с позиций планирования многофакторного двухуровневого эксперимента. Это хорошо формализует как процедуру разработки теста, так и процедуру оценки его результатов, что делает их доступными для разработки преподавателем средней квалификации. Методика проиллюстрирована примером построения и применения тестов для оценки уровня знаний по теории автоматического управления. Статистическая обработка результатов тестирования показала уровень знаний испытуемых, а так же степень доверия к этим знаниям.

Ключевые слова: факторы знания; планирование эксперимента; двухуровневые многофакторные эксперименты; варьирование факторов; матрица планирования.

THE ANALYSIS OF TEST RESULTS OF STUDENTS ' KNOWLEDGE IN THE DISCIPLINE "THEORY OF AUTOMATIC CONTROL", USING A MULTIFACTOR TEST TASKS

Obukhova E.N.

The paper studies knowledge decomposition into array of "micro knowledges" which allow univocal binary test score. In this case the test task is formulated as a set of response micro knowledge showing in common the knowledge level for certain subsection. It provides the opportunity for testing answers set design to be taken as the multifactor dependence study and use the approach based on multifactor two-level experiment planning. Thus we can formalize both test design and test results evaluation and make these procedures easy for an average teacher to follow. The methodology is illustrated by an example of Automatic management theory level test design and implementation. Data statistics approved the respondents' knowledge level and degree of belief.

Keywords: knowledge factors; experiment planning; two-level multifac-tor experiments; factor variability; planning matrix.

Введение. В связи с глубоким реформированием всей системы высшего образования России настоящее время все больше внимания уделяется проблеме оценки и аттестации знаний студентов. Из большого количества порождаемых этой проблемой задач можно выделить три наиболее сложных и взаимно противоречивых задачи: обеспечение достоверности оценки, обеспечение объективности подхода к студенту, минимизация ресурсно-временных затрат на аттестацию. Среди множества высказываемых по этому поводу мнений и предлагаемых подходов очевидной доминантой компромиссного решения этих задач

является тестирование [1-3]. Однако этот подход таит в себе достаточно сложностей и противоречивых свойств, связанных с плохо изученными и формализуемыми эвристическими составляющими трех этапов процедуры тестирования: технология разработки, структура проведения, технология оценки результатов. Поэтому в научно-педагогических и научно-методических исследованиях все больше внимания уделяется исследованию процедуры тестирования и разработке научно обоснованных подходов к реализации этих этапов [4-7]. Анализ исследований этих направлений показывает, что наименьшее внимание уделяется формализации процессов подготовки и построения тестов, а этот этап чрезвычайно важен, как для повышения объективности и формализованности, так и для упрощения всей процедуры тестирования [8-10].

Цель исследования. Основной трудностью внедрения тестовых методик в практику работы образовательных учреждений является отсутствие у педагогов достаточной профессиональной подготовки в аспекте составления и применения тестовых заданий, а так же возможности освоить эти технологии. В связи с этим весьма актуальной становится задача формализации построения тестовых заданий, позволяющих сохранить высокую оценочную способность тестов, сделав, при этом возможной разработку тестов преподавателям со средним уровнем подготовки.

В основополагающих работах [8-11], так и в работах, посвященных различным деталям практической реализации [12-14], была предложена в значительной степени новая методика составления тестовых заданий и проведения тестирования с использованием двухуровневых двухфакторных и трехфакторных тестов.

Постановка задачи. Одной из характеристик тестового задания является количество допустимых ответов из множества предложенных. При дозволенности одного ответа на вопрос, тестируемый имеет оценку, выраженную долей полного знания. При этом повышается вероятность угадывания правильного ответа, вследствие

чего невозможно иметь достоверную оценку результатов тестирования.

Таким образом, для эффективной оценки подготовки по изучаемой дисциплине испытуемому с неуверенными знаниями необходимо дать возможность выбора нескольких вариантов ответов, кажущихся ему близкими к правильным. При этом не исключается возможность выбора одного ответа.

В этом случае оценка знания формируется как выборочная совокупная из оценок содержательности указанных тестируемым ответов. Такой подход дает возможность получить оценку степени случайности выбора ответов, которая характеризует неуверенность знаний тестируемого. Это обусловливается тем, что возникает возможность оценивать близость по содержанию выбранных тестируемых ответов. Слишком разнородные по оценкам ответы будут указывать на неуверенность знаний, а однородные - на близость испытуемого к истинным знаниям.

Сущность предлагаемого метода решения проблемы. Процесс разработки тестового вопроса рассматривается как построение строки, включающей п символьных переменных, обозначающих различные микрознания [9, 10]. По введенной ранее парадигме, каждому микрознанию может быть сопоставлено два варианта ответов: правильный - «Yes» и неправильный - «No». Тогда возможный набор вариантов ответов на тестовый вопрос становится аналогичным матрице планирования многофакторного двухуровневого эксперимента, если положительный ответ - «Yes» заменить на +1, а отрицательный ответ - «No» на -1 (см. табл. 1). Таким образом, варьируя ответы на микрознания на двух уровнях, можно получить набор строк-ответов на полный вопрос теста, реализующий все их возможные сочетания по аналогии с полным факторным экспериментом. Если количество микрознаний п выбрано, то можно найти количество различных полных ответов по формуле [15]:

N = 2k, (1)

где N - число опытов, k - число факторов, 2 - число уровней.

Таблица 1.

Таблица кодовых строк-ответов и их оценок для п-факторного теста

№ строки Х1 Х2 Х т у

1. Хп=1 Х12=1 Х1 =1 1т п(1)

2 -1 (0) 1 1 п-1 (0,...)

1 Хя Х/2 Х.. ч Х. 1т п-1 (""¡¡г)

п -1 (0) -1 (0) -1 (0) 0 (0)

Поскольку при оценке знаний тестируемого удобнее неправильный ответ оценивать нулем (нулевое знание), то в таблице значение -1 удобно заменить на нули (указаны в скобках). Таким образом, множество ответов на вопрос-строку, составленную из микрознаний, как из факторов, представляется как набор строк, составленных из элементов-ответов, принимающих значения 0 или 1. Варьирование ответов на этих двух уровнях позволяет реализовать полное множество строк-ответов возможных сочетаний элементов-ответов [16]. В связи с этим для микрознаний удобно, используя терминологию планирования эксперимента, применять термин как «фактор знания».

Оценку у. (обозначение у взято по аналогии с символом отклика в плане факторного эксперимента [15, 16] для каждой строки возможного ответа на тестовый вопрос можно вычислять либо как абсолютную сумму оценок элементов-ответов по микрознаниям, либо как взвешенную относительно количества факторов сумму (указана в скобках), т.е. абсолютную сумму, деленную на количество элементов. Поэтому в более общем варианте оценки ответа взвешенной суммой по формуле

т '

IX

(2)

т

полностью правильный ответ на вопрос теста будет оценен как «1», полностью неправильный ответ - «0», а частично правильный - дробным числом 0 < у. < 1.

Факторный подход к построению теста помогает доступно и однозначно формализовать процедуру построения теста и оценки его результатов. Однако, с ростом числа составляющих вопрос факторов знаний число вариантов ответов растет согласно (1) в показательной зависимости. Это ограничивает объем вопроса по составу включенных факторов знаний, во избежание построения излишне громоздкого теста, запутывающего испытуемого.

Рассмотренные условия формирования ответов на вопросы теста, содержащие п факторов знаний, можно записать в виде матрицы планирования многофакторного эксперимента, где строки соответствуют различным вариантам ответов, а столбцы - значениям факторов знаний. Если вопросы в тесте отображают заложенные в них микрознания, то построенная таким образом матрица является универсальным инструментом построения вариантов ответов на весь тест в целом.

Примеры применения факторного подхода к составлению тестов

В качестве примера приводится процедура формирования тестового вопроса по теме «Оценка свойств линейного ДЗ по его ПФ» раздела « Линейные модели систем управления « дисциплины Теория автоматического управления.

Выберем в качестве трех оцениваемых факторов знаний оценки тестируемым следующих характеристик ДЗ: факта физической реализуемости, наличия свойства астатизма и определение величины коэффициента усиления оценку по ПФ, представленной в виде дробно рациональной функции от абстрактной комплексной переменной «р»:

Составим формулировку тестового вопроса, включающего в себя совокупность выбранных ФЗ. При этом применим принцип максимальной краткости [1] формулировок ФЗ, чтобы максимально снизить вероятность появления случайных ошибок, порождаемых человеческим фактором - естественным волнением тестируемого.

Формулировка вопроса. Определить факт физической реализуемости, наличие астатизма и величину коэффициента усиления линейного динамического звена по его передаточной функции:

рг +

Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.

Показать целиком