Методические рекомендации по разработке тестов
Современный способ проверки знаний учащихся на любых уровнях является тестирование, но все могут самостоятельно разработать тестирование в сооотвествии технологии.
В инструкции по составлению тестов NEAB (Northen Examinationes and Assesment Board) записано: «При имеющемся предмете тестирования разработчик обязан убедиться, что весь предмет охвачен предлагаемыми вопросами. Содержание предмета должно полностью покрываться матрицей по всем темам. Если же имеет место тестирование по отдельным предметам, то и в этом случае необходимо, чтобы вся подтема была охвачена вопросами теста. В случае, если вопрос или часть вопроса не соответствует теме, или, не полностью ясен в рамках данной темы, от вопроса следует воздержаться»
Таким образом фиксируется требование широты теста, полного учёта всех разделов предмета, который находит выражение в матрице.
Для тестов, ориентированных на критерии (критериально-ориентированных), отбор содержания теста является самым важным этапом его создания, так как для принятия решения о достижении данной цели обучения, например, стандарта, необходимо достаточно точно и полно описать содержание стандарта и выразить его совокупностью заданий, которая была бы представительной для этой цели. Поэтому главной проблемой в разработке тестов, используемых для оценки достижения образовательных стандартов, является соотношение содержания стандарта и содержания теста.
В самом простом случае технологическая матрица может описывать только предметы, предметные области или отдельные темы разного уровня обобщения, которые должны войти в тест, и определять соотношение заданий в тесте.
Например:
Для промежуточного контроля: физика, 11-й класс
предмет физика тема: Э/М индукция
Суть явления Определение Магнитного потока Закон Э/М индукции Правило Ленца ЭДС в движущихся пр
2 1 3 2 2
2. Требования к составу тестового задания
С точки зрения разработчика минимальные требования к составу тестового задания состоят в наличии трёх частей:
1. Инструкции.
2. Текста задания (вопроса).
3. Правильного ответа.
1. Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание, где и как делать пометки и записи, описывать то, что ученик должен "сделать руками", каким образом ему следует выполнять задание, где отмечать, как дописывать и т.д.
Например:
ответ запишите в рамку, которая находится ниже задания, для промежуточных вычислений используйте место слева от вопроса;
в третьем столбце, над строчками впишите цифры, соответствующие понятиям, обозначенным буквами в этой же строке;
ответ запишите в бланке, в строке соответствующей номеру вопроса, для вычислений следует использовать калькулятор...
Во многих работах по тестированию инструкция для учащихся в той форме, в какой предлагаем её мы, только подразумевается или приводится не для всех заданий. Например, в книге B.C. Аванесова инструкция для заданий с выбором звучит так: "Обведите кружком номер правильного ответа", то есть описывает то, что ученик должен выполнить "руками", а для заданий на установление правильной последовательности: "Установить правильную последовательность", то есть выполнить интеллектуальную операцию. Ученику важно понять, что от него требуется, как он должен выполнять задание. Мало понять то, что необходимо установить правильную последовательность, то есть выполнить интеллектуальную операцию, но и то, как собственно её устанавливать, что, каким образом и где надо вписать, отметить и т.д. Кроме этого, для многих заданий важно, в каком порядке эту правильную последовательность восстанавливать - от раннего (большего) к более позднему (меньшему) или на оборот.
3. Виды и типы тестовых заданий
Виды и типы тестовых заданий.
Рассмотрим типы тестовых заданий и выделим требования к ним. Существует два вида заданий, которые объединяют шесть типов. К этим шести типам может быть сведено все многообразие существующих заданий без ущерба для их качества. Типы и виды тестовых заданий представлены на схеме:
Задания закрытого типа включают задания четырёх видов: альтернативных ответов (АО), множественного выбора, восстановления соответствия и восстановления последовательности.
Тестовые задания закрытого типа предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Иногда варианты неверных ответов называют дистракторами (от английского distract — отвлечение внимания).
4. Задания множественного выбора
Это основной вид заданий, применяемый в тестах достижений.
Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.
Форма представления заданий альтернативных ответов:
Вопрос (утверждение):
A. Вариант ответа 1
B. Вариант ответа 2
C. Вариант ответа 3
D. Вариант ответа 4
E. Вариант ответа 5
Инструкции для заданий с множественным выбором: обведите кружком букву, соответствующую варианту правильного ответа.
Какое количество вариантов ответов можно считать приемлемым?
Инструкция CITO так определяет количество необходимых альтернатив: «Обычный вопрос состоит из введения, самого вопроса и ряда альтернатив, каждая из которых представляет собой ответ на вопрос. Оптимальное количество альтернатив — это 3 или 4. Имея две альтернативы, экзаменуемый начнёт догадываться о правильном ответе, особенно, если альтернативы похожи друг на друга (менее способные экзаменуемые встретят больше трудности, чем более способные при выявлении различия между этими альтернативами). Обычно трудно найти более 4 интересных и оригинальных альтернатив, и к тому же на их чтение уйдет больше времени экзаменуемого». Вероятно, минимальное количество возможных альтернатив — это действительно 3, что касается максимального количества альтернатив, то, скорее всего, их количество будет зависеть от объёма теста предлагаемых альтернатив. В том случае, если это цифровые выражения, навряд ли 5—6 вариантов могут оказаться слишком длинными для чтения. Оптимальным можно считать 5 альтернативных ответов, при этом необходимо учитывать, что не всегда это возможно.
Сколько правильных ответов может быть в тестовом задании множественного выбора?
В заданиях множественного выбора количество правильных ответов объективными причинами не ограничивается. В том случае, если вариантов правильных ответов несколько, следует видоизменить инструкцию, указав на то, что необходимо отметить буквы, соответствующие правильным ответам. Или иным образом указать на то, что правильных вариантов несколько.
Однако из практических соображений минимизации возможных форм заданий мы настоятельно рекомендуем придерживаться правила, согласно которому задание множественного выбора содержит только один правильный ответ, а в том случае, если правильных ответов несколько, то такое задание переделывается в форму заданий с альтернативными ответами. Таким образом, удаётся сократить на одну количество форм заданий и соответствующих им стандартных инструкций, что упрощает процедуру подготовки заданий.
Поиск правдоподобных однородных ответов составляет основную трудность для разработчиков заданий множественного выбора. Решить эту проблему возможно только на основе анализа результатов решения задачи.
5. Оценочные схемы тестовых заданий
Нужно ли оценивать правильно выполненное задание 1 баллом или несколькими
Существуют два подхода к оценке результатов тестирования. Первый подход говорит о том, что каждое задание должно быть оценено одним баллом в случае правильного выполнения и нулём баллов в случае его неправильного выполнения. Этот подход рационален, поскольку обработка полученных результатов становится достаточно простой и, что самое важное, этот подход наиболее объективен. В случае любой попытки присвоения какого-либо количества баллов за одно задание становится невозможным корректно оценить другие задания и обеспечить баланс оценок за задания в тесте. Рассмотрим аргументы сторонников присвоения заданиям разного количества баллов: «С помощью подсчёта баллов вы сможете выразить различие между коротким вопросом, ответ на который не займёт много времени (единичным числом или словом), или вопросом, требующим обстоятельного ответа, а также может потребоваться ответ, состоящий из многих частей, каждая из которых должна быть оценена отдельно. Другим преимуществом подсчёта баллов является то, что они отражают более точно значимость вопросов в общем экзамене. Идеальным является вариант, когда максимальное количество баллов за один вопрос равняется количеству важных элементов или отдельных действий в ответе. Например, когда в вопросе требуется назвать трёх современных английских писателей или 3 подпункта вопроса требуют подсчёта на компьютере, то максимальное количество баллов будет 3. На практике количество баллов также зависит от других факторов, таких как: важность вопроса или общий балл за весь экзамен. Для того чтобы облегчить процесс оценивания, лучше всего придерживаться определённого количества элементов/подпунктов или их совокупности».
Таким образом, сторонники присвоения разного количества баллов признают, что, усиливая дифференциацию по вопросам, они жертвуют объективностью оценки.
Предложение сторонников присвоения разного количества баллов разным вопросам строится на двух аргументах. Во-первых, разные по трудности задания оцениваются разным количеством баллов, но ведь располагая задания в тесте по мере увеличения трудности, мы уже учитываем трудность задания, резонно полагая, что каждый следующий балл получается с большими усилиями. Второе, что предлагают учитывать — это количество операций или элементов внутри задания. Однако эти операции или элементы редко имеют одинаковую трудность, как в приведённом выше примере — назвать трёх писателей или выполнить три действия на сложение. Гораздо чаще можно встретить вариант, когда действия внутри задания неоднородны по сложности. Например, для большинства расчётных задач по химии, физике в 2—3 действия оказывается, что первое действие является самым трудным и в нём сосредоточен содержательный смысл задания. Остальные действия носят преимущественно расчётный характер или в любом случае они оказываются легче первого.
0
