Статья "Языковое тестирование и альтернативный контроль знаний"

Языковое тестирование и альтернативный контроль знаний

Языковой тест – это инструмент объективного педагогического измерения результатов обучения иностранному языку и культуре, прошедший процедуру стандартизации, доказавшей его валидность и надежность как контрольно-измерительного материала. Языковое тестирование применяется для того, чтобы повысить объективность оценки учебных достижений обучающихся и сделать показатели уровня их знаний сопоставимыми между собой. Проблема языкового тестирования активно изучается в современной лингвистической дидактике.

Свойства языкового теста

Прежде чем использовать языковой тест для объективных педагогических измерений, необходимо доказать его валидность. Валидность – это доказанная пригодность языкового теста для измерения именно тех знаний обучающихся, для контроля которых этот тест разработан и предназначен. Тест считается валидным, если он измеряет то, что заявляет и для чего предназначен.

Для теоретического обоснования валидности языкового теста, необходимо использовать знание теории языка, культуры и языкового тестирования. Теоретические обобщения позволяют сделать вывод о том, что разработанный тест может или не может измерять те или иные языковые знания обучающихся: результаты исследований в области когнитивной психологии убедительно показывают, что формат «заполнение пропущенных слов в тексте» (cloze procedure) соответствует когнитивным процессам чтения. Таким образом, научные исследования доказывают валидность теста типа cloze для измерения успешности чтения с пониманием как вида речевой деятельности у обучающихся.

Для экспериментального доказательства валидности необходимо использовать несколько разных тестов для измерения одного и того же «тестового конструкта» - типа языковых знаний у одних и тех же обучающихся. Если результаты тестирования одного и того же типа языковых знаний у одних и тех же обучающихся с помощью разных тестов совпадают, то разработанный тест можно считать валидным.

Чтобы убедиться в пригодности языкового теста, важно проверить его надежность – это степень гарантии, которую дает языковой тест для объективного педагогического измерения, сводя до минимума влияние субъективного мнения. Например, тесты с выбором одного правильного ответа из нескольких вариантов считаются более надежными для оценки, чем оценивание устных или письменных высказываний обучающихся экзаменатором, где значительно выше влияние на итоговый балл субъективного мнения эксперта.

Надежность языкового теста обычно доказывается экспериментально. Для этого один и тот же тест предъявляется разным группам обучающихся с разным уровнем успешности в овладении иностранным языком. Надежный тест с высокой степенью точности поможет определить уровень успешности обучающихся и четко дифференцировать их в соответствии с полученными баллами. Тест с низкой степенью надежности обладает низкой дифференцирующей функцией: обучающиеся с разным уровнем успешности в овладении языком могут получить одинаково высокий (слишком легкий тест) или одинаково низкий балл (слишком трудный тест).

История языкового тестирования

Историю языкового тестирования условно делят в лингвистической дидактике на несколько периодов, в каждом из которых возникали новые идеи и возможности объективного измерения учебных результатов обучающихся.

В донаучном периоде (до 50-х гг. XX в.) педагогические измерения делались при помощи текстов для чтения, ответов на вопросы, перевода, пересказа и воспроизведения наизусть, диктантов и описания картинок.

В психометрическом периоде (с 50-60-х гг. XX в.) разработчики языковых тестов стали активно использовать психометрические приемы психологии. Многие форматы были заимствованы: завершение неоконченных предложений, установление соответствия, выстраивание логической последовательности и др. Были также специально разработаны тестовые задания, не имевшие аналога в практике психологического тестирования (исправление замеченных ошибок в тексте, перефразирование предложения с заданным словом и др.).

В теорию и практику языкового тестирования пришли дискретное и интегративное тестирование. Дискретное тестирование означало, что предметом педагогического измерения стали отдельные элементы знаний учащихся (test items). Если тестирование разрабатывалось, как интегративное, это означало, что оценивался общий уровень языковых знаний обучающихся. Дискретность значительно повышала надежность языкового тестирования, а результаты интегративного теста в большей степени зависели от субъективного мнения проверяющего эксперта.

Для повышения надежности интегративного тестирования разрабатывались единые шкалы оценки ответов. Такие шкалы письменных или устных высказываний обучающихся сегодня включают релевантность общего содержания, четкость и ясность изложения, лексическую выразительность, грамматическую адекватность, логическую цельность и завершенность.

Стали различать языковые тесты, ориентированные на норму и критерии. В тестах, ориентированных на норму, результаты оценивались количественно - в баллах. Если тесты были ориентированы на критерии, результаты описывали достигнутый уровень сформированных теоретических или практических знаний (компетенций) в соответствии с перечисленными требованиями.

В практике языкового тестирования стали различать прогнозирующее, текущее и итоговое тестирование. Это означало, что тесты стали использоваться как до начала обучения, так и в учебном процессе с целью мониторинга прогресса обучающихся, а также по завершении обучения для оценки окончательных результатов. Классификация тестов по их типу и функциям показана в таблице:

Прогнозирующее тестирование использовалось, чтобы принять кандидата для обучения английскому языку, объединить обучающихся с примерно одинаковым языковым уровнем в учебные группы, выявить «слабые звенья» в знаниях, проанализировать языковые способности учеников.

Для анализа способностей к овладению иностранным языком обучающимся предлагается выполнить несколько грамматических операций с незнакомым для них или искусственным языком. Например, запомнить несколько «иностранных слов» с переводом, проследить за изменением словоформ в предложении, выявить типичный порядок слов, обнаружить предлоги и артикли, перевести предложения с родного языка на «иностранный».

Для мониторинга учебных достижений обучающимся регулярно предлагались тесты по мере изучения учебного материала. По результатам выстраивался график продвижения учеников в овладении материала обучения.

Итоговое тестирование было направлено на измерение объема усвоенного по конкретному образовательному курсу (achievement test) или определение в целом достигнутого уровня языкового развития без ориентации на конкретное учебное пособие (proficiency test).

Растущее внимание к типам и функциям языкового теста способствовало совершенствованию методики языкового тестирования. Этому же способствовало влияние психолингвистики (науки о психологии языка и речи).

Психолингвистический период (с 80-х гг. XX в.) развития языкового тестирования ознаменовался тем, что были разработаны и внедрены тесты для измерения успешности выполнения обучающимися заданий в четырех видах речевой деятельности (говорение и письмо, слушание и чтение) и в сфере языковых навыков (фонетика, лексика, грамматика). Делались попытки разработки материалов для тестирования речевых умений и языковых навыков, а также языковых способностей обучающихся.

В социолингвистическом периоде (с 90-х гг. XX в.) развития языкового тестирования были осознаны и признаны глобальные масштабы распространения английского языка в мире. Усилилось внимание к культурной составляющей языковых знаний, а также к тому, как субкультура (гендер, профессия, возраст, социальное происхождение, педагогические традиции) влияют на результаты языкового тестирования. Появилась и распространилась практика регионального тестирования английского языка с расчетом на социальные, культурные и экономические особенности, а также нужды региона.

Помимо американского «теста английского языка для иностранцев» TOEFL (Test of English as a Foreign Language), введенного еще в 1964 году, появились альтернативные тесты: International Test of English (Boston, USA), IELTS – International English Language Testing System (Cambridge, UK), Australian English Test for Foreigners, Occupational English Test (The University of Melbourne, Australia), Canadian English Language Test и др.

Признаваемые во многих странах национальные альтернативы тестирования английского языка разрабатываются наряду с широким «хождением» универсальных и повсеместно признаваемых международных инструментов языкового тестирования – TOEFL, а также Cambridge First Certificate English, Cambridge Advanced English и Cambridge Proficiency English.

Одним из самых популярных в мире является IELTS, в разработке которого принимают участие специалисты Великобритании и Австралии. Начиная с 1999 года, этот языковой тест проходят желающие в 121 стране мира, и их ежегодное количество превышает миллион кандидатов.

На социолингвистическом этапе развития языкового тестирования возникла необходимость унифицировать требования к уровню владению английским языком. В соответствии с «Общим европейским стандартом» (Common European Framework) стали различать базовый уровень A1-A2 (Basic user), продвинутый уровень B1-B2 (Independent user), высокий уровень C1-C2 (Proficient user). Подобная классификация принята в европейских странах и с нею сопоставляются результаты национальных экзаменов по английскому языку для выпускников школ, а также уровни языкового материала учебников.

Технологический этап (с конца 90-х гг. XX в. – начала XXI в.) развития языкового тестирования наступил в начале 2000-х годов, что было обусловлено техническим прогрессом и широким распространением компьютерных и интернет технологий. Тесты, выполняемые с помощью компьютеров (computer assisted/based tests), привлекли к себе внимание тем, что они экономят время, удобны для пользователя, немедленно сообщают результат, «настраиваются» на языковой уровень обучающихся, выполняют функции «тренажера». Недостатком компьютерных языковых тестов является зависимость результатов от информационной компетенции пользователей, интерфейса (дизайна экрана) языкового теста, компьютерной графики.

В целом, наблюдения показывают, что результаты языкового тестирования мало зависят от того, выполняется ли тест на бланке или с помощью компьютера.

Тестовые задания

Современный языковой тест для измерения языкового компонента коммуникативной компетенции обучающихся, а также умения чтения и слушания с пониманием обычно включает задания:

- выбор из списка (ticking off items in the list),

- установление соответствий (matching),

- выбор «верно – неверно» (true-false),

- множественный выбор (multiple choice),

- дополнение предложений (sentence completion),

- заполнение пропусков в тексте (cloze test),

- перефразирование с заданным словом (paraphrase),

- «встраивание» абзаца в текст (embedding),

- выстраивание логической последовательности (sequencing),

-разделение текста на абзацы (structuring the text).

- коррекция ошибок (editing).

Тестовые задания с «множественным выбором» и другие относятся к заданиям дискретного типа и используются для тестирования слушания, чтения, а также лексико-грамматических и фонетических (орфографических) навыков.

Для тестирования коммуникативного умения говорить и писать, используются задания интегративного типа:

- ответы на вопросы экзаменатора,

- описание предметов и изображений (картинок и фотографий),

- монологическое рассуждение по предложенной проблеме,

- участие в диалоге с преподавателем на предложенную тему,

- написание письма по заданному формату (письмо-жалоба и др.),

- написание письма- реакции на ранее полученное письмо,

- написание эссе в заданном формате (эссе-мнение и др.).

Тестовые задания, включаемые в языковой тест, называются «субтестами». Серия тестов, предлагаемая учащимся в течение определенного периода обучения, называется «батареей тестов».

Трудность и сложность языкового теста

Важным аспектом анализа тестовых заданий является определение их трудности и сложности.

Трудность задания обычно рассматривается, как субъективная психологическая категория, поскольку восприятие обучающимися теста, как «трудного», всегда индивидуально. Трудность возрастает, если уровень знаний обучающихся отстает от языкового уровня теста. В этом случае, ему нужно совершить значительно больше умственных операций, чем ученику, чьи знания соответствуют уровню теста или даже опережают его. Например, отстающему ученику нужно сначала вспоминать слова, потом перевести задание на родной язык, и лишь после этого приступить к выполнению теста. Трудность теста также зависит от уровня языковых способностей обучающихся и других субъективных факторов (уровень интеллекта, ситуационная усталость и проч.)

Сложность теста – это объективная дидактическая категория, которая определяется составом учебных действий, из которых состоит тестовое задание. Чем больше действий в арифметической задаче, тем она сложнее для учеников. Простой по составу языковой тест объединяет ограниченное количество вопросов, на которые нужно ответить. Более сложный по составу тест предполагает, что обучающимся нужно совершить значительное количество познавательных действий. Например, сложным по составу является задание «вставить абзац в текст». Для этого обучающимся нужно прочитать текст до конца и понять его, разбить текст на абзацы, прочитать отдельно стоящий абзац и понять его, принять решение о месте этого абзаца в общей логике текста, вставить абзац в текст и еще раз проверить логику всего текста. Сложным по составу является задание написать письменное высказывание с элементами рассуждения (эссе) и другие творческие тестовые задания. Для снижения уровня сложности языкового теста, необходимо упростить задание за счет сокращения количества действий, необходимых для его выполнения.

Языковое тестирование в педагогическом контексте

Лингвистическая дидактика исследует проблемы, возникающие в связи с использованием языковых тестов в педагогическом контексте: эффект обратного влияния (backwash effect/ washback effect), этические аспекты тестирования (ethics of testing).

Эффект обратного влияния проявляется в том, что в учебном процессе в качестве приемов обучения начинают активно использоваться задания тестового формата и главной целью обучения английскому языку и культуре становится подготовка к тестированию. Исследования подтверждают положительный эффект обратного влияния, так как повышение уровня сложности языкового тестирования способствует тому, что обучение английскому языку начинает проводиться на более высоком уровне. Например, включение в формат ЕГЭ по английскому языку письменного высказывания с элементами рассуждения (эссе) привело к тому, что в школах начали достаточно эффективно обучать этому жанру письменной речи. Повысился уровень умения обучающихся слушать и читать с пониманием, ориентироваться в словообразовательных моделях, выполнять лексико-грамматические задания. Вместе с тем, меньше внимания стали уделять обучению устному рассуждению, познавательному чтению на английском языке, нравственному воспитанию.

Другой проблемой использования языковых тестов с обучающимися является этическая сторона. Этика тестирования предполагает, что обучающихся нужно познакомить с целями применения теста, предупредить, как будут использоваться результаты их тестирования, информирование обучающихся о том, кто сможет познакомиться с результатами их тестирования, заблаговременное познакомить обучающихся с форматом тестирования, создать максимально благоприятные условия для выполнения заданий во время тестирования, сделать результаты теста доступными для обучающихся с целью ознакомления с допущенными ошибками и оспаривания оценок, гарантировать конфиденциальность индивидуальных достижений.

Источники:

1. Lyle Bachman, Adrian Palmer. Language Assessment in Practice. Oxford. Oxford University Press. 2008. - 520 p.

2. Glenn Fulcher, Fred Davidson : an advanced resourse book. - N. Y.: Routledge, 2007. - 424 p.

3. Bernard Spolsky. The Prehistory of TOEFL // Language Testing. 1990. №7. P.98-118.

4. Цатурова И.А., Балуян С.Р. Тестирование устной коммуникации. М., Высшая школа. 2004. - 128 с.

5. Комарова Е.Ю., Мильруд Р.П. Трудность и сложность языковых тестов: сущность, источники, преодоление // Иностранные языки в школе. 2012. № 2. С.11-17.