Наталья Наумова, 11.04.2019 7

Как избежать проверки по результатам ВПР? Пара советов из матстатистики


Это письмо было написано мной для завучей школ того района, где я имею счастие быть муниципальным координатором по проведению Всероссийских проверочных работ. Надеюсь, что оно поможет коллегам расставить некоторые стулья по своим углам.


Обсудить статью (уже 7 коммент.) Опубликовать свой материал

Здравствуйте, уважаемые организаторы ВПР в ОО!

Мое обращение к вам содержит много букв, но я настойчиво прошу вас внимательно дочитать его до конца.

Я долго думала о том, что же это за зверь такой — «необъективность оценивания».

И сейчас — в преддверии ВПР — целью моего обращения будет попытка избавить школы от страха перед грядущими событиями, а также убедить вас не прилагать лишних усилий при проведении и проверке вышеупомянутых работ.

Начну с того, что в недалеком прошлом главным показателем в отчетах была результативность. Сейчас добавились новые понятия, например — качество.

Приведу пример: показатель качества стрельбы — степень разброса снарядов вокруг мишени. Насколько велик разброс — зависит от качества орудия и умения стреляющего. Понятно, что чем больше выстрелов, тем меньше должен быть разброс.

Как измерить качество стрелка? И тут на помощь приходит великая и могучая теория вероятностей с дщерью своей математической статистикой, которые, при наличии только среднего значения, очень жестко обозначат коридор, в который попадут качественные результаты. А про те, которые не попали, можно с уверенностью сказать, что были изменены исходные условия (например, снайпера кто-то толкнул под руку).

Что означают результаты ВПР школы?

Допустим, школа показала 76% качества знаний по одному заданию одного предмета. Что это означает? Значит, что 19 человек из 25 справились с работой. В рамках отдельно взятой школы — это одно. А в свете ОЧЕНЬ большого количества писавших — другое. То есть, если среднее значение (вычисленное после получения результатов) равно 62%, а коридор — плюс-минус 2%, то к данной школе возникнут вопросы:

  • Что происходило в момент написания работы?
  • В каких условиях проходила проверка?
  • Как отправлялись данные (может, заполнявший форму тыкал куда попало)?

Таким образом, всякое существенное изменение условий резко влечет изменение вероятности наступления события. И отправленные школой результаты попадают в суровые, но справедливые объятия закона больших чисел, не терпящего обмана и подтасовок.

Кстати говоря, благодаря этому закону по качеству маленькой щепотки зерна можно судить о качестве всего вагона. Или вы могли наблюдать в фильмах картину: проткнув пакет и взяв только кончиком ножа наркотик, преступники определяли качество всего пакета.

Вы спросите: к чему я тут умничаю, когда дел невпроворот?

Как не привлечь к себе внимание? 

Согласно всему вышесказанному, я ПРИЗЫВАЮ школы сделать следующее:

  • провести работы в классах так, как идет: никому не помогая, никого не осаждая (не стоит пытаться угадать — вы не знаете, каким будет среднее значение по России);
  • проверять строго по критериям, в случае спорных моментов — советоваться, созваниваться с коллегами;
  • внимательно отнестись к отправке данных, не согласовывая их с оценками в четверти, а как есть;
  • если весь класс написал на «2», то произнести фразу, которая сопровождает меня с начала педагогической деятельности: «Если двойки стоят в строчку, то дурак — ученик, а если в столбик — учитель», и подумать: а чему, собственно, учит данный педагог детей? Но, мне кажется, что в нашем районе с этим проблем нет. Или же я их пока не увидела.

Также следует отметить, что эта внешняя оценка — двусторонняя. То есть, если разработчики ВПР по биологии дали задание с ожидаемой вероятностью выполнения 20% и коридором — плюс-минус 5%, а с ним справились 10% школьников России, то они могут сказать себе слова из п. 4 настоящего письма.

Резюмирую: необъективность оценивания — это непопадание каких-то результатов школы по каким-то из показателей в коридор отклонения. Это может возникнуть только по причинам, описанным в начале письма. Поэтому, даже если у вас слабая успеваемость в классе, проведя работу так, как я описала выше, вы никогда не попадете в категорию «необъективность оценивания».

За то, что говорю здесь и предлагаю сделать, я несу полную ответственность и гарантирую 100%-ый результат.

Я понимаю, что не так просто поверить в истинность утверждений не известной никому фифы, но лучшим подтверждением моих слов является то, что если вы до сих пор следовали пунктам 1-4, то даже при условии общей низкой успеваемости классов вы не попали в категорию «необъективность». Поэтому страха быть просто не должно. И бояться вам совершенно нечего.

Спасибо, что дочитали до конца. От всего сердца желаю нам пройти это испытание честно, грамотно и легко.

Со всеми наилучшими,
Наталья Наумова.

От редакции: мы разработали шаблоны-анализаторы — файлы, которые позволяют автоматически провести анализ результатов ВПР: вы вводите данные и результаты учеников — файл сам готовит отчет, готовый к распечатке. Сотни учителей по всей России скачали эти шаблоны. Хотите узнать подробнее и получить образец? Смотрите наш сайт

Спасибо за Вашу оценку. Если хотите, чтобы Ваше имя
стало известно автору, войдите на сайт как пользователь
и нажмите Спасибо еще раз. Ваше имя появится на этой стрнице.



Комментировать Поделиться Разместить на своем сайте
Ошибка в тексте?

Есть мнение? Оставьте свой комментарий:
Комментарии:
avatar
Поддерживаю комментарйи0Не согласен с высказыванием
7 Комментарии • 06:33, 15.04.2019
Раньше писали контрольные работы и можно было проверить качество. Смысл давать детям то, что не изучали- подловить учителя! Приходите в школу работать, желание "подловить" возникать не будет. У чиновников одна проблема - уличить учителя в чем-либо.
avatar
Поддерживаю комментарйи0Не согласен с высказыванием
5 Комментарии • 09:00, 12.04.2019
Автору...Вам невероятно повезло...В Вашей школе НИКТО Вас не ругает... У Вас не будут учитывать результаты ВПР при аттестации... У Вас ОДИН класс - 5 и ОДИН предмет, так что, вуаля, "отстрелялись" - и наслаждайтесь....Тем более, что к ВПР Вы как-никак, а готовились... Тем более, что как раз математика - это тот предмет, преподаватели которого как раз - горячие сторонники и ЕГЭ и ОГЭ, и, теперь получается, ВПР. Вывод - разработчики заданий по МАТЕМАТИКЕ - адекватные люди и не вызывают острого неприятия у учителей своими "шедеврами мысли"...

А теперь - немного реальности по по-поводу Вашего утверждения о том, что "страха быть не должно" и надо только попасть в "коридор отклонения"..

1. В предметах, не относящихся к точным наукам большая часть заданий - связана с формулировкой мыслей и высказываний по вопросу, которые оцениваются по некоему шаблону ответа...Причем, ребенок должен сформулировать ответ так, как хочется взрослой тете, составлявшей тест..Ибо она, тетя эта детей в глаза не видела и о слабом словарном запасе детей просто не в курсе...Ну - это решаемо...готовимся...учим словосочетаниям...

2. С ВПР пострадали больше всех сельские учителя. Представьте, что у меня, к примеру - ВСЕ параллели с 5 по 7 и по ТРЕМ предметам пишут ВПР, Причем, все они к точным наукам не относятся... Так что "что будет происходить"...с первого дня - зоопарк. Ибо только, кажется я понимаю, что дети - не роботы и писать целый месяц реально контрольные по 7 предметам не в состоянии качественно.

3. Дети часто и не пытаются пи сать хорошо. Стараются они на математике и русском - это же ГЛАВНЫЕ предметы, как принято считать в нашем образовании. На остальных ВПР можно видеть картину, когда ученик ПРОСТО НЕ ХОЧЕТ стараться, а потом говорит, что незачем, так как "ему ничего за это не будет"...

P.S. пишу не потому, что у меня проблемы)) Из того, что УЖЕ прошло - результаты нормальные, соответствующие четвертным оценкам...Хотя, судя по Вашей статье - не факт что они уложатся в "коридор"...Вдруг чисто случайно те 5 человек, которые сидят в моем маленьком классе малокомплектной школы ну немнооожечко посильнее среднестатистического ученика, так дорого сердцу статистика?
avatar
4 Комментарии • 06:40, 12.04.2019
Да, никто ни кого не ругает и не наказывает. Просто просят заполнить 100 отчётов по ВПР, ТОГЭ, ТЕГЭ, ОГЭ и ЕГЭ. Если написали плохо - учитель не компетентен, если хорошо - результаты не правдоподобны. Как хорошо быть чиновником и давать рекомендации как надо учить и чему учить. Хоть один бы грамотный чиновник провёл в школе вместе с учителем ровно неделю, особенно когда нагрузка учителя составляет 33,5 недельных часа вместо 18, при этом 9 класс ОГЭ, 11 -ЕГЭ, 5, 6 - ВПР, классное руководство, участие в краевых проектах, ЭДиЖ, и много чего ещё интересного, а после этого бы послушать их отчёт о качествах учителя и его компетентности.
avatar
3 Aliselizabeth • 23:13, 11.04.2019
Спасибо большое за проявленный к теме интерес. Отдельно благодарю за «ответственную чиновницу» - мне понравилось. Хочу внести некоторую ясность, так как, судя по комментариям, статью поняли превратно (или не хотели понять).
1. Я - учитель-предметник с нагрузкой в 23 часа. В этом году имею счастье преподавать в пятом классе, поэтому меня, как и моих коллег, 23 апреля ожидает написание работы. Что будет происходить:
- завуч раздаст детям КИМы на том уроке, который будет по расписанию вторым;
- дети напишут, не боясь неизвестных задач и двоек, потому как знают, что им ничего не будет за эту работу;
- завуч отдаст работы на проверку моей коллеге, с которой я работаю в параллели, та проверит, отдаст мне, я заполню протокол; меня не волнует количество двоек (меня оно волнует только в том случае, если я дала работу по теме, а дети её не написали) - меня НИКТО не будет ругать за результат;
- завуч отправит протокол, не опасаясь никаких последствий, потому что мы всё сделали честно. Именно это понятие заложено в основу ВПР.
Не страшась быть закиданной тухлыми помидорами, глубоко убеждена в том, что ВПР - один из самых объективных мониторингов нашего образования, с помощью которого школа может обнаружить у себя проблемы и работать с ними. Эту идею извратили на пути к школе недобросовестные работники районных комитетов и трусливые администрации школ, превратив ВПР в инструмент устрашения. И, работая по совместительству в одном из таких комитетов, я изо всех своих слабых сил стараюсь объяснить школам, что не надо завышать и подгонять оценки.
Оба комментария намекают мне на то, что над учителями в школе просто измываются.
2. Я никогда не позволяла себе дурно отзываться о школьных предметах, тем паче - о том, что биология, например, суть - черви, а литература - набор слов. Если Вы полагаете, что математика - отдельно, а вот она - настоящая жизнь - отдельно, то мне остаётся глубоко посочувствовать Вашим ученикам.
avatar
2 masha22093 • 21:04, 11.04.2019
И еще вдогонку - именно МАТЕМАТИКИ и разваливают образование. С тех пор, как все и вся стали исчислять и в циферки переводить - педагогика кончилась, осталась бухгалтерия...Иду считать результаты сегодняшней дикой ВПР...в заданиях которой - 30% - еще не изученного, предусмотренного программой для изучения в мае... Я, как выясняется - плохой учитель
avatar
1 masha22093 • 21:00, 11.04.2019
Вот уж спасибо-то)) Наконец-то увидела от "ответственной за ВПР" чиновницы ЧЕСТНЫЕ слова - в тестах ЗАРАНЕЕ включена НЕВЫПОЛНИМОСТЬ, то, что автор обозвала "коридором". А мы-то удивлялись - зачем тесты включают еще не изученные темы, задания и вопросы, которые ребенку вообще знать в этом классе не положено, он это пару лет назад изучал, или будет изучать в следующем году... Теперь - все ясно. Главная цель -ПОДЛОВИТЬ учителя, показать, что он по определению - подтасовщик и дурак. А вот двоек не должно быть, это чиновницу не устраивает, тогда, мол, учитель дурак вдвойне...

и вообще - есть целый ЗАКОН каких-то там ЧИСЕЛ, которые нельзя обмануть...И с высокомерием МАТЕМАТИКА-цифирника, а нам гарантируют РЕЗУЛЬТАТ..

а суть статьи - пусть будет как будет - написали на двойки - отчитываетесь с двойками, а не то попадете под проверку, но если у вас двойки, то вы - плохой учитель...но ведь, судя по вашим надеждам, автор, в ВАШЕМ районе плохих нет....

Замкнутый круг Есть двойки - ты плохой...нет двоек - ты не правильно проверял и проводил, то есть тоже - плохой

И это вместо того, чтобы сказать честно и прямо, что тестилки ВПР - никуда не годный ИНСТРУМЕНТ, коряво составленный и ставящей главной целью - ПОСТРОИТЬ учителей по цифиркам и ранжиру средствами ВЕЛИКОГО ЗАКОНА ЧИСЕЛ...
avatar
Поддерживаю комментарйи1Не согласен с высказыванием
6 Екатерина_Пашкова • 09:11, 12.04.2019
Да, в любой тест специально вставляют задания, которые должны быть не выполнены. Если на них оказался дан ответ, значит, что-то не то с проведением теста. "Подловить" же есть за что, да?