ЕГЭ со многими неизвестными
О том, как будет проходить единый экзамен и какие трудности встретятся на всех его этапах, наш обозреватель Светлана КИРИЛЛОВА беседует с директором Центра тестирования Министерства образования РФ Владимиром ХЛЕБНИКОВЫМ.
– Известно, что ЕГЭ обеспечивает огромная сеть центров, которые действуют во всех экспериментальных регионах. После 2005 года, когда новый экзамен будет распространен на территории всей страны, под этой сетью окажется вся Россия. Известно, что построение ЕГЭ – жестко централизованное. Все данные будут возвращаться из регионов в головной Центр тестирования. Как будет действовать эта схема?
– Министерство образования утверждает регион, в котором будет проходить эксперимент по ЕГЭ в 2003 году. Основным исполнительным органом, который проводит там ЕГЭ, является региональный комитет управления образования. Он присылает к нам в Центр тестирования информацию: какие предметы будут сдаваться в регионе, сколько школ и сколько учеников примут участие в ЕГЭ, перечень пунктов проведения ЕГЭ по тому или иному предмету, перечень пунктов первичной обработки информации, предметная комиссия, база данных выпускников. Вся информация поступает к нам в головной компьютер, специальным образом закодированная по нашим инструкциями. Таким образом, мы можем быстро получить информацию о любом ученике – участнике ЕГЭ: мы знаем, где он проживает, в какой школе учился.
– Что, если в передаче кода произойдет ошибка? Ведь тогда мы окажемся совсем в другом регионе, это будет другая школа, другой ученик?..
– Принимая данные из регионов, мы запускаем специальную программу-фильтр, которая анализирует полученную информацию и выдергивает неправильности и неточности. В прошлом году мы завернули много некорректной информации из регионов благодаря программе-фильтру.
– Здесь, в головном центре, сотрудникам уже ничего не надо делать, а только нажимать кнопки?
– При работе с большим массивом данных всегда возникают нештатные ситуации. Если они случаются, вызываем команду математиков и компьютерщиков и разбираемся. Это – бой. Здесь решения мгновенны. И вся наша работа заключается в том, чтобы решать и предотвращать нештатные ситуации.
– Если в компьютер попадет вирус или база будет взломана? Что делать тогда?
– И вирус не попадет в наш компьютер, и хакер к нам не залезет. Наша база данных отключена от Интернета. У нас к Интернету подключен только один базовый компьютер, который эпизодически, в никому не известное время выходит на связь. Мы получаем по Сети информацию, переписываем ее на жесткий диск и переносим на другой компьютер. А результаты, которые мы помещаем на наш сайт, запаролены и ежедневно обновляются.
– А если случится какая-то нештатная ситуация с компьютером во время получения и обработки данных? Могут ли бесценные данные о ЕГЭ вообще погибнуть?
– Нет. Исходные данные сохраняются в регионах. И их можно снова запросить. Но у нас таких ситуаций не было.
– Различаются первичные пункты и региональные центры обработки информации. У каждого своя функция. Как они будут работать во время ЕГЭ?
– В конце четвертого дня после проведения экзамена все материалы должны находиться в головном компьютере Центра тестирования в Москве. Все бланки ЕГЭ должны быть предварительно отсканированы в первичных и региональных пунктах обработки информации, а бланки № 1 отредактированы, бланк № 2 сканирован, отпечатан и проверен экспертами.
– Известно, что на региональные ЕГЭ нанимают специальную бригаду редакторов. Значит ли это, что редакторы, работающие с бланками, получают шанс что-то подправить в работах учащихся?
– Редакторы могут подправить ошибку или нечеткое написание в фамилии, имени, серии паспорта, названии предмета на регистрационном бланке. Но поставить на бланке № 1, где задания типа А и В, крестик в нужном месте… Нет, конечно! Для этого технический работник на сканере должен быть специалистом-предметником и знать, какой ответ правильный. Но на сканирование бланков ЕГЭ обычно нанимают студентов и людей со средним образованием. Их задача проста – нажимать кнопки и запускать бланки в лоток сканера. Когда бланк будет сканирован и поступит в память компьютера, нередко машина сомневается, как перевести ту или иную букву или цифру в символ. Тогда дело редакторов – помочь машине определить, какая цифра или буква написана в бланке. Они делают это на мониторе, используя клавиатуру компьютера…
– Главная проблема при проверке работ на ЕГЭ – это часть С, задания в свободной форме, когда ученик должен написать решение задачи или маленькое эссе. На ЕГЭ 2002 года главные проблемы были с объективностью проверки части С. Куратор эксперимента Виктор Болотов даже предлагал перенести проверку заданий части С в другие регионы. Но на ЕГЭ 2003 года ничего подобного не будет. Значит, вы предлагаете новые объективные способы проверки работ?
– В этом году мы придумали гораздо более хитрую и сложную технологию обработки части С! Напомню технологию прошлого года: бланк номер два, где записаны ответы на часть С, поступали в предметную комиссию. Там доверенные люди эти бланки зашифровывали особым локальным номером и отправляли в региональный центр обработки информации, где работа сканировалась и возвращалась на проверку экспертам предметной комиссии. Председатель предметной комиссии знал, каким кодом зашифрована та или другая работа конкретного ученика. Он же и распределял работы для проверки между двумя экспертами. Короче говоря, в технологии ЕГЭ 2002 года было немало возможностей, чтобы работа нужного ученика попала к нужному эксперту. Председатель предметной комиссии своей волей фактически распределял работы между экспертами первый, второй и третий раз. Что мы предложили сделать в этом году? Теперь задания в открытой форме будут уходить из пункта проведения ЕГЭ сразу в региональный центр обработки информации, где будут сканированы и распечатаны в особом виде: нигде на них не будет ни штрих-кода, ни фамилии ученика, ни пункта проведения экзамена – ничего, что указывало бы на то, кому принадлежит работа. Зато на бланке номер два будет проставлена фамилия эксперта, которого компьютер назначил для проверки этой работы…
– Это подразумевает, что в каждом региональном центре обработки информации должна быть база данных с фамилиями экспертов?
– Естественно. Для каждого эксперта компьютер распечатывает особый рабочий комплект, куда входят протокол эксперта, в котором он будет записывать свои оценки, и двадцать копий различных работ, которые машина назначает ему для проверки. Из принтера выходит рабочий комплект для одного эксперта с уже проставленной фамилией, потом для другого – и так далее… Председатель предметной комиссии берет пакет и говорит: эксперт Иванов! Получи. Эксперт Петров! Получи... Что получилось? Председатель предметной комиссии больше не распределяет конкретные бланки ответов конкретным экспертам. У него мы это право отняли. Далее каждый бланк с заданиями части С поступит на проверку второму эксперту, которого тоже назначит ЭВМ. Со вторым экспертом процедура повторяется. Оба протокола с заключениями экспертов сдаются в РЦОИ, там сканируются, вносятся в память компьютера, который находит два бланка с разными локальными номерами, соответствующими одной работе. Если оценки, данные экспертами, сильно отличаются друг от друга, компьютер сам назначает третьего эксперта, выбирая его имя из базы данных. Третий эксперт, даже не зная, что он третий, проверит спорную работу и даст свое заключение.
– От экспертов на ЕГЭ зависит многое, поэтому всем интересно: кто эти люди, какое у них образование?
– Преподаватели-предметники, обычно из вузов и школ. В прошлом году на ЕГЭ были проблемы: эксперты из вуза и из школы предъявляли очень разные требования к проверке работ, и потому приходилось назначать очень много третьих экспертов. Это удлиняло сроки проверки работ. Сейчас я ставлю условие, чтобы предметные комиссии добились однородности оценок у различных преподавателей.
– Но ведь это невозможно!
– Имеется в виду, чтобы требования университетских профессоров и школьных учителей не слишком отличались. Коллектив должен работать как можно более согласованно. При этом нужно быть реалистами: проверка работ должна уложиться в нормативные сроки. Пять человек, может быть, и смогут работать слаженно, но будут проверять результаты ЕГЭ два месяца! Мы рекомендовали регионам провести в апреле – мае несколько циклов репетиционных занятий с экспертами: дать им копии настоящих ответов учащихся 2002 года. Председатель предметной комиссии сможет проанализировать, кто как оценивал работы, отбраковать экспертов, которые дают заниженные или завышенные оценки. Эксперты тоже люди. Но слишком строгие и слишком либеральные нам не нужны. Не нужны люди неустойчивые: например, эксперт ставит утром высокие оценки, а после обеда – заниженные. Постепенно мы сумеем решить и эту проблему. Ведь по результату работы каждого эксперта в базе данных будет накапливаться статистика. Компьютер сам выстраивает рейтинг экспертов. Если двое из них дали близкие или одинаковые оценки, то на ЕГЭ должна учитываться оценка, выставленная тем экспертом, у кого выше рейтинг. Он является более квалифицированным. Если прошлые два года мы называли норму приблизительно – десять минут на одну работу и двадцать минут по русскому языку, сейчас мы говорим предметным комиссиям: нормируйте сами. Только проведите несколько репетиций с экспертами.
– После того как в Центре тестирования собраны все тестовые баллы из регионов – участников ЕГЭ, осуществляется еще одна операция. Тестовые баллы, выставленные по стобалльной шкале, переводятся в пятибалльную школьную шкалу. Это делается для того, чтобы выставить участникам ЕГЭ оценки в аттестат. Для этого собирается специальная комиссия. Кто входит в ее состав?
– Представители Министерства образования, Российской академии образования, Центра тестирования. Решение этой комиссии, за сколько ответов выставить какую школьную оценку, является коллегиальным. Науки здесь нет никакой, это волевое решение. Но другого подхода я не вижу. Я не люблю пятибалльную шкалу. Но как перейти от научно обоснованных тестовых баллов к каким-то отметкам? Можно в принципе сжать стобалльную шкалу до пятибалльной. Но нужно ли? Зачем вкладывать столько сил и интеллекта в то, что уже отжило?
– Как, по вашему, будут выставляться школьные отметки в будущем?
– Только по стобалльной шкале! И это потянет за собой перестройку мышления. Для начала, на мой взгляд, в школе было бы удобнее перейти на десятибалльную шкалу. От нее короче путь к шкале стобалльной.
– Центральная часть ЕГЭ – это конечно же контрольно-измерительные материалы. Известно, что их подготовка вызывает больше всего нареканий. Как обстоит с ней дело в 2003 году?
– В 2001 году объявлялся конкурс организаций, создающих КИМы по разным предметам. Выиграл Исследовательский центр проблем оценки качества специалистов. Квалифицированных специалистов по этому вопросу в стране мало, так что КИМы поступали очень сырые. Зато получалась красивая акция: вся страна участвовала в подготовке КИМов. Те авторы, которые в 2001 году готовили КИМы, в 2002 году выступали, как правило, в роли методистов, которые сортировали конкурсные задания. В основном это были авторы РАО. В середине зимы 2002 года методисты объявили, что тестовых заданий не хватает, и предложили свои услуги: стали еще и авторами.
– Очевидно, за один КИМ платили немало?
– Минимальная цена – 200 рублей, максимальная – 400. Правда, это была ставка за одно тестовое задание. Я уже говорил, что во всероссийском конкурсе на лучшие КИМы могли принять участие все, кто хочет. Другое дело – не может любой неподготовленный человек дать хорошее и по содержанию, и по форме тестовое задание. А ведь его нужно сделать еще и оригинальным! Поэтому около 80 процентов заданий, которые присылались на конкурс, – это мусор. Методисты из конкурсной комиссии давали авторам ответ, подходят тесты или не подходят. Однако конкурсное задание остается у них в руках. Они его причешут, доведут до ума и через год смогут использовать. Вот в чем сложность. Сами же авторы понимают, что какие-то тестовые задания у них могут принять официально и даже оплатить, но что-то может уйти на сторону без уплаты денег.
– Допустим, талантливый сельский учитель из глубинки составляет тестовые задания. Он не только не имеет шансов заработать денег этим очень полезным для страны занятием, но даже никогда не будет никому известен. Тогда у нас не появятся хорошие КИМы. Что же это за система, когда авторское право оставляется за методистом?
– Тестовое задание не является предметом авторских прав. Предметом авторского права является тест. Так же как отдельное слово в книге не является предметом авторского права, а «Война и мир» – да. Можно взять много разных тестовых заданий, слепить из него тест и сказать: вот тест, который построил Джек. И числиться на бумаге его составителем.
– На ЕГЭ прошлого года эксперты отметили, что тестовые задания были неравносложными для разных регионов. И в общем-то это не способствует социальной справедливости. Если уж дети сели решать задания ЕГЭ, они должны быть уверены, что варианты абсолютно одинаковые. Но для России нужно множество вариантов ЕГЭ. Вопрос – как сделать их равносложными?
– Конечно, если бы в России использовался один вариант теста – это было бы идеально. Но это невозможно. Дело в том, что определить до экзамена, какой тест более сложный, какой более легкий, трудно. Это можно выявить только математическими методами после экзамена, когда все материалы пришли в Центр тестирования. Здесь мы их статистически обрабатываем, определяем, какой тест был легче, какой сложнее. Мы используем особые методики, с помощью которых можно привести в сопоставимый вид результаты тестирования.
– Вы намереваетесь использовать какие-нибудь зарубежные методики?
– Дело в том, что отечественных методик в России никогда не было. Сейчас мы создаем их в Центре тестирования на основании зарубежного опыта.
– Как известно, используемые на ЕГЭ КИМы уходят в регионы без апробации. Их предварительная обкатка в какой-нибудь столичной школе РАО не в счет, более того – она способна даже исказить картину. Делается ли что-нибудь для того, чтобы апробировать КИМы, как это принято на Западе?
– Мы еще лет десять будем выпускать для ЕГЭ неапробированные КИМы. Что такое апробированное задание? Это задание с известными свойствами. А это можно проверить только экспериментальным путем.
– Давайте будем, как в британских школах, проводить пробное тестирование в январе – феврале или даже предыдущей осенью…
– Если проводить пробное тестирование в январе или феврале – это ничего не даст. Школьники еще всю программу не прошли. К тому же у детей на пробных тестированиях нет мотивации выполнить тесты на уровне. Кто-то будет сидеть и усердно работать, кто-то покалякает и пойдет домой. Такой апробации грош цена. За рубежом используется другой подход. В настоящий тест вставляется несколько фальшзаданий. Учащиеся не знают, что ответы на эти задания не будут учитываться при выставлении тестового балла. По результатам ответов на задание определяются его свойства. Авторы КИМов получают результаты таких заданий, анализируют их и через несколько лет вставляют фальшзадания в тесты как действующее «боевое» задание. То есть задание, результаты которого учитываются при выставлении тестового балла. Я сомневаюсь, что такой подход можно осуществить в России. Как доказать взвинченной мамаше, что ее ребенок потратил кучу времени, решая никому не нужное тестовое задание? И это вместо того, чтобы набирать баллы, решая «настоящие» задачки? «Как, мой сын полчаса просидел с этой задачкой, а она на самом деле и не учитывалась?» В общем, другой у нас менталитет. Боюсь, что в России принцип фальшзаданий неприемлем. В нашей ситуации приходится выпускать КИМы пока только на основе опыта и квалификации авторов и методистов, которые эти КИМы составляют.
– Подготовкой КИМов, обучением специалистов для ЕГЭ и созданием базы данных об участниках ЕГЭ сейчас занимаются одновременно много структур. Сколько их, кто они и почему о них вообще-то ничего не слышно?
– Министерство образования является главным диспетчером ЕГЭ, но при этом система ЕГЭ такова, что каждый исполнитель знает только свой вопрос и соприкасающиеся вопросы.
– Вероятно, это делается для того, чтобы избежать монополизма в проведении единого государственного экзамена…
– Абсолютно полная картина только в руках высшего руководства Министерства образования. Организационно-технологическое обеспечение традиционно делалось Центром тестирования Министерства образования России. Мы каждый год выигрываем тендер, да кроме нас этого просто никто не может сделать – ни у кого нет такого опыта при проведении крупных акций. Мы всегда готовили кадры для централизованного тестирования. У нас есть лицензия на этот вид образовательной деятельности. И что же? Подготовка кадров для ЕГЭ была поручена РУДН, где нет ни опытных сотрудников, ни соответствующих знаний. Далее. Контрольно-измерительные материалы ЕГЭ делают временные коллективы, костяком которых являются сотрудники Исследовательского центра проблем оценки качества и подготовки специалистов. Сама база данных переносится на электронные носители в Московском институте повышения квалификации работников образования, в лаборатории аттестационных технологий под руководством Александра Татура. Функции по ведению базы данных образовательных учреждений и выпускников – участников ЕГЭ Министерство образования передало Московскому институту электронного машиностроения. Но это структура молодая, неопытная.
– Особенно интересный вопрос – кадры для проведения ЕГЭ. Как они готовятся? Кто эти люди?
– Нужно подготовить специалистов-организаторов ЕГЭ, которые знают, как рассадить в аудитории детей, как вести себя во время экзамена, что делать при внештатных ситуациях. Хотя для этого не обязательно повышение квалификации – есть подробная инструкция об организации ЕГЭ, составленная Центром тестирования. Второй момент – подготовка технических специалистов для работы на оборудовании единого госэкзамена. Центр тестирования проводит и эту работу, и обучение кадров по шкалированию. Это методика, с помощью которой результаты ЕГЭ по первичным баллам – информация о том, сколько ученик дал верных или неверных ответов – специальным образом обрабатываются, и после этого выставляется тестовый балл, который определяет уровень подготовленности учащихся. Наши методики и монографии на эту тему опубликованы, а вот РУДН этим никогда не занимался.
– ЕГЭ проводится в России уже третий год. Пока он оплачивается из Федеральной программы развития образования. Пора подводить промежуточные итоги и подсчитать во сколько обойдется налогоплательщикам использование этой прекрасной современной технологии. Сделан ли наконец расчет материальных, кадровых и финансовых потребностей для ЕГЭ?
– Такая работа только заказана Министерством образования.
