Организация, проведение и экспертная оценка мониторинговых исследований качества знаний обучающихся на уровне образовательной организации
Государственное автономное учреждение
дополнительного профессионального образования
Чукотского автономного округа
«Чукотский институт развития образования
и повышения квалификации»
Центр оценки качества образования и аттестации
Организация, проведение и экспертная оценка мониторинговых исследований качества знаний обучающихся на уровне образовательной организации
Методические рекомендации
В сборнике представлены методические рекомендации по организации, проведению и экспертной оценке мониторинговых исследований качества знаний обучающихся на уровне образовательной организации.
Представленные материалы образуют целостную систему методического сопровождения мониторинговых процедур, структурированную в соответствии с требованиями, предъявляемыми к организации, проведению и обработке полученных результатов мониторинговых исследований качества знаний обучающихся.
Сборник методических рекомендаций адресован педагогическим и руководящим работникам образовательных организаций Чукотского автономного округа.
Содержание
Введение …………………………………………….……………3
1. Мониторинг деятельности образовательной организации……4
2. Оценка качества образования на уровне образовательной организации………………………………………………………10
3. Организация и проведение диагностических процедур в образовательной организации………………………………….16
4. Обработка и анализ результатов мониторинговых исследований качества знаний обучающихся на уровне образовательной организации……………………………….…27
Заключение………………………………………………………36
Приложение……………………………………………………...39
Список литературы………………………………………………54
Введение
Проблема получения качественной, объективной информации в области педагогической деятельности приобрела важное значение, поскольку начала формироваться социальная база потребителей такой информации. В ней испытывает необходимость и учитель для самооценки профессиональной деятельности и оценки достижений ученика с целью корректировки педагогических воздействий; и руководитель образовательной организации для определения стратегии его развития, для оценки качества работы педагогов и корректировки многообразных управленческих решений.
Эффективность образовательной организации определяется рядом факторов:
- как школа формирует личность, способную жить в ситуации социальной неопределенности, ставящей перед личностью вопросы и требующей от нее самостоятельных ответов,
- как школа готовит учащихся к позитивной самореализации: познавательной, профессиональной, семейной, духовно-культурной, общественно-политической,
- удовлетворяет ли школа запросы конкретных социопрофессиональных групп и социокультурной сферы.
В этой связи именно мониторинг становится действенным механизмом определения эффективности той или иной управленческой стратегии и, что наиболее важно, выделения факторов, обеспечивающих или, напротив, тормозящих достижение максимально возможной эффективности образовательного процесса.
I. Мониторинг деятельности образовательной организации
Понятие «мониторинг» не имеет однозначного толкования. В общем виде его можно определить, как постоянное наблюдение за каким-либо процессом с целью выявить его соответствие желаемому результату или исходному положению. Под мониторингом в образовании понимается система сбора, обработки, хранения и распространения информации об образовательной системе или отдельных ее элементах, ориентированная на информационное обеспечение управления, позволяющая судить о состоянии объекта в любой момент времени и дающая прогноз его развития.
Мониторинг является наиболее совершенным способом информационного обслуживания и компонентом системы управления качеством образования.
Для мониторинга в педагогическом процессе характерны пять основных функций:
ориентировочная – ориентирование субъекта в жизненном пространстве на основе полученной и получаемой информации;
конструктивная – кристаллизация индивидуальной позиции личности с одной стороны, расширение личностного пространства за счет установления позитивных контактов и взаимодействий с другими людьми – с другой;
организационно-деятельностная – определение наиболее оптимальной позиции личности в процессе выполнения той или иной деятельности за счёт постоянной интеграции получаемой информации и научно-теоретического знания;
коррекционная – необходимая коррекция выполняемых задач, позиции личности в процессе деятельности;
оценочно-прогностическая – дискретный процесс сравнения получаемой в ходе мониторинга информации с контрольными точками и предполагаемым конечным результатом исследования.
Мониторинг в образовании не заменяет и не ломает традиционную систему управления, а способствует обеспечению её стабильности, долгосрочности и надёжности.
Педагогический мониторинг имеет специфический объект изучения и обеспечивает педагогов, руководителей образовательной организации и органы управления образованием качественной и своевременной информацией, необходимой для принятия решений по оптимизации различных уровней образовательного процесса. Объектами педагогического мониторинга являются результаты учебно-воспитательного процесса и средства, используемые для их достижения.
Различают следующие виды мониторинга:
дидактический – слежение за различными сторонами учебно-образовательного процесса;
воспитательный – слежение за различными сторонами воспитательно-образовательного процесса. Учитывается система связи, отношений, характер взаимодействия участников образовательного процесса;
управленческий – слежение за характером взаимодействий на различных управленческих уровнях в системах: руководитель – педагогический коллектив, руководитель – ученический коллектив, руководитель – коллектив родителей, руководитель – внешкольная среда, учитель – учитель, учитель – учащиеся, учитель – семья;
социально-психологический – слежение за системой коллективно-групповых, личностных отношений, за характером психологической атмосферы в коллективах, группах.
Задача любой образовательной организации – обеспечить условия для качественного образования обучающихся. Мониторинг может стать одним из таких условий, если в его основе лежат следующие принципы организации.
Принцип непрерывности. Мониторинг должен определять моменты перехода одного качества в другое, корректировать, поддерживать или ослаблять соответствующие тенденции образовательного процесса.
Принцип научности. Подразумевает такую организацию слежения, которая построена на научно обоснованных характеристиках образовательного процесса, исключает житейско-бытовой подход к их оценке.
Принцип воспитательной целесообразности. Педагогический мониторинг не является самоцелью, а выступает средством глубокого изучения и надежным инструментом управления образовательным процессом. В использовании методов, приемов педагогического мониторинга не могут быть применены технологии, наносящие ущерб интересам и достоинству личности.
Принцип диагностико-прогностической направленности. Информация, полученная в ходе слежения на основании заранее разработанных критериев, должна быть соотнесена с определённой нормативной картиной педагогического процесса.
Принцип прогностического мониторинга. Смысл педагогического мониторинга состоит не только в том, чтобы сделать заключение о тенденциях развития образовательного процесса, но и в том, чтобы предвидеть возможные направления педагогической деятельности, направленные на поддержку и развитие положительных и трансформацию нежелательных явлений.
Применительно к школе выделяют следующие виды мониторинга:
по масштабу целей образования – стратегический, тактический, оперативный;
по этапам обучения – входной, промежуточный или итоговый;
по временной зависимости – ретроспективный, предупреждающий, текущий;
по частоте процедур – разовый, периодический, систематический;
по охвату объектов наблюдения – локальный, выборочный, сплошной;
по организационным формам: индивидуальный, групповой, фронтальный;
по формам объект-субъектных отношений – внешний (социальный) взаимоконтроль, самоанализ;
по используемому инструментарию – стандартизированный, нестандартизируемый, матричный и др.
В рамках формирования образовательного мониторинга выделяют четыре иерархических уровня:
Внутришкольный уровень. Образовательный мониторинг фиксируется в виде обобщенного системного представления о деятельности школы по достижению поставленной перед ней цели, а также о деятельности каждого ученика. Вырабатывается соответствующая прогнозная информация в её психолого-педагогической интерпретации.
Муниципальный уровень. Развёрнуто представление о деятельности муниципальной системы образования в целом и её элементах. Вырабатывается прогноз о развитии системы образования на данной территории.
Региональный уровень. Образовательный мониторинг фиксирует представление о деятельности региональной системы образования в целом и её элементах (муниципальных образованиях). Вырабатывается прогноз о развитии системы образования в регионе.
Федеральный уровень. Раскрывается представление о деятельности федеральной системы образования и вырабатывается соответствующий прогноз по аналогии с региональным уровнем.
Функции образовательного мониторинга на каждом уровне приобретают специфические характеристики. Структура образовательного мониторинга определяется в первую очередь функциями его элементов. Она отражает связь между элементами мониторинга на каждом уровне его формирования.
Характеристики системы:
Источники информации. Так как объектом наблюдения в образовании является ребёнок, он является основным источником информации. На каждом уровне полученная от ребёнка информация соответствующим образом обобщается, и тогда в роли источника выступает класс, школа, муниципальное образование, регион.
Обработка информации. Проводится на каждом уровне с учётом его специфики для получения соответствующего обобщения и анализа.
Хранение информации. На каждом уровне сохраняется необходимая информация для сравнительного анализа и прогнозирования.
Распространение информации. Преемники информации находятся практически на всех уровнях управления процессом обучения – от учителя до Президента России, но при этом для каждого из них выделен свой уровень обобщения и анализа исходных данных об ученике.
Получение объективных данных в процессе образовательного мониторинга зависит от наличия инструментария, позволяющего отслеживать функционирование объекта, соотносить данные с определёнными контрольными точками и фиксировать их.
Инструментарий педагогического мониторинга включает:
формальные данные: анализ (многофакторный, последовательный, причинный, системный, структурно-функциональный и т.д.) документов, компонентов;
социологические инструменты: опросы (анкетный, выборочный, прессовый, репрезентативный, социометрический, экспертный и т.д.);
психологические инструменты: тесты, диагностические методики, беседы;
педагогические инструменты: срезы знаний, тесты, собеседования, эссе;
экспертные инструменты: экспертиза и аудит;
экономические инструменты: функционально-персональный анализ; бухгалтерский учёт;
систему координат: в её рамках проводимые исследования будут корректными (иногда задают контрольные точки, сравнение с которыми характеризует динамику развития объекта);
банк данных, куда поступает полученная информация;
специальные компьютерные программы: помогают в сборе и обработке данных;
различные проекты (модели) развития объекта: с проработкой тех или иных условий, необходимых для оптимальной коррекции процесса развития;
неформальные (ненаучные) инструменты.
Таким образом, в мониторинге как процессуальном явлении с позиции его качественного состояния должны быть чётко указаны:
содержание – признаки качеств конкретного управляемого объекта;
форма – способы сбора и обработки информации о признаках качества конкретного управляемого объекта, требующие особой упорядоченности их содержания;
результат – оценка качественного состояния конкретного управляемого объекта, отражающая особенности сравнений фактически наблюдаемых признаков с их нормативными требованиями.
II. Оценка качества образования
на уровне образовательной организации
К настоящему времени сложились следующие направления оценки качества образования:
государственная итоговая аттестация выпускников 9-х и 11-х классов образовательных организаций;
лицензирование и аккредитация образовательных организаций и аттестационное тестирование обучающихся;
самообследование, самоанализ деятельности образовательных учреждений в рамках аттестационных процедур;
профессиональная аттестация педагогов;
общественно-государственная экспертиза деятельности организации и педагогический деятельности;
мониторинг уровня обученности разного уровня на основе проведения диагностики образовательных достижений учащихся (стартовый, рубежный и итоговый контроль качества обучения по различным образовательным предметам);
внутришкольный контроль, направленный на определение уровня обученности и социально-психологического развития учащихся.
Система внутришкольного мониторинга – это совокупность методических и технических средств, процедур сбора, анализа и хранения информации, обеспечивающих постоянное наблюдение за динамикой отношений главных субъектов учебно-образовательного процесса в аспекте рассогласования культуры производства и культуры потребления образовательных услуг, условий протекания их совместной деятельности, результатов освоения учебной программы, степени удовлетворения образовательных потребностей. Целью его является информационно-аналитическое обеспечение принятия управленческих решений, направленных на согласование позиций в ситуации возникновения дисгармонии отношений участников учебно-образовательного процесса.
Школьная система оценки качества образования должна отражать и образовательные достижения учеников, и образовательный процесс. Это интегральная характеристика системы, отражающая степень соответствия реальных достигаемых образовательных результатов нормативным требованиям, социальным и личностным ожиданиям.
Школьная система оценки качества образования включает в себя две согласованные между собой системы оценок:
- внешнюю оценку, осуществляемую внешними по отношению к школе службами; (результаты единого государственного экзамена и основного государственного экзамена, мониторинговые исследования федерального, регионального и муниципального уровня);
- внутреннюю оценку (самооценка), осуществляемую самой школой – обучающимися, педагогами, администрацией.
Таким образом, комплексная оценка качества образования в школе затрагивает не только знания учащихся, но и их индивидуальные успехи, социальные навыки, проявление творческих способностей, ключевых компетенций. При этом следует учитывать, что, оценивая качество организации процесса образования на уровне необходимо иметь в виду весь комплекс вопросов условий обучения, в которых школьники добиваются своих индивидуальных достижений (начиная от организации питания и досуга до учебно-методического и кадрового обеспечения образовательного процесса).
К индикаторам качества образовательного процесса следует отнести:
- процент детей, получающих основное образование в разных формах в соответствии со ст. 10 Закона РФ «Об образовании»;
- процент урочных и внеурочных занятий;
-процент внеучебной деятельности (проектной, исследовательской, игровой, художественной, музыкальной и т.п.);
- процент занятий с использованием современных образовательных технологий, в том числе информационных.
К индикаторам результатов учебной деятельности относятся:
- процент учащихся, имеющих собственный индивидуальный прогресс в образовании;
- промежуточные и итоговые когнитивные (учебные) достижения учащихся;
- внеучебные достижения, их соотношение в оценке деятельности детей (по ступеням образования);
- процент второгодников, отсева;
- процент детей, поступивших на следующую ступень образования;
К индикаторам условий и ресурсов общеобразовательного учреждения можно отнести:
- финансирование образования по источникам;
- общие затраты времени («цена» образования) на освоение основной образовательной программы основного общего образования;
- квалификация учителей и преподавателей;
- эффективность использования образовательных технологий и информационных ресурсов.
При формировании школьной системы оценки качества образования перед каждым учреждением возникает минимум три проблемы:
1. определение подходов к построению школьной системы оценки качества образования с учетом особенностей каждого общеобразовательного учреждения;
2. формирование внутришкольной организационно-правовой базы для создания школьной системы оценки качества образования;
3. определение критериев, показателей и индикаторов для получения объективной и достоверной информации о результатах деятельности учреждения.
В определении подходов к построению системы оценки качества образования каждому общеобразовательному учреждению необходимо ответить на следующие ключевые вопросы:
- С какой целью будет использоваться создаваемая система?
- Что будет оцениваться?
- Насколько объективными, надежными и обоснованными должны быть результаты? Возможна ли их интерпретация?
- Какие выводы должны быть сделаны на основе этих результатов?
- Какие проблемы могут возникнуть в процессе разработки инструментария и проведения оценки?
Вся полученная аналитическая информация в результате комплексной оценки качества образования (информационный компонент) может быть использована в «портфолио» обучающихся, педагогических и руководящих кадров для отражения индивидуальных достижений; использована при проведении анализа деятельности общеобразовательного учреждения, в публичном докладе, который размещается на сайте школы.
Организация работы школьной системы оценки качества образования в первую очередь требует разработки нормативно-правовой базы, которая создается на основе и в соответствии с нормативно-правовыми документами федерального, регионального и муниципального уровня и представляет собой единый комплекс нормативных документов, регламентирующих нормы и правила функционирования школьной системы оценки качества образования и обеспечивающих взаимосвязь между всеми ее элементами.
Нормативно-правовая основа школьной системы оценки качества образования должна устанавливать:
разграничение полномочий между муниципальным уровнем и уровнем образовательного учреждения в вопросах оценки качества образования;
порядок оценки качества образования (процедура и технология);
порядок сбора, обработки, систематизации, хранения и публикации данных о школьном качестве образования;
порядок разработки, апробации и сертификации измерителей школьной оценки качества образования;
порядок информирования потребителей образовательных услуг о состоянии качества школьного образования.
Тестовый контроль является одной из форм объективизации оценки качества учебного процесса.
Классифицируя уровни педагогического тестового контроля в системе образования, можно выделить следующие виды контроля:
Входной контроль – вступительные испытания – проводятся для оценки уровня и качества подготовки учащихся с целью выявления их потенциальных возможностей обучения.
Текущий контроль – осуществляется с помощью устного опроса, письменных контрольных работ, а также – с помощью педагогических тестов. Может осуществляться в ходе повседневной учебной работы с помощью нескольких вариантов теста, разработанного самим учителем. Этот вид контроля имеет большое значение для стимулирования у учащихся стремления к систематической самостоятельной работе над выполнением классных и домашних заданий, повышения интереса к учению и ответственности за его результат.
Тематический контроль – выявляет степень усвоения раздела или темы учебной программы. На основании данных тематического контроля учитель может сделать вывод о необходимости дополнительной проработки данной темы в случае неудовлетворительных результатов контроля, либо перейти к изучению следующей темы, если результаты контроля подтверждают хорошую подготовку учащихся.
Промежуточный (рубежный) контроль – выявление результатов определённого этапа обучения. Промежуточный тестовый контроль проводится после изучения раздела, модуля программы или в конце учебного периода. Он состоит из проверки учебной деятельности обучающихся по освоению сравнительно большого по объёму материала. Поэтому к промежуточному педагогическому тесту предъявляются повышенные требования. Он должен обладать достаточно высокой надёжностью и валидностью.
Итоговый контроль (аттестация) – при итоговой аттестации роль общепризнанной нормы играют требования Государственных образовательных стандартов. Процедура аттестации допускает использование различных форм и методов контроля, среди которых наиболее важное место по праву отводится научно обоснованным тестам. Тесты открывают новые возможности в процессе аттестации. Цель итогового контроля – оценка работы учащихся после прохождения всего учебного курса.
III. Организация и проведение диагностических процедур
в образовательной организации
1. Цель мониторинговых исследований:
- обеспечение функционирования федеральной региональной, муниципальной, школьной систем оценки качества образования,
- оценка качества знаний обучающихся по общеобразовательным предметам,
- отслеживание механизма преемственности различных ступеней (уровней) образования,
- формирование системы внешнего оценивания качества деятельности педагогических работников и готовности обучающихся образовательных организаций к оцениванию знаний в независимых формах.
2. Необходимые условия для проведения диагностических процедур:
- подготовка персонала, ответственного за организацию и проведение мониторинговых исследований (ознакомление с нормативными правовыми актами и нормативно-методическими материалами, регламентирующими подготовку и проведение мониторинговых исследований, с организационной, технологической и содержательной составляющими мониторинговых исследований, обучение привлекаемого персонала);
- подготовка оборудования (проверка и наладка оборудования, используемого для проведения мониторинговых исследований, обеспечение бесперебойной работы в режиме «on-line» ответственного сотрудника пункта проведения мониторингов с сотрудниками Отдела оценки и контроля качества образования по вопросам подготовки и проведения мониторинговых исследований);
- подготовка экспертов, привлекаемых для проверки заданий мониторинговых исследований качества знаний (обучение экспертов-предметников на уровне образовательной организации);
- подготовка обучающихся (проводятся тренировочные тестирования по демонстрационным вариантам контрольных материалов по общеобразовательным предметам, о проведении мониторинговых исследований обучающимся сообщается заблаговременно);
- подготовка аудиторий (в аудиториях должны быть часы, находящиеся в поле зрения участников мониторингов, подготовлены рабочие места для участников мониторингов, в случае распределения в пункте участников мониторингов с ограниченными возможностями здоровья готовятся аудитории, учитывающие состояние их здоровья, особенности психофизического развития и индивидуальных возможностей).
Обучение персонала, привлекаемого к организации и проведению мониторинговых исследований.
Сотрудник, приступающий к организации обучения персонала, привлекаемого к организации, проведению и проверке мониторинговых исследований на уровне образовательной организации, прежде всего, должен понять, что ему предстоит работать не с детьми, а со взрослыми людьми. Отсюда возникает вопрос: «Что он должен знать об обучении взрослых?».
Во-первых, взрослый обучающийся загружен текущими делами на работе: отведённое на обучение время строго регламентировано, оно не позволяет полностью погрузиться в новый тип деятельности, встать в позицию ученика.
Во-вторых, влияние биологического возраста определяет особенности мыслительных процессов, емкость памяти человека начинает снижаться, менее оперативными и гибкими становятся мыслительные процессы.
В-третьих, накопленный профессиональный опыт ведёт, с одной стороны, к ослаблению желания включиться в образовательное пространство в качестве обучающихся, т.е. подавляет познавательную активность, мотивацию к обучению, ас другой, его адекватное использование в учебном процессе может являться необходимым условием для успешного обучения.
В-четвёртых, существуют психологические барьеры, которые выступают в качестве внутренних препятствий (нежелание, боязнь, неуверенность) человека, мешают ему успешно и смело работать.
Используя совокупность психологических барьеров для защиты, человек строит различные отражения внешней среды. Из потока внешней информации он выбирает только ту, которая может быть усвоена и присовокуплена к накопившемуся опыту. Но статичное, охраняемое, сложившееся представление о мире препятствует творческому процессу, обращённому к пониманию нового. Поэтому возникает задача освобождения человека от влияния защиты, деформирующей его личностный рост. В среднем возрасте механизмы защиты достаточно жёстко, прочно закреплены в структуре личности, они, активно функционируя, выполняют роль фильтров, обеспечивая внутренний покой системы.
Общая черта всех видов защиты – их неосознанность, поэтому наблюдать можно только внешние проявления защитных механизмов.
При обучении взрослых у них прослеживаются такие черты, как догматизм, робость, мнительность.
В-пятых – взрослый имеет устойчивую систему профессиональных стереотипов. Неумение преодолевать стереотипы в поведении и мышлении не позволяет человеку стать более открытым, непосредственным, чутким к творческим начинаниям, становится тормозом в ситуации перестройки профессиональной деятельности, мешает объективно оценивать и анализировать собственный профессиональный багаж.
При организации обучения необходимо знать, что:
взрослым невозможно навязать обучение, они должны захотеть учиться, готовность взрослого к обучению формируется из его осознанной внутренней потребности;
ведущая роль в процессе обучения взрослых должна принадлежать им. Взрослые ученики стремятся к самостоятельности, самоорганизации и самоуправлению в учёбе, как и в других аспектах жизни;
взрослые будут с интересом изучать только то, что им необходимо для решения профессиональных проблем, достижения поставленных целей, то, что они рассчитывают незамедлительно применить на практике (им нужны не знания, а новые схемы деятельности);
взрослые будут лучше обучаться в неформальной обстановке, с применением разнообразных форм и методов, без оценивающих процедур и конкуренций, но с открытой процедурой диагностики, позволяющей им самостоятельно оценивать свою деятельность;
взрослые имеют большой предшествующий опыт, который необходимо использовать в учебном процессе. В ходе обучения этот опыт может быть не только проблематизирован, но, и актуализирован, что имеет большое значение в процессе обучения взрослых.
Алгоритм совместной деятельности педагогов и руководителей образовательной организации при подготовке к диагностическим процедурам.
Основным условием достижения качества образовательного результата является обеспечение педагогами выполнения запланированных задач каждого урока на всем протяжении обучения каждым обучающимся.
Для обеспечения успешной подготовки обучающихся к диагностическим процедурам по любой учебной дисциплине рекомендуется реализовать алгоритм совместной деятельности педагогов и руководителей образовательной организации.
Предварительный аналитический этап |
Учитель-предметник: - анализирует информацию по процедуре проведения мониторинговых исследований, - выбирает организационные формы подготовки обучающихся к диагностическим процедурам (такими формами могут быть: групповые и индивидуальные консультации как очные, так и проводимые с использованием средств сетевого взаимодействия), - анализирует и отбирает учебно-методическое обеспечение (УМК, дополнительная литература, сборники тестов и заданий, интернет-сайты) для подготовки обучающихся к мониторинговым исследования, - анализирует спецификацию контрольных материалов (размещается на сайте ГАОУ ДПО ЧИРОиПК примерно за 2 месяца до проведения мониторингов), - выявляет уровень усвоения обучающимися всех вопросов содержания спецификации в процессе проведения пробного тестирования по демонстрационным вариантам (не позднее, чем за месяц до проведения мониторингов), - обеспечивает целеполагание и мотивацию обучающихся. Заместитель директора по учебной работе: - анализирует информацию по перечню работ (обязательные и работы по выбору школы). Составляет совместно с учителями перечень диагностических процедур для каждого класса. - оформляет заявку на участие в конкретных диагностических процедурах (при необходимости). Классный руководитель: - выявляет возможность оказания консультационной помощи родителям, - знакомит родителей с нормативными документами, регламентирующими содержание и процедуру проведения мониторингов; перечнем предметов, по которым проводятся мониторинги, примерными сроками проведения, системой подготовки (организационные формы, расписание, контакты с учителями) и необходимым учебно-методическим обеспечением, - обеспечивает мотивацию обучающихся (индивидуальные беседы, классные часы, родительские собрания). Руководитель предметным методическим объединением (или методист): Обсуждает в рамках предметного методического объединения возможности: - организации тематических консультаций (конкретный учитель консультирует всех обучающихся по конкретным вопросам), - попеременного проведения консультаций для всех обучающихся, - организации различных форм консультационной работы разными учителями, как в очном, так и в дистанционном режиме (при необходимости), - использования внешних образовательных ресурсов. 2. Формирует предметные базы диагностических материалов, рекомендации по их использованию в образовательном процессе (в качестве проблемных заданий при изучении нового материала и его закреплении, заданий для самоподготовки, для проведения проверки и самопроверки знаний обучающихся и др.). |
2. Планирование деятельности обучающихся по подготовке к мониторинговым процедурам |
Учитель-предметник: - составляет календарно-тематическое планирование, отражающее дату, время, место проведения всех организационных форм занятий, их содержание, перечень отрабатываемых знаний и способов деятельности, сроки и формы диагностики уровня усвоения повторяемого материала (для диагностики рекомендуется использовать демонстрационные версии и материалы прошлых лет), - разрабатывает индивидуальные планы подготовки обучающихся группы учебного риска к диагностическим процедурам, - включает в тематическое планирование содержание вопросов сопутствующего повторения (качественная отработка плановых задач каждого урока на всём протяжении обучения каждым обучающимся сократит подготовку к диагностическим процедурам до уровня повторения ключевых знаний и предметных способов деятельности). Заместитель директора по учебной работе: - контролирует результат (план должен быть создан не позднее месяца до дня проведения мониторингов), - включает в план внутришкольную диагностику тематических тренировочных работ для отдельных классов и групп обучающихся. Классный руководитель информирует родителей о содержании планов подготовки к мониторингам (в первую очередь, детей группы учебного риска). Руководитель предметным методическим объединением (или методист) сводит календарно-тематические планы каждого из учителей в единый план (позволяющий любому обучающемуся использовать для подготовки все ресурсы образовательной организации) и размещает его на сайте школы. |
3. Подготовка обучающихся к мониторинговым исследованиям |
Учитель-предметник: 1. Реализует план подготовки. Занятия рекомендуется строить по схеме: а) тестирование (либо другая форма фронтальной диагностики) по содержанию предыдущего занятия (теме, учебному модулю), б) экспресс-анализ диагностики (разбор заданий), в) отработка теоретических вопросов следующего тематического модуля, г) практическое закрепление повторяемых понятий. Рекомендуется использовать активные, диалоговые парные и групповые формы организации образовательной деятельности, позволяющие каждому обучающему осмысленно проговорить учебный материал занятия. На практике отрабатывает с обучающимися: - требования к заполнению бланков мониторингов, - решают демоверсии контрольных материалов, - выполняет план тренировочных диагностических работ в рамках внутришкольной диагностики. Проводит дополнительные занятия (по возможности). Заместитель директора по учебной работе: - контролирует реализацию планов, - контролирует факт отработки обучающимися требований к заполнению бланков мониторингов, - предоставляет учителю возможность проводить дополнительные уроки-консультации накануне мониторингов, - вносит изменения в расписание уроков дня проведения мониторингов, - контролирует готовность аудиторий, мест для дежурного по этажу, общественного наблюдателя (при необходимости), - назначает и инструктирует организаторов в аудиториях и дежурных учителей, - своевременно получает и обеспечивает хранение контрольных материалов. Классный руководитель: - контролирует посещение обучающимися группы риска учебных занятий, информирует родителей о посещаемости и промежуточных результатах, - контролирует комплектование материально-технического обеспечение выполнения мониторингов (черные гелиевые ручки, черновики, другие разрешённые материалы и оборудование). Руководитель предметным методическим объединением (или методист) контролирует выполнение и оперативно корректирует общий план подготовки. |
4. Проведение и анализ диагностических процедур |
Учитель-предметник: - обеспечивает явку участников (совместно с заместителем директора по учебной работе и классным руководителем), - выполняет контрольный материал по предмету (после написания обучающимися) с целью анализа содержания и выявления технических ошибок, - информирует заместителя директора по учебной работе о наличии ошибок или некорректных заданий в контрольных материалах, - информирует заместителя директора по учебной работе (в течение трех дней после получения результатов) о фактах некорректной проверки (для внешних мониторингов), - анализирует результаты работы (по элементам, по обучающимся), - составляет и реализует индивидуальный план ликвидации пробелов в знаниях обучающихся. Заместитель директора по учебной работе: - готовит необходимую документацию, - обеспечивает проведение мониторингов, своевременную сдачу работ и установленной документации согласно инструкциям, получение результатов работы, - составляет и направляет центр оценки качества образования, аттестации и повышения квалификации ГАУ ДПО ЧИРОиПК служебные записки в случае обнаружения технических ошибок, некорректных заданий в контрольных материалах, несогласия с полученными результатами, - анализирует полученные результаты с позиции обеспечения учителем качества образования. Классный руководитель: - обеспечивает мотивацию обучающихся, - своевременно знакомит родителей с результатами мониторингов. Руководитель предметным методическим объединением (или методист) анализирует эффективность системы подготовки обучающихся к мониторинговым исследованиям качества знаний и эффективность работы учителей. Данный алгоритм призван обеспечить не только отсутствие неудовлетворительных результатов выполнения диагностических процедур, но и восполнение имеющихся пробелов в предметной подготовке обучающихся. |
5. Психолого-педагогическая поддержка обучающихся в условиях тестирования их образовательных достижений.
Важно выделить некоторые наиболее значимые психологические характеристики личности, которые требуются в процессе проведения тестового контроля образовательных достижений:
высокая мобильность, переключаемость,
высокий уровень организации деятельности,
высокая и устойчивая работоспособность,
высокий уровень концентрации внимания, произвольности,
чёткость и структурированность мышления,
сформированность внутреннего плана действий.
Таким образом, сама процедура проведения тестирования объективно связана с наличием внутриличностного напряжения, что может вызвать у учеников ряд трудностей психологического характера. Об этих трудностях необходимо знать самому учителю и важно донести эту информацию до учеников.
Первая (когнитивная) группа трудностей связана с особенностями переработки информации и спецификой работы с тестовыми заданиями. Тестирование предполагает формирование особых навыков: умения выделять существенные стороны в каждом вопросе и отделять их от второстепенных, умения оперировать фактами и положениями, вырванными из общего контекста. Для преодоления когнитивных трудностей необходимо двигаться в двух направлениях: осваивать навыки работы с тестами и помогать ученику вырабатывать индивидуальную стратегию деятельности (знакомить ученика с критериями оценки, стимулировать в процессе учёбы самооценку собственных возможностей, показывать различные способы организации работы с тестовыми материалами, создавать условия в учебном процессе для самопознания учениками своих личных особенностей).
Вторая группа трудностей связана с особенностями восприятия учеником ситуации тестирования, его субъективными реакциями и состояниями. В настоящее время стрессовость ситуации тестирования во многом обусловлена отсутствием у учеников и у учителей достаточного опыта применения этой формы контроля знаний. В связи с этим сама процедура и ситуация не являются для субъектов образовательного процесса ясными и чёткими. Эта трудность может быть снята, во-первых, за счёт культивирования тестового контроля из занятия в занятие; во-вторых, за счёт объяснения ученикам ещё в процессе обучения и передачи знаний, на что надо обратить большее внимание: на познание общих закономерностей и принципов в предлагаемом материале или на конкретные детали и факты, а где важно побудить ученика найти свою трактовку или точку зрения и грамотно и доказательно её отстоять. В целом преодоление личностных трудностей должно быть направлено на уменьшение опасений и снижение их тревоги.
Третья группа трудностей – процессуальные трудности. В первую очередь они связаны с критериями оценивания ответов. В традиционной системе во время устного изложения проверка и оценивание знаний осуществляется в личном контакте с проверяющим, что позволяет получать вербальную или невербальную обратную связь, с помощью которой возможна корректировка ответа, в случае письменного контроля у ученика остаётся шанс получить помощь и поддержку своих одноклассников, тестовый контроль сводит эти возможности к минимуму. Но и это ещё не всё. В традиционной системе повышение оценки во многом зависит от способности ученика давать развёрнутый ответ с примерами, с использованием речевых оборотов. В случае тестового контроля предполагается лаконичный ответ, опирающийся на знание фактического материала.
Имеются отличия и в способах фиксирования ответов. Требуется высокий уровень внимательности, чтобы:
не перепутать нумерацию вопросов в бланке ответов,
правильно понять суть задания (например, «указать ошибку» или «найти правильный ответ»),
учесть специфические требования, содержащиеся в формулировке заданий (например, «ответ необходимо дать в виде последовательности отдельных слов или словосочетаний без пробелов, знаком препинания и кавычек» и т.д.).
IV. Обработка и анализ результатов мониторинговых исследований качества знаний обучающихся на уровне образовательной организации
Современные подходы к объективной оценке учебных достижений.
Объективное измерение учебных достижений обучающихся посредством опоры на системно-деятельностный, компетентностный и личностно ориентированный подходы является одним из ведущих направлений обеспечения нового качества образования.
Достоверная оценка учебных достижений школьников достигается за счёт учёта:
требований к содержанию и уровню освоения образовательных стандартов учащимися;
теорий педагогических измерений;
традиций российского образования;
опыта разработки экзаменационных работ в России и за рубежом;
результатов всероссийских и международных исследований качества образования.
Современное понимание образовательных достижений нельзя сводить к освоению предметных знаний и умений, к применению их на практике в контексте учебной дисциплины. Особую важность составляет обучение школьников использованию знаний в различных ситуациях реальной жизни. При этом важную роль играет овладение:
коммуникативными умениями (умениями ясно выражать свои мысли устно или письменно, слушать и понимать других, понимать и анализировать прочитанный текст);
умениями работать с информацией, представленной в виде таблиц, графиков, схем и т.п.;
информационными технологиями (умением работать с информацией с помощью компьютера);
умением сотрудничать и работать в группах;
умением учиться и самосовершенствоваться;
умением решать проблемы и др.
Всё эти ключевые междисциплинарные умения (часть из них называют компетенциями) выпускника школы являются чрезвычайно важными для его успешной работы, постоянного приобретения новых знаний, личностного саморазвития и самореализации. Возникает необходимость научиться измерять то, что мы считаем особо значимым для становления и развития личности обучающегося, а не то, что легко измерить.
Показателями образовательных достижений школьников можно считать:
учебные достижения по отдельным предметам (включая грамотность и компетентность по данному предмету);
динамику учебных достижений;
отношение к учебным предметам;
ключевые (внепредметные) компетентности (познавательные, социальные, информационные и др.);
удовлетворённость образованием;
степень участия в образовательном процессе;
дальнейшее образование и карьеру выпускника.
В качестве уровней достижений можно представить:
информированность (ориентированность) – усвоение определённого объема знаний и умений их воспроизводить;
грамотность – способность решать стандартные повседневные задачи, использовать основные способы познавательной деятельности;
компетентность – способность решать проблемы, возникающие в жизни, средствами учебного предмета.
При этом необходимо учитывать, что компетентность проявляется в способности:
распознавать проблемы, возникающие в жизни, которые могут быть решены средствами данного учебного предмета;
формулировать эти проблемы на языке данного предмета;
решать эти проблемы, используя предметные знания и методы;
анализировать использованные методы решения;
интерпретировать полученные результаты с учётом поставленной проблемы;
формулировать и записывать окончательные результаты решения поставленной проблемы.
Обработка результатов мониторинговых исследований на уровне образовательной организации.
Правильно составленные контрольные материалы для оценки учебных достижений обучающихся должны удовлетворять определённым требованиям. Они должны быть:
краткосрочными, чтобы не требовались большие затраты времени,
однозначными, не допускающими произвольного толкования тестового задания,
правильными, исключающими возможность формулирования многозначных ответов,
краткими, требующими сжатых ответов,
информационными, т.е. такими, которые обеспечивают возможность соотнесения количественной оценки за выполнение теста с порядковой или даже интервальной шкалами измерений,
удобными, т.е. пригодными для быстрой математической обработки результатов,
стандартными, пригодными для широкого практического использования – измерения уровня обученности возможно более широких групп учеников, овладевающих одинаковым объёмом знаний на одном и том же уровне обучения.
При подготовке материалов для мониторингов необходимо придерживаться следующих основных правил.
Нельзя включать ответы, неправильность которых на момент тестирования не может быть обоснована учащимися.
Неправильные ответы должны конструироваться на основе типичных ошибок и должны быть правдоподобными.
Правильные ответы среди всех предлагаемых должны размещаться в случайном порядке.
Вопросы не должны повторять формулировок учебника.
Ответы на одни вопросы не должны быть подсказками для ответов на другие.
Вопросы не должны содержать «ловушек».
Прежде чем приступить к проверке результатов мониторинговых исследований, эксперт должен пройти обучение, изучить спецификацию контрольных измерительных материалов, кодификатор элементов содержания и требований к уровню подготовки обучающихся и демонстрационные варианты по предмету.
Эксперт, привлекаемый к проверке, располагает следующими материалами:
- варианты контрольных материалов по предмету,
- тексты заданий (в зависимости от предмета),
- система оценивания заданий тестовой части (Часть 1),
- проектируемые варианты ответов и критерии оценивания заданий с развёрнутым ответом,
- шкала, рекомендуемая для интерпретации полученных результатов.
Оценивать результаты контрольных работ необходимо строго по предлагаемым ключам к тестовым заданиям Части 1 и критериям оценивания заданий с развёрнутым ответом.
Для обеспечения качественной обработки результатов мониторингов, необходимо заносить полученные данные в электронные таблицы в Excel. Использование электронных таблиц позволит свести к минимуму потери результатов и максимально качественно обработать полученные данные с использованием методов математической статистики.
Таблица может выглядеть так.
Таблица 1
ПРОТОКОЛ
проверки результатов мониторинговых исследований качества знаний по _____________________(указать предмет)
Дата проведения мониторинга: _____________
№ п/п | Класс | ФИО ученика | Задания Части 1* (порядковый номер задания) | Задания Части 2* (порядковый номер задания) | Итого | Процент выполнения | Оценка (по шкале) | |||||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | | | |
* Количество ячеек зависит от количества заданий по предмету.
Заполнив все ячейки, можно произвести расчёт с помощью математических формул.
Перевод полученных баллов в отметку по пятибалльной шкале, либо в уровни выполнения контрольной работы следует строго по предложенным шкалам по предметам (у каждого предмета своя шкала перевода баллов в отметку).
Установив «Фильтр» на ячейки со значениями, можно будет сделать анализ выполнения мониторинга по предмету в разрезе заданий, частей выполнения и итогового балла в целом. Итоговая таблица может выглядеть следующим образом:
Таблица 2
Дата проведения тестирования | Предмет | Количество учащихся, выполнявших работу | Отметка по пятибалльной шкале | Процент успеваемости | Процент качества | |||
«5» | «4» | «3» | «2» | |||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
Таблица 3
Дата проведения тестирования | Предмет | Количество учащихся, выполнявших работу | Уровни выполнения контрольных материалов | Процент успеваемости | Процент качества | |||
«отличный» | «хороший» | «удовлетворительный» | «неудовлетворительный» | |||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
Под успеваемостью следует понимать долю обучающихся (в процентах), знания которых оценены на «хорошо», «отлично», удовлетворительно. Под качеством следует понимать долю обучающихся (в процентах), знания которых оценены на «хорошо» и «отлично».
По результатам мониторинга составляются планы корректирующих и предупреждающих занятий для улучшения качества образовательной услуги.
Таблица 3
Темы курса (учебные элементы тем), по которым выявлены пробелы в знаниях учащихся (% выполнения задания составляет менее 50) | Пути коррекции недостатков в знаниях учащихся |
1 | 2 |
3. Подготовка аналитической справки по итогам проведения мониторинговых исследований.
Эффективное применение мониторинговых процедур в системе управления качеством образования на федеральном, региональном, муниципальном и школьном уровне требует применение унифицированного подхода к представлению итоговых материалов. Основным итоговым документом мониторинга является аналитическая справка. Под справкой следует понимать письменный документ, в котором отражены ход и результаты мониторингового исследования, на основании которых принимаются конкретные управленческие решения.
Схема анализа результатов мониторинга качества знаний обучающихся может быть представлена следующим образом:
1. Тема мониторингового исследования;
2. Основание для проведения мониторингового исследования:
- в зависимости от уровня организации мониторинга, основанием могут быть: Приказы Департамента образования, культуры и молодёжной политики ЧАО, приказы образовательной организации, в которой проводится мониторинг;
3. Цель проведения мониторингового исследования:
- например: установление уровня обученности и выполнения требований государственного образовательного стандарта; отслеживание качества знаний обучающихся;
4. Время проведения мониторингового исследования:
- указать дату и время проведения мониторингов (расписание проведения мониторингов);
5. Краткая программа проведения мониторингового исследования:
- кратко описать этапы и процедуру проведения мониторингового исследования;
6. Краткое описание формы проведения исследования и инструментария:
- например: мониторинг проводился в форме контрольной работы на два варианта по стандартизированным контрольно-измерительным материалам (далее - КИМ), содержащим задания базового уровня с выбором одного верного ответа…. КИМы разработаны методистами….);
7. Участники мониторингового исследования:
- например: в мониторинговом исследовании приняли участие (количество участников) обучающиеся (указать класс) классов);
8. Констатация фактов и того, что выявлено в ходе анализа результатов мониторинга (положительная динамика, отрицательная динамика):
- в зависимости от уровня организации мониторинга: текстовый анализ выполнения работы в целом по всем муниципальным образованиям (образовательным организациям, классам-параллелям), принимавшим участие в мониторинговом исследовании в динамике (с учетом анализа предыдущих этапов);
- может быть подготовлено приложение в виде таблицы «Сводная таблица результатов мониторинга качества знаний обучающихся (указать класс) образовательной организации по (указать предмет)»;
- общая успеваемость, качественная успеваемость, анализ успеваемости в разрезе обучающихся, классов, образовательных организаций, муниципальных образований. Под качественной успеваемостью (качеством знаний) следует понимать долю обучающихся (в процентах), знания которых оценены на «хорошо» и «отлично». Под общей успеваемостью (успеваемостью) следует понимать долю обучающихся (в процентах), знания которых оценены на «хорошо», «отлично», «удовлетворительно»;
- текстовый анализ усвоения обучающимися разделов и тем основных образовательных программ (процент верно выполнивших задание), включенных в КИМы по каждому муниципальному образованию и образовательному учреждению с выходом на конкретного учителя в соответствии с уровнем качественной оценки);
9. Выводы:
- отметить положительные моменты по каждому муниципальному образованию с выходом на конкретные образовательные учреждения (по каждому классу) по уровню и положительной динамике общей и качественной успеваемости,
- отметить положительную динамику в освоении разделов и тем основных образовательных программ по конкретным классам с выходом на учителей;
- отметить проблемы, выявленные в ходе анализа результатов по территориям, образовательным учреждениям и конкретным учителям;
10. Предложения:
- предложения муниципальным органам, осуществляющим управление в сфере образования, руководителям общеобразовательных учреждений, педагогам над чем необходимо работать, на какие темы и разделы следует обратить внимание в ходе осуществления образовательного процесса;
11. Дата написания аналитической справки.
12. Подпись лица, подготовившего справку.
13. Подпись руководителя структурного подразделения.
14. Приложения (таблицы, диаграммы, рейтинги).
Заключение
Таким образом, следует иметь в виду, что результаты мониторинговых процедур позволяют:
учителю:
- осуществить объективный анализ уровня достижения планируемых результатов образовательных программ обучающимися,
- выявить группы мотивированных и одарённых обучающихся для организации их развития,
- выявить группы учебного риска с целью организации освоения ими образовательных программ на уровне не ниже удовлетворительного,
- осуществить объективный самоанализ своей профессиональной деятельности;
руководителям образовательной организации:
- оценить результативность работы конкретного учителя (насколько успешно выполнена работа классом, выбранным для участия в диагностической процедуре, в силу использования педагогом конкретных методов и приёмов организации образовательной деятельности обучающимися на уроках),
- оценить эффективность работы конкретного учителя в целом и по отдельным направлениям (все ли ресурсы и условия используются учителем для обеспечения запланированных результатов образовательной деятельности обучающихся),
- оценить работу администрации и методической службы (созданы ли все условия, направленные на обеспечение эффективности образовательного процесса: материально-технические, программно-методические, организационные, информационные и т.д.),
- использовать полученную информацию о выявленных проблемах и передовом опыте (функции контроля) как основу построения управленческих циклов по решению проблем и внедрению опыта эффективной профессиональной деятельности учителей.
Принятие управленческих решений по итогам мониторинговых исследований должно базироваться на объективном анализе полученных результатов, который осуществляется по ряду направлений:
выявление индивидуальных ошибок, вызванных субъективными причинами, что требует последующего составления и реализации учителями индивидуального плана ликвидации выявленных пробелов у конкретных обучающихся в освоении ими диагностируемых элементов содержания учебных программ,
выявление массовых ошибок,1 вызванных недостаточным уровнем качества преподавания. В этом случае требуется тщательный анализ всей индивидуальной педагогической системы учителя для выявления причин низкого качества результатов, планирование и реализация мер, направленных как на устранение выявленных факторов, недочётов профессиональной деятельности учителя, так и на оказание помощи обучающимся,
выявление позитивного опыта педагогической деятельности и обеспечение его трансляции.
Приложение 1
Педагогические тесты
(классификация)
Педагогическое тестирование – один из наиболее стандартизированных и объективных методов контроля и оценивания знаний, умений и навыков испытуемого. Современное педагогическое тестирование представляет собой комплекс стандартизированных методов измерения тех латентных (т.е. недоступных для непосредственного наблюдения) параметров человека, которые определяют уровень его подготовленности и соответствие образовательным стандартам в конкретной области знаний.
Педагогическое тестирование – совокупность методических и организационных мероприятий, обеспечивающих разработку педагогических тестов, подготовку и проведение стандартизированной процедуры измерения уровня подготовленности испытуемых, а также обработку и анализ результатов.
Первое, на чём надо остановиться, рассматривая классификацию тестов, это два подхода, которые в настоящее время сложились в тестировании – тесты, ориентированные на критерий (критериально-ориентированные), и тесты, ориентированные на норму (нормативно-ориентированные).
Критериально-ориентированные тест позволяет оценить, насколько учащиеся достигли заданного уровня знаний, умений и отношений, например, определённого как обязательный результат обучения (образовательный стандарт). В данном случае оценка конкретного ученика не зависит от того, какие результаты получили другие ученики. Результат будет показывать, соответствует ли уровень достижений данного ученика социально-культурным нормам, требованиям стандарта или другим критериям.
Нормативно-ориентированный тест ориентирован на статистические нормы, определяемые для данной совокупности учащихся. Учебные достижения определённого ученика интерпретируются в зависимости от достижений всей совокупности учащихся, выше или ниже среднего показателя – нормы. Происходит распределение учащихся по рангам.
Тесты классифицируются на основании, включённого в педагогическое измерение, содержания.
1. По процедуре создания могут быть выделены стандартизированные и нестандартизированные тесты.
Стандартизируется процедура и условия проведения тестирования, способы обработки и интерпретации результатов, которые должны привести к созданию равных условий для испытуемых и минимизировать случайные ошибки и погрешности, как на этапе проведения, так и на этапе обработки результатов и интерпретации данных. Для целей мониторинга необходимо использовать только стандартизированный тестовый инструментарий.
2. По степени однородности задач выделяют гомогенные и гетерогенные тесты.
Гомогенный педагогический тест основывается на содержании какой-либо одной дисциплины. При его разработке надо учитывать, чтобы каждое задание не выходило по своему содержанию за рамки данной дисциплины. Такой тип педагогического теста наиболее распространён в учебном процессе.
Гетерогенный педагогический тест основывается на содержании нескольких дисциплин, являясь по своему существу междисциплинарным. Каждое задание гетерогенного теста включает в себя элементы содержания нескольких дисциплин. Наибольшее распространение гетерогенные тесты получили при итоговом контроле учащихся.
3. По средствам предъявления выделяют бланковые тесты. Эти тесты в свою очередь можно разделить на два вида:
а) с использованием тестовых тетрадей, в которых находятся тестовые задания и в которых испытуемый фиксирует результаты,
б) с использованием бланков, в которых испытуемые отмечают или вписывают правильные ответы (фиксируют ответы). Бланки предъявляются отдельно от заданий:
- предметные, в которых необходимо манипулировать материальными объектами, результативность выполнения этих тестов зависит от скорости и правильности выполнения заданий,
- аппаратурные – тесты с использованием устройств для изучения особенностей внимания, восприятия, памяти и мышления,
- практические, появившиеся относительно недавно. Эти тесты сходны с известными лабораторными работами (по химии, физике, биологии и пр.), однако снабжённые соответствующими инструкциями и имеющие тестовое оснащение,
- компьютерные тесты. Компьютерный формат тестирования имеет свои преимущества перед бланковым и у него хорошие перспективы применения в образовательном процессе. Следует отметить, что с экономической точки зрения использование компьютеров для массового тестирования обходится дороже, чем применение бланкового масштаба.
4. По направленности развития и формирования человеческих качеств:
- тесты интеллекта, выявляющие особенности последнего,
- тесты общих умственных способностей, умственного развития,
- тесты специальных способностей в различных областях деятельности,
- тесты обученности, успеваемости, академических достижений,
- тесты для определения отдельных качеств (черт) личности, личностные тесты (иногда называемые тестами темперамента), с помощью которых изучаются особенности личности испытуемого (память, мышление, характер, эмоции и др.),
- тесты для определения уровня воспитанности (сформированность общечеловеческих, социально-нравственных, общеинтеллектуальных, общекультурных и других качеств),
- тесты достижений.
5. По характеру действий.
Вербальные (связанные с необходимостью произведения умственных действий – словесно-логические тесты, вопросники на проверку знаний, установленных закономерностей и пр.). Данные тесты требуют сформированности навыков и наличия определённых знаний. Поэтому именно те дети, которые хорошо успевают в школе, как правило, набирают большее количество баллов при прохождении этих тестов.
Невербальные (практические), связанные с практическим манипулированием предметами – карточками, блоками, деталями. Невербальные тесты меньше зависят от школьной успеваемости, домашних условий воспитания, социального положения. При выполнении этих тестов учащийся должен анализировать, сравнивать, делать выводы на основе картинок, диаграмм, предметов, фигур и т.д. с заданиями невербальных тестов нередко лучше справляются учащиеся с высоким уровнем интеллекта, отличающиеся плохим поведением, частыми нарушениями дисциплины.
6. По ведущей ориентации.
Тесты скорости, содержащие простые задачи, время решения которых ограничено настолько, что ни один испытуемый не успевает все задачи в заданное время.
Тесты мощности или результативности, включающие трудные задачи, время решения которых либо вовсе не ограничено, либо мягко лимитировано. Оценке подлежит успешность и способ решения задачи. Примером такого рода тестовых заданий могут быть задания для письменных итоговых экзаменов за курс школы.
Смешанные тесты, которые объединяют в себе черты двух вышеперечисленных. В таких тестах представлены задачи различного уровня сложности, от самых простых до очень сложных. Время испытания в данном случае ограничено, но достаточное для решения предлагаемых задач большинством обследуемых. Оценкой в данном случае случат как скорость выполнения заданий (количество выполненных заданий), так и правильность решения. Эти тесты наиболее часто применяются на практике, и именно к ним относится большинство тестов учебных достижений, которые можно использовать для нужд мониторинга.
7. По характеру объективности.
Объективные тесты – тесты, объективность оценки результатов которых обусловливается тем обстоятельством, что в процессе обработки результатов тестирования не предусматривается использование их субъективных толкований тестирующим, к этой группе тестов относятся тесты школьных достижений.
Проективные тесты – совокупность методик, разработанных в рамках проективного подхода в психологию и характеризующиеся неопределённостью, неоднозначностью используемых в ходе тестирования стимулов. Соответственно, такой подход допускает большое разнообразие ответов и их интерпретацию.
8. По степени ориентированности.
Широко ориентированные, позволяющие оценить эффективность процесса обучения по степени реализации одной из его основных целей, то есть степени освоения учащимися системы знаний, умений и навыков в ходе учебного процесса.
Узко ориентированные, направленные на выявление достижений учащихся в процессе освоения отдельных предметов, отдельных тем и т.д.
9. По целям использования выделяются следующие группы тестов:
- знаний или поведения учащихся в начале обучения (определяющий тест),
- прогресса, достигнутого в процессе обучения (формирующий тест),
- трудностей обучения и их источников во время процесса обучения (диагностический тест),
- основных достижений в конце обучения (суммирующий тест).
10. По масштабу применения педагогические тесты подразделяются на: классные (авторские), академические (для учебного контроля в образовательной организации), отраслевые (для профессиональной аттестации кадров), национальные и международные.
Формы педагогических тестов:
- закрытая форма тестовых заданий,
- открытая форма тестовых заданий,
- задания «на соответствие»,
- задания на «установление правильной последовательности».
1. Задание закрытой формы – тестовое задание, содержание которого сопровождается несколькими нумерованными вариантами ответа; испытуемому предлагается выбрать номер правильного ответа.
К ним относятся:
задания типа «верно-неверно», «да-нет»,
задания на сравнение величин,
задания на причинно-следственные отношения,
задания на выбор из нескольких утверждений,
задания с пропусками частей предложения,
задания с подчёркиванием частей предложения,
блоки составных заданий, т.е. заданий с привязкой к одному текстовому или графическому материалу,
блоки заданий расширенного выбора, т.е. группа заданий, связанных одной тематикой и использующих единый расширенный список вариантов ответа,
задание с несколькими правильными ответами – задание, в котором правильных ответов может быть несколько.
2. Задание открытой формы – тестовое задание без указания возможных вариантов ответа; испытуемому предлагается самостоятельно указать правильный ответ. Для ответа на вопрос испытуемый должен дописать правильно одно или несколько слов на месте пробела.
В практике массового педагогического тестирования в основном применяются следующие модификации заданий открытой формы:
задания с коротким ответом,
задания на завершение утверждения,
задания на заполнение пробела,
задания на завершение графического объекта (диаграммы, графика, схемы).
3. Тестовое задание на соответствие (тестовое задание перекрёстного выбора) – тестовое задание, при выполнении которого необходимо установить соответствие между элементами двух множеств (двух списков).
Чаще всего задания на соответствие располагают в табличной форме. Каждому элементу левого столбца соответствует один, иногда несколько элементов правого столбца. Причём желательно, чтобы в правом столбце элементов было больше, чем в левом столбце.
4. Тестовое задание на установление правильной последовательности – тестовое задание, выполнение которого состоит в установлении правильной последовательности операций, действий, событий. В этих заданиях предлагается какая-либо последовательность действий в случайном порядке, в которых следует проставить порядковый номер верной, по мнению испытуемого, последовательности.
Приложение 2
Индивидуальные особенности обучающихся
и тестовый контроль
Помимо знания общих психологических трудностей при организации диагностических процедур необходимо учитывать индивидуальные особенности ребёнка, связанные со спецификой мышления, памяти, внимания, учебной мотивации и т.д.
Правополушарные дети. Возможности усвоения знаний о мире у этих детей обусловливаются повышенной активностью правого полушария головного мозга, отвечающего за эмоциональное восприятие и переживание. Поступающую информацию правое полушарие схватывают целостно и образно. Дети с доминирующим правополушарным мышлением лучше запоминают невербальные зрительно-пространственные сведения, у них богатое воображение и развитая интуиция. Такие дети часто отдают предпочтение гуманитарным дисциплинам. Для них понятны метафоры, сравнения, но им сложно оперировать логическими категориями и запоминать абстрактные теоретические знания. Именно поэтому в ситуации тестирования у них возникают затруднения, связанные с необходимостью отвлечения от эмоционально-образной составляющей учебного материала, применения структурированного логического мышления, сосредоточения на фактах и концептуальных построениях.
На этапе подготовки таким детям рекомендуется использовать схемы, рисунки, опорные конспекты. Сложный теоретический материал легче запоминается ими в процессе поиска ассоциативных связей, подбора примеров и иллюстраций. Во время тестирования правополушарным детям имеет смысл пробовать свои силы не в простейших тестовых заданиях, а там, где требуется развёрнутый ответ, предполагается решение задач (проблемных ситуаций) с развёрнутым алгоритмом решения или творческое действие. На волне энергетизации от творческой работы им можно приступать к заданиям множественного выбора. Главное – донести до этих детей мысль о возможности выбора стратегии тестирования.
Тревожные дети. Эта группа детей легко различима в среде сверстников своей застенчивостью, робостью, ранимостью и обидчивостью. Они стесняются явно выражать свои эмоции, боятся обращать на себя внимание, но в то же время ситуация тестирования воспринимается ими как опасная, вызывает огромное напряжение. Эти дети часто перепроверяют уже сделанное, исправляют ответы. Отмечаются бессознательные телесные проявления – грызут ручки, теребят пальцы или волосы. Наиболее трудным моментом тестового обучения и контроля для таких детей является отсутствие контакта с взрослым. Именно поэтому в процессе подготовки необходимо учить ребёнка замечать собственные успехи (даже небольшие), а также создавать условия для стратегий самоподдержки (самопринятия, осознания психологических защит и т.д.). Перед началом тестирования не следует нагнетать напряжённость, напоминая о серьёзности испытания и значимости его результатов. Продуктивность этих детей будет повышаться по мере роста опыта участия в деятельности такого рода. В связи с этим рекомендуется использовать метод тестового контроля знаний в контексте широкой практики применения тестовых заданий при обучении.
Во время тестирования важно обеспечить тревожным детям невербальную эмоциональную поддержку (спокойный уверенный внимательный взгляд, лёгкая улыбка). Ещё одна трудность таких детей связана с неумением опираться на собственное мнение, с недоверием к себе и качеству свое работы. Они демонстрируют конформизм в поведении, им трудно принимать собственное решение. Поэтому педагогическая поддержка им должна базироваться на поощрении самостоятельного выбора. При работе с такими детьми необходимо воздерживаться от советов и рекомендаций. Лучше предложить самому решить, с какого задания начать, и дождаться терпеливо результата. В процессе многочисленных проб целесообразно поддержать совместное осмысление процедуры, чтобы ребёнок научился более чётко представлять свои возможности и подключать неиспользованные ресурсы.
Если во время тестирования тревожный ученик не приступает к выполнению задания, стоит спросить его: «Ты не знаешь, как начать?» - и предложить ему альтернативу: «Ты можешь начать с простых заданий или сначала посмотреть весь материал. Как думаешь, что будет лучше?» Ни в коем случае нельзя говорить тревожным и неуверенным детям фраз типа «Подумай ещё», «Поразмысли хорошенько». Это только усилит их тревогу и заблокирует продвижение в работе.
Дети, испытывающие недостаток произвольности и самоорганизации. Учителям часто приходится сталкиваться с детьми, которые не могут слишком долго сосредоточиваться на предлагаемой деятельности. О таких детях делается заключение – «невнимательные», «рассеянные». На самом деле случаи нарушения внимания как специфической психической функции достаточно редки. И для выяснения состояния этой функции требуется вмешательство специалиста. Гораздо чаще в школьной практике встречаются дети с низким уровнем произвольности, т.е. с недостаточным уровнем организации деятельности из-за преобладания внешней мотивации. Такие дети отличаются неустойчивой работоспособностью, колебаниями темпа деятельности, лёгкостью переключения и отвлечения внимания. Понятно, что ситуация тестирования, требующая высокой организованности будет для этих детей сложной. Даже при высоком уровне познавательного развития и вполне достаточном объёме знаний эти дети могут нерационально использовать время.
В процессе обучения таких детей важно научить их использовать внешние опоры и подручные средства саморегуляции деятельности: часы, отмеряющие время выполнения задания, линейку, указывающую нужную строчку, закладки, позволяющие быстро найти нужный материал. Кроме того, необходимо обращать внимание этих детей на рациональные приёмы организации учебной работы: методы работы с книгой, словарём, энциклопедией, способы выполнения большой работой путём разбивки её на небольшие доступные в исполнении части. Например, ребёнок может составить план своей деятельности и зачёркивать пункты или класть линейку на то задание, которое он сейчас выполняет. Важно, чтобы эти навыки ребёнок приобрёл на предварительном этапе, иначе во время тестирования организация самого процесса будет занимать много времени.
Поддержкой ученику со слабой произвольностью в ситуации тестирования может стать обращение его внимания к самой процедуре. Можно задать вопрос: «Что ты сейчас делаешь?» или «Где, на каком задании ты сейчас находишься?» Полезно будет составить план со стратегией ответов и вычёркивать то, что будет сделано. При этом важно подчёркивать самостоятельное продвижение ученика, видеть и обращать внимание самого ученика на каждое его достижение.
Перфекционисты и «отличники». Перфекционистами называют людей, стремящихся к совершенству во всём. В школьной среде такие дети являются социально и педагогически привлекательной категорией. Они хорошо учатся, легко схватывают материал, выполняют и перевыполняют заданный объем работы. Их организованность и исполнительность не вызывает сомнения учителей. Их «звёздность» создаёт определённую, но неадекватную реальной ситуации установку педагогов на то, что им не нужна поддержка и помощь. На самом деле стремление быть лучшим скрывает нарциссическую потребность. Всё, что они делают, должно быть замечено и должно получить одобрение. Сущность их учебной мотивации завуалирована. Социуму предъявляется одна сторона: «Я любознателен, мне интересно, я хочу знать». Истинный смысл (ради чего, зачем, получить похвалу, занять место в иерархии, перейти в касту «неприкасаемых») не осознаётся. Не замечается самим ребёнком и социумом то, что у этих детей тоже имеются трудности в учёбе. Связаны они с завершённым уровнем притязаний на фоне крайне неустойчивой самооценки и развитой самокритичности. У них отсутствуют механизмы самоподдрежки, а со временем атрофируются способности получать эту поддержку у окружающих. В ситуации тестирования таким детям трудно вовремя остановиться, сделав необходимый объём задания. У них имеется внутреннее стремление сделать всё и безошибочно. Для них недопустима ситуация пропуска задания, если они не могут с ним справиться. Поэтому с психологической точки зрения важно помочь таким детям скорректировать их ожидания и осознать разницу между «достаточным» и «превосходным».
В процессе подготовки к тестированию желательно объяснить смысл тестовой процедуры и подчеркнуть её значение не только как варианта дифференциации учащихся по объёму и уровню усвоения изученного, но и как способа тренировки способностей к самоорганизации. Во время обучения целесообразно предлагать тестовые задания, в которых потребуется делать выбор между ними, без установки выполнять всё подряд.
Во время тестирования можно стимулировать выбор ученика с помощью вопроса: «Какие задания ты решил сделать?» Ценным будет обращение к рефлексии ситуации: «Зачем ты хочешь сделать всё? Нужно ли тебе делать столько, если выполненного материала будет достаточно для высокой оценки?»
Астеничные дети. Астения – это состояние нервно-психической слабости, которое физические (телесно) проявляется в повышенной утомляемости и истощаемости, сниженном пороге чувствительности, крайней неустойчивости настроения, нарушениях сна. Астеники испытывают трудности в обучении из-за малой эффективности и неуспешности в деятельности. Такое положение дел на фоне повышенной чувствительности нервной системы приводит к складыванию негативного самоотношения. Частые неудачи подкрепляют чувство неполноценности, робости, застенчивости. В качестве компенсации часто развивается болезненное самолюбие. Их притязания обычно превышают их физические возможности. Основные трудности работы таких детей в тестовом режиме заключаются в необходимости сохранять высокую работоспособность и темп работы на протяжении длительного времени. Качественно, вдумчиво, бодро и внимательно работать более 30-40 минут они не могут, причём не могут объективно, а не из притворства или желания манипулировать взрослыми. Таковы их природные особенности. Попытки учителей заставлять, задавать образцы поведения на примере других детей или вызывать дух конкурентности с сильными учениками демонстрируют обычно свою несостоятельность. Помочь им повысить свою успешность и свой тестовый балл можно только путём понимания их специфичности. Большое значение приобретает гигиена деятельности и режим подготовки и проведения тестирования. Работа с тестовыми заданиями должна сопровождаться достаточным для ребёнка количеством перерывов. Последние в свою очередь предполагают не полное бездействие, а прогулки и возможность подышать свежим воздухом. Учителю важно справиться у родителей о режиме питания такого ребёнка. Важно обратить внимание родителей на необходимость консультации с невропатологом о возможности поддержать ребёнка с помощью витаминного курса, фитотерапии или современных биологических активных добавок к пище. В данном случае учителю нужно понять, что и обучение знаниям, и проверка знаний у этих детей будет адекватной и объективной только при организации индивидуального подхода к самой процедуре тестирования. Это касается и времени проведения, и его алгоритма, и организации пространства, в котором происходит испытание. Желательно иметь в аудитории место для перемещения, организовывать перерывы, использовать паузы для проведения дыхательной гимнастики.
Гипертимные дети (дети с повышенной психологической активностью). Дети с гипертимной акцентуацией характера отличаются постоянно приподнятым настроением, повышенной психической активностью, жаждой деятельности. Они импульсивны и несдержанны. Они могут выполнять тестовые задания очень быстро, перекрывая большой объём работы, но при этом мало внимания уделяют точности и качеству выполнения. Этим детям очень часто трудно возвращаться к уже пройденной информации, а потому они часто пренебрегают этапом проверки собственных ответов. Сильная сторона этих детей – высокая мобильность и переключаемость, но без специфической психолого-педагогической поддержки на общий результат тестирования могут повлиять именно их недостатки: отсутствие собранности, тщательности, аккуратности. Необходимо обратить внимание на ещё одно свойство, достаточно характерное для этой категории детей, - сниженная учебная мотивация, индифферентность к учебным достижениям. Именно поэтому стратегия работы с гипертимными детьми выстраивается в двух направлениях: развитие у них функции контроля, навыков самопроверки, а также стимулирование учебной мотивации.
В процессе проведения тестирования важно тактично и деликатно напомнить о необходимости самоконтроля. Для этого можно задать вопрос: «Ты проверяешь то, что уже сделал?» Рекомендуется обратить внимание на способ размещения учеников в аудитории: гипертимных детей лучше сажать отдельно, чтобы ограничить возможности контактов с другими детьми. И последнее замечание касается педагогической позиции в работе с этой категорией. У учителей, имеющихся в классе гипертимных детей часто складывается стереотип, что главная проблема таких учеников в неусидчивости, излишней энергичности и импульсивности, а потому возникает соблазн препятствовать их спешке, пытаться менять темп деятельности, делать замечания типа «Не торопись». Важно понимать и принимать эту особенность детей. Изменить её нельзя, но можно скорректировать за счёт терпеливого формирования навыков самоконтроля и самоорганизации.
Дети с застревающей (паранойяльной) акцентуацией. Для них характерны медлительность, меланхоличное настроение, эгоцентризм. Вследствие низкой лабильности (пропускной способности) нервной системы они малоподвижны, с трудом переключаются с одного задания на другое. Они чувствительны к замечаниям, обидчивы. Неприятие мнения других может приводить к тому, что они будут делать всё наоборот. Именно поэтому таких детей нельзя торопить. Помощь в самоорганизации для них может заключаться в совместном распределении времени на каждое задание. Можно вместе подсчитать, сколько нужно выполнить заданий за единицу времени, а затем побуждать ученика пользоваться часами для того, чтобы периодически себя контролировать. Если это делать в учебном процессе целенаправленно и систематически во время процедуры выполнения тестовых заданий, то это будет способствовать развитию умений переключаться.
Что касается алгоритма проведения тестового контроля для таких детей, то можно порекомендовать предъявлять задания в тестовой форме по принципу однотипности: сначала задания с выбором одного или нескольких правильных ответов, затем на соответствие и т.д. Основная поддержка таким детям в ходе тестирования – содействие в переключении внимания, возвращение их во внешнюю реальность, недопущение глубокого погружения в собственные мысли.
Список литературы
Аверкин В.Н., Зайченко О.М. Применение результатов оценки учебных достижений школьников // Педагогическая диагностика. – 2013. – №3.
Бершадский М.Е. Оценивание как диагностика достижения планируемых результатов образования // Педагогическая диагностика. – 2013. - №1.
Гринченко И.С. Современные средства оценивания результатов обучения. Учебно-методическое пособие. – М.: УЦ Перспектива, 2008. – 132 с.
Задоя Н.М. Готовимся к экзаменационным испытаниям // Педагогическая диагностика. – 2013. - №2.
Курдюмова И.М. Показатели в образовании // Стандарты и мониторинг в образовании. - 2002. - № 5.
Мерцалова Т.А. Стратегия управления в образовании: независимая оценка и рейтинги // Педагогическая диагностика. – 2014. - № 4.
Михайлычев Е.А. К понятийному аппарату педагогической диагностики // Педагогическая диагностика. - 2005. — № 1.
Мокшеев В.А. Современные походы к организации системы мониторинга в образовании / В.А. Мокшеев // Педагогическая диагностика. - 2005. - № 5.
Мониторинг индивидуального прогресса учебных действий школьников / Под ред. П.Г. Нежнова, Б.И. Хасана, Б.Д. Эльконина. – Красноярск: Печатный центр КПД, 2006. – 132 с.
Профессионализм методиста, или Один в пяти лицах: Методическое пособие / Т.А. Сергеева, Н.М. Уварова, С.Е. Назарова и др. – М,: ИПРО; ПрофОбрИздат, 2002. – 224 с.
Рабочая книга школьного администратора: мониторинг в школе: выпуск 4 / Авт.-сост. М.Г. Синякова, С.Л. Фоменко. – М.: АРКТИ, 2008. – 104 с.
Ривкин Е.Ю. Методические рекомендации по подготовке обучающихся к диагностическим работам / Е.Ю. Ривкин //Администратор в образовании. – 2015. - №8.
Современные средства оценивания результатов обучения в школе: Учебное пособие / Т.И. Шамова, С.Н. Белова, И.В. Ильина, Г.Н. Подчалимова, А.Н. Худин. – М.: Педагогическое общество России, 2008. – 192 с.
Список рекомендованной литературы
Золотухина И.В. Мониторинг качества воспитательной системы школы: учебно-методическое пособие. – Йошкар-Ола. – 2002. – 56с.
Материалы для организации и проведения мониторинга эксперимента / Сост. Г.С. Ковалёва, С.В. Иванова. – М.: Дрофа. – 2001. – 224с.
Моисеев А.М. Качество управления школой: каким оно должно быть. – М.: Сентябрь. – 2001. – 160с.
Педагогическая инноватика, педагогический мониторинг и педагогическая прогностика //Андреев В.И. Педагогика: учебный курс для творческого саморазвития. – 2-е изд. – Казань: Центр инновационных технологий, 2000. – С. 431 – 588.
Степанов В.Р. Методические рекомендации по оценке качества знаний учащихся. – Чебоксары: Клио. – 1998. – 52с.
Третьяков П.И. Управление школой по результатам: практика педагогического менеджмента. – М.: Новая школа. – 2001. – 320с.
Бахмутский А.Е. Школьная система оценки качества образования //Школьные технологии. – №1. – С.136.
Бутылина Е.В. Факторы, влияющие на качество образования //Завуч. – 2005. – №7. – С.6.
Быкова В.Г. Мониторинг в образовательном учреждении //Завуч. – 2004. – С. 132 –144.
Воронина Г. Качественная оценка образовательного процесса: критерии и способы её применения //Директор школы. – 2005. – №1. – С.59 – 63.
Докиш С.П. Мониторинг качества образования, уровневые задания и их роль в гуманизации образования //Стандарты и Мониторинг. – 2005. – №5. – С.49.
Коротаева Е. Как организовать мониторинг //Директор школы. – 2004. – №6. – С. 35.
Кошелева Е.А., Ивченко С.Н., Удалова Е.А. О некоторых путях повышения качества образования //Завуч. – 2005. – №8. – С.5.
Крылова О.В. Мониторинг качества знаний //Методист. – 2004. – №3. – С.42.
Кучеренко Е. Критерии оценки уровня обученности и качества знаний //Директор школы. – 2004. – С. 41 – 46.
Попов С. Диагностика качества работы школе (Методические рекомендации) //Сельская школа. – 2002. – №4. – С.36.
Построение общероссийской системы оценки качества образования //Стандарты и Мониторинг в образовании. – 2005. – №4. – С.8.
Пульбере А.И. Мониторинг качества знаний в условиях личностно-ориентированного образования //Педагогика. – 2005. – №9. – С.33 – 36.
Севрук А.И. Информационное обеспечение качества образования на муниципальном уровне управления //Педагогика. – 2003. – №1. – С.41.
Севрук А.И. Информационный ресурс управления качеством образования //Школьные технологии. – 2004. – №6. – С.11.
Строкова Т.А. Мониторинг качества образования школьников //Педагогика. – 2003. – №7. – С.61.
Суббето А.И. Качество образования: проблемы оценки и мониторинга //Завуч. – 2004. – №5. – С.3.
Третьяков П.И. Управление качеством образования – основное направление в развитии системы: сущность, подходы, проблемы //Завуч. – 2002. – №7. – С.67.
Хвостов Н. Управление качеством образования //Школьные технологии. – 2004. – №6. – С.23.
Интернет-источники
http://centeroko.ru/ Центр оценки качества образования Института стратегии развития образования российской академии образования.
http://www.eduniko.ru/ Национальные исследования качества образования.
http://votum-edu.ru/ Интерактивная система мониторинга и оценки качества знаний.
http://www.fipi.ru/ ФГБНУ «Федеральный институт педагогических измерений».
http://gia.edu.ru/ Официальный информационный портал Государственной итоговой аттестации.
http://ege.edu.ru/ Официальный информационный портал Единого государственного экзамена.
http://www.rustest.ru/ ФГБУ «Федеральный центр тестирования».
1 Массовыми признаются ошибки, обнаруженные у 17 и более процентов обучающихся, выполнявших диагностическую работу.
57