Анализ тестового контроля по профессии 23.07.01 Машинист крана (крановщик) по ПМ.02 «Эксплуатация крана при производстве работ»

Министерство общего и профессионального образования

Свердловской области

ГБПОУ СО «Исовский геологоразведочный техникум»

Методическая разработка

Тема: «Анализ тестового контроля по профессии 23.01.07 Машинист крана (крановщик)» по ПМ.02 «Эксплуатация крана при производстве работ».

(тематический зачет)

Исполнитель:

Федорова Раиса Геннадьевна,

мастер производственного

обучения высшей категории

Нижняя Тура, 2019

Содержание

Введение

Контроль знаний и умений обучающихся является важным звеном учебного процесса, от правильной постановки которого во многом зависит успех обучения.

В методической литературе принято считать, что контроль является так называемой «обратной связью» между преподавателем и студентом, тем этапом учебного процесса, когда преподаватель получает информацию об эффективности обучения предмету.

Объективным средством определения параметров качества образовательного процесса может выступать тестовый контроль, как один из элементов педагогического контроля.

Тестирование является более качественным и объективным способом оценивания, позволяет обеспечить своевременное выявление уровня знаний, практических навыков и умений, обучаемых в соответствии с образовательными стандартами, вносить коррективы в содержание, организацию и методику проведения учебных дисциплин.

Данный вид контроля заданий ставит всех обучающихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению нервного напряжения обучающихся.

Для оценки качества теста была создана матрица первичных результатов, проведен вариационный анализа теста, построен вариационный ряд результатов и гистограмма частного распределения результатов, оценка надежности и валидности заданий, а также определение дифференцирующей силы заданий и проведен дистракторный анализ.

Надежностью называется характеристика теста, отражающая точность тестовых измерений, а также устойчивость тестовых измерений к действию (случайных) факторов.

Тест считается надежным, если он дает при повторном выполнении близкие результаты при условии, что подготовка ученика не изменилась за время повторного выполнения теста.

Надежность теста определялась методом деления теста пополам т.к. тестирование проводилось на одной группе студентов.

Считается если тест менее 0,2 – низкая надежность; от 0,2 до 0,8 – средняя надежность; 0,8 и более – высоконадежный тест.

Валидность - это характеристика качества теста, ориентированная на оценку адекватности теста поставленной цели его создания.

Валидность – это характеристика способности теста служить поставленной цели измерения.

Для оценки валидности используют коэффициент корреляции определяемый точечно – бисериальным методом.

Коэффициент корреляции 0,5 позволяет сделать вывод о пригодности заданий для теста. Ниже этих цифр – рекомендуется убрать эти задания из теста.

Отрицательная корреляция – слабые студенты лучше выполняют задания, чем сильные. Такие задания надо проанализировать.

Дифференцирующая сила заданий определялась методом контрастных групп. Выделяют 3 группы заданий. Задания, хорошо дифференцирующие тестируемых имеют показатель дифференцирующей силы от 0,6 и более; средний – от 0,3 до 0,6; плохо дифференцирующий – менее 0,3. Последние задания следует убрать из теста.

Дистракторный анализ – это отвлекать от правильного ответа, рассеивать внимание. Требования к дистракторам: рядоположенность и равновероятностная привлекательность. Рядоположенность определялась с помощью экспертного анализа.

Равновероятностная привлекательность состоит в том, что из 4 дистракторов один правильный, остальные должны быть распределены равномерно.

Методическая разработка по теме: «Анализ тестового контроля по профессии 23.07.01 «Машинист крана (крановщик)» по ПМ.02 «Эксплуатация крана при производстве работ».

В результате изучении раздела «Эксплуатация крана при производстве работ » обучающийся должен знать:

виды грузов и способы их крепления;

основное и вспомогательное оборудование;

правила управления краном;

правила крепления и регулирования механизмов крана.

уметь:

выполнять техническое обслуживание крана

производить подготовку крана и механизмов к работе;

управлять краном при производстве работ

Разработанный тест включает в себя задания по всем темам раздела «Эксплуатация крана при производстве работ», что позволяет установить уровень знаний для подготовки безработных граждан направленных на обучение центром занятости населения.

Цель работы: разработать тест по профессии 23.01.07 «Машинист крана (крановщик) по ПМ.02 «Эксплуатация крана при производстве работ».

Задачи:

Разработать спецификацию теста

Составить тестовые задания закрытой формы с выбором одного правильного ответа из четырёх.

Провести апробацию тестовых материалов.

Выполнить статистический анализ результатов тестирования для выполнения технологических характеристик тестового материала.

Провести анализ результатов студентов.

СПЕЦИФИКАЦИЯ

Тест по профессии – машинист крана (крановщик) по профессиональному модулю «Эксплуатация крана при производстве работ»

1. Назначение работы

Цель: установить уровень освоения обучающимися знаний и умений

по разделу «Эксплуатация крана при производстве работ»

Задача:

выявить наиболее освоенные тесты;

выявить наиболее часто встречаемые ошибки в тесте.

2. Документы и учебники, определяющие содержание тестовых материалов

Содержание контрольных измерительных материалов определяется на основе:

Учебники - Краны, Автокраны

https://sinref.ru/000_uchebniki/02700krani/000.htm

Сайт: https://sinref.ru/000_uchebniki/02700krani/000.htm

  000  Автомобильные краны (Зайцев Л.В.) - 1987 год

000  Автомобильные краны (Аст001  Справочник молодого машиниста башенных кранов (Н. И. Чернышев, В. А. Романюха) - 1966 го

008  Автомобильные подъемники и вышки (Ю.И. Гудков, Н.П. Сытник) - 2004 год

009  Кран стреловой автомобильный KC-35714-2 (Руководство по эксплуатации КС-35714-2.00.000 РЭ)

011  Кран стреловой автомобильный “Машека” КС-3579. Руководство по эксплуатации КС-3579.00.000 РЭ

3. Структура тестовых материалов зачета

Зачётная работа в форме итогового теста по ПМ.02 «Эксплуатация крана при производстве работ» состоит из одной части, содержащего 30 заданий с выбором правильного ответа из четырёх.

3.1 Распределение заданий зачетной работы по содержанию и видам деятельности.

Таблица 1

Распределение заданий по основным содержательным блокам (темам) учебного предмета

Таблица 2.

Распределение заданий по видам проверяемой деятельности

Уровню заданий

4. Распределение заданий зачетной работы по уровню сложности.

Таблица 3

Распределение заданий по уровню сложности

5. Время выполнения работы.

На выполнение зачетной работы отводится 40 минут

Примерное время, отводимое на выполнение отдельных заданий 1-2 минуты

6. Система оценивания выполнения зачетной работы.

Верное выполнение каждого задания оценивается 1 баллом.

Неверное и невыполненное задание оценивается – 0 баллов.

Перевод в шкалу отметок (2 – 5)

7. Дополнительные материалы и оборудование.

Дополнительные материалы и оборудование на зачет не используется.

Таблица 4

План теста

по профессии 23.01.07 Машинист крана (крановщик)

по ПМ.02 Эксплуатация крана при производстве работ

ТЕСТ

по профессии 23.01.07 Машинист крана (крановщик)

по ПМ.02 Эксплуатация крана при производстве работ

Инструкция: выберите один правильный ответ из предложенных четырех и отметьте его в бланке ответов цифрой.

Задание 1

При комплектовании крана из узлов и деталей, изготовленных несколькими предприятиями, несут ответственность за качество изготовления в целом

предприятие, выпускающее кран в собранном виде

головной проектный институт

предприятие, выпускающее кран в собранном виде

основной заказчик крана

Задание 2

Разрешение на эксплуатацию вновь установленного крана подлежащего регистрации в органах Ростехнадзора выдаёт

инспектор Ростехнадзора

главный инженер предприятия

главный механик предприятия

инспектор охраны труда

Задание 3

Грузоподъёмные краны подлежат перерегистрации в органах Ростехнадзора в случаях

замена механизмов

перестановка мостового крана на новое место

направление крана для работы в другую область

замена крюка

Задание 4

Результаты периодических испытаний крана оформляются документом

протоколом или сертификатом испытаний

протоколом комиссии

актом с указанием предложений и вызовом комиссии

сертификатом результатов испытаний

Задание 5

Порядок ввода крана в работу после замены изношенных грузовых или других канатов

динамического и статического испытания крана

запасовка и надежность крепления концов каната

осмотра крана

полного технического освидетельствования крана

Задание 6

При статическом испытании мостового крана контрольный груз поднимается краном на высоту

100 – 200 мм

500 мм

200 мм

200 – 300 мм

Задание 7

Динамические испытания производят нагрузкой превышающей паспортную грузоподъёмность мостового крана на:

1) 20% 2) 15% 3) 10% 4) 25%

Задание 8

Подготовка мостового крана к техническому освидетельствованию должна быть возложена на:

ответственного за содержание крана в исправном состоянии

лицо по надзору

ответственного за безопасное производство работ кранами

лиц указанных в пунктах 1 и 3

Задание 9

Допуск к работе крановщиков, слесарей, эл. монтёров, наладчиков приборов безопасности и стропальщиков оформляется документом

по письменному разрешению главного механика

распоряжением ответственного лица за содержание крана в исправном состоянии

распоряжением ИТР по надзору

приказом (распоряжением) организации

Задание 10

Крановщик должен производить осмотр крана

перед началом работы

после ремонта крана

после устранения неисправностей, возникших во время работы

по окончании работы на кране

Задание 11

Стропальщик может находиться возле груза во время его подъёма или опускания, если груз поднят на высоту от уровня площадки не более

2000 мм

2500 мм

1000 мм

1500 мм

Задание 12

Машинист для немедленной остановки работ крана сигнал «Стоп» должен выполнить

любого лица

сигнальщика

лица по надзору

стропальщика

Задание 13

Определить порядок очерёдности действий крановщика в ситуации прекращения питания крана током: А) сообщить ответственному лицу за безопасное производство работ, Б) поставить рукоятки контроллеров в нулевое положение,

В) выключить общий рубильник

Б-В-А

В-А-Б

А-В-Б

В-А-Б

Задание 14

Для обслуживания крана помимо машиниста должен назначаться помощник в случаях

на мостовые краны грузоподъёмностью более 25 тонн

краны с дизель-электрическим приводом

на различные краны грузоподъёмностью более 25 тонн

если это необходимо по местным условиям работы

Задание 15

Результаты осмотра и проверки крановщиками грузоподъёмной машины записывается в:

вахтенный журнал

наряд-допуск

акт сдачи приёма

паспорт крана

Задание 16

Машинист не имеет права приступать к работе на кране

полное техническое освидетельствование крана не проводилось 35 месяцев

истёк срок технического освидетельствования крана

кран не проверялся лицом по надзору более 10 дней

в удостоверении крановщика отсутствует роспись члена комиссии по аттестации

Задание 17

Для проверки строповки, груз должен быть поднят на высоту

350-400 мм

100-150 мм

200-300 мм

500 мм

Задание 18

Предельный угол между стропами при подъёме длинномерных грузов разрешается

1200

900

450

600

Задание 19

Эстакады для стропальщиков в местах постоянной разгрузки или погрузки автомашин устанавливают в случаях

только для автокранов

требуется обязательно

если площадь машины не обозревается из кабины крановщика

не требуется

Задание 20

Подъём кирпича на поддонах без ограничения разрешается

только на специальные приёмные площадки

не разрешается

разрешается

при погрузке и разгрузке (на землю) транспортных средств

Задание 21

Строповка грузов должна производиться

узлом «мёртвая петля»

за две петли

по усмотрению стропальщика

в соответствии со схемами строповки

Задание 22

Машинист крана при проверке правильности строповки груза должен

посмотреть, как зацеплен груз

приподнять груз на 200 – 300 мм

поднять груз на 1 м для проверки действия тормозов

поднять груз на 100 мм

Задание 23

Можно ли производить подъём груза, на который не разработана схема строповки

под руководством лица ответственного за безопасное производство работ

если угол между ветвями стропов общего назначения не превышает 900

нельзя

в любом случае

Задание 24

В цехе два мостовых крана грузоподъемностью 10т. и 15т., должны перевезти груз весом 20 т. Какой порядок перемещения грузов двумя и более кранами?

1) согласно проекта производства кранов

2) перемещение груза двумя кранами не допускается

3) производится в соответствии с проектом или технологической картой

4) по письменному разрешению главного инженера

Задание 25

Перемещение груза, мостовым краном, неизвестной массы должен производиться только

после сигнала стропальщика

после определения его фактической массы

медленно, без рывков и только грузовой лебёдкой

после разрешения инспектора Ростехнадзора

Задание 26

Кантовка грузов кранами допускается при условии

кантовка грузов кранами не допускается

под наблюдением инженерно-технического работника

по заранее разработанному проекту производства работ

при применении специальных приспособлений

Задание 27

На бирках или клеймах съёмных грузозахватных приспособлениях указывается

дата изготовления, дата испытания, грузоподъёмность

номер, грузоподъёмность, дата изготовления

назначение, грузоподъёмность

номер, грузоподъёмность, дата испытания

Задание 28

Периодический осмотр тары производится

каждые 10 дней

каждый месяц

через 6 месяцев

ежедневно

Задание 29

Грузоподъёмные приспособления должны подвергаться осмотру и испытанию нагрузкой превышающей грузоподъёмность на:

15%

30%

25%

5%

Задание 30

Коэффициент запаса прочности стропов, изготовленных из пеньковых, капроновых, хлопчатобумажных канатов (лён)

не более 9

не менее 12

не более 6

не менее 8

Ключ к тесту:

30 заданий с выбором ответа , 4 ответа на выбор один правильный

Организация тестирования

Тестирование проводилось среди студентов обучающихся по профессии 23.01.07 Машинист крана (крановщик) по профессиональному модулю ПМ.02 Эксплуатация крана при производстве работ.

Дата проведения зачета 01.03.2019 год

Время с 1500 до 1540

В тестировании приняло участие 20 чел.

Никаких психических нагрузок накануне не былое. Состояние данной группы во время тестирования без особенностей. Обстановка во время проведения теста рабочая, позитивная. Студенты информированы о зачетных баллах.

Анализ результатов тестирования

4.1. Вариационный анализ

После обработки первичных результатов был проведен вариационный анализ.

Для проведения вариационного анализа использовались баллы и количество студентов, получивших этот балл.

Таблица 5

Вариационный ряд результатов тестирования

Из вариационного ряда видно, что тест не работает в области низких баллов (от 0 до 8). Основной контингент обучающихся находится в области от 12 до 27 баллов.

Студенты хорошо сгруппированы.

Тест двухмодульный (мода 17 и 25), асимметрия левосторонняя.

По результатам тестирования было получено частное распределение.

Более наглядно выглядят результаты тестирования на гистограмме.

Рис. 1 Гистограмма частного распределения результатов тестирования

Рассчитаны показатели вариационного анализа, такие как размах, стандартное отклонение, асимметрия, эксцесс и среднее значение теста.

Эти показания представлены в таблице 6.

Таблица 6.

Характеристика

Стандартное отклонение 4,93. Размах теста 18 - достаточный.

Знание результатов смещено вправо – это может свидетельствовать о том, что тест легкий или студенты хорошо подготовлены в соответствии с нормативно – ориентированным тестированием. Это и подтверждает и ассиметрия, смещенная в сторону больших значений

Проанализировав полученные результаты, можно сделать вывод, что группа неоднородна, так как результаты тестирования сгруппированы. Данный тест хорошо дифференцирует группу.

4.2. Характеристика тестовых заданий

Доля правильных ответов

Задания лежит в области средних величин от 0,3 до 0,7 из 30 заданий - 19 заданий.

Задания №1,14,19,20,22,23,24,26,28,30 лежат в области от 0,75 до 0,9 – это легкие задания.

Задание №16 – трудное задание.

Дифференцирующая способность заданий

Два задания являются инвертированными № 6,16. Слабые студенты на эти задания отвечают лучше, а сильные хуже. Эти задания в дальнейшем следует доработать.

Характеристика заданий теста проводилась на основе анализа показателей

точечно – бисериального коэффициента корреляции и анализа дифференцирующей силы заданий.

Анализ значений коэффициента точечно – бисериальной корреляции выявил ряд заданий (№№ 10, 13, 17, 24) со значениями от 0,05 до 0,2. Эти задания из теста необходимо удалить, как неудачные.

Коэффициент от 0,5 до 0,75 присутствует у большинства заданий, это позволяет сделать вывод о пригодности заданий для теста.

Из теста выбиваются и задания №№ 4. 6, 7, 17 они имеют отрицательную корреляцию (-0,1; -0,2). Это задания со сложной структурой. Более слабые учащиеся отвечают на них лучше.

Таблица 7.

Значения коэффициента точечно - бесериальной корреляции 30 заданий теста

Задания обладающие хорошей дифференцирующей силой имеют точечно – биссериальный коэффициент корреляции от 0,5 и более, это задания №2,3,5,8,18,22,25,27,30 данные задания дают ясное понятие о высокой степени обученности предметом.

Задания 0,5 и более – хорошие задания, т.е. четко распределяют сильных и слабых №№ 2,3,5,8,18,22,25,26

Задания со средней дифференцирующей силой (коэффициент корреляции от 0,3 до 0,6) – 16;

Плохо дифференцирующие задания - коэффициент корреляции

менее 0,0-0,3 – №4,6,16 не дают информации о степени облученности студентов. Данные задания нужно заменить или доработать.

Были выделены 3 группы:

Задания, дифференцирующая сила которых близка к нулю (0 – 0,15) №№ задание №4,№17. Эти задания были выполнены и сильными и слабыми студентами. Для критериального теста это неплохо, а для нормативно – ориентированного теста такие задания надо из теста удалить.

Разность между сильными и слабыми студентами особенно хорошо видна по заданиям №№ 2,4,10

Отрицательная дифференцирующая сила (инвертированные задания), это задания, которые слабые студенты выполнили лучше сильных - №6, №16

Задание 6

При статическом испытании мостового крана контрольный груз поднимается краном на высоту

100 – 200 мм

500 мм

200 мм

200 – 300 мм

Ответ: 1

Задание 16

Машинист не имеет права приступать к работе на кране

полное техническое освидетельствование крана не проводилось

35 месяцев

истёк срок технического освидетельствования крана

кран не проверялся лицом по надзору более 10 дней

в удостоверении крановщика отсутствует роспись члена комиссии по аттестации

Ответ: 2

Коэффициент дискриминативности

Дискриминативностью называется способность задания дифференцировать учащихся на лучших и худших. Высокая дискриминативность – важная характеристика удачного теста. Достижение дифференцирующего эффекта – главная цель создания нормативно – ориентированных тестов.

Два задания имеют отрицательный коэффициент дискриминативности

(№6 -0,20) и (№16 -0,20) это говорит о том, что сильный учащийся не выполнил задание, а слабый выполнил. Эти задания инвертированные.

В целом эффект зависит от корреляции между заданиями и от числа заданий.

Мы вновь обращаем внимание на малое число тестируемых - 20 обучающихся.

Более точное представление о дискриминативной способности дает коэффициент точечно – бисериальной корреляции.

В таблице 8 представлены показатели качества тестовых заданий.

Таблица 8.

Точечно - бисериальный коэффициент корреляции

и коэффициент дискриминативности.

Дистракторный анализ

Дистракторный анализ выявил, что равновероятностная привлекательность состоит в том, что из 4 дистракторов один правильный, остальные должны быть распределены равномерно.

Равновероятностная привлекательность позволила выявить проблемные дистракторы.

В задании № 1,14 не работает 2 дистрактора

В 12 заданиях слабо работают по 1 дистрактору.

В коррекции теста рекомендуется 4-й ответ задания №26 заменить

«при применении специальных приспособлений » на «кантовка грузов кранами допускается»

В задании №15 заменить ответ 2 – «наряд-допуск » на «в технологическую карту».

Задание №14 содержит легкий вопрос – рекомендуется его исключить из теста.

Таблица 9

Распределение ответов тестируемых (доли)

Заключение

Для исследования был взят тест к текущему контролю знаний обучающихся по профессии 23.01.07 Машинист крана (крановщик) по профессиональному модулю ПМ.02 «Эксплуатация крана при производстве работ», разработанный и проведенный в 2019 учебном году.

Анализ представленной спецификации и анализ результатов тестирования показал:

Тест критериальный. Для сдачи зачёта по ПМ.02 «Эксплуатация крана при производстве работ» необходимо ответить на 30 % вопросов (9 баллов). Все студенты аттестованы.

2. Вариативный анализ (частотное распределение результатов обучающихся не соответствует нормальному т.к. количество тестируемых мало, всего 20 человек.)

Анализ характеристик теста показал, что группа однородна. Тест двухмодальный, (максимальное значение 17 и 25 баллов), асимметрия смещена вправо в сторону больших баллов.

Результаты тестирования сгруппированы, средняя группа с баллами от 17 до 23 - большая. Данный тест хорошо дифференцирует группу (размах 18).

Доля правильных ответов лежит в диапазоне от 0,3 до 0,7, что говорит о средней сложности заданий, лишь 2 задания имеют показатель 0,9 (№№1 и 14).

Тест средней сложности, студенты хорошо подготовлены.

Выводы

1. Надежность теста 0,75- средняя. Погрешность 3,52 характеризует границы нижнего и верхнего доверительных интервалов.

Стандартное отклонение 4,91. Область нормы 18,75 + 4,91.

В область нормы попадают 11 человек, выше нормы - 6 человек, ниже нормы 3 тестируемых.

1. Анализ показателей качества тестовых заданий и дистракторов выявил наличие легких заданий и заданий, где дистракторы не работают.

Эти задания требуют коррекции.

Список литератур

1. Аванесов В.С. Композиция тестовых заданий. 2-е изд. исправл. и доп. М.:Адепт, 1998.-

2. Аванесов В.С. Применение заданий в тестовой форме в новых образовательных технологиях. testolog.ги

3. Балыхина Т.М. Словарь терминов и понятий тестологии. - М.: Изд. РУДН, 2000.- 164

4. Беспалько В.П. Педагогика и прогрессивны технологии обучения. М.: Издво ин-та профессионального образования МО РФ, 1995. - 338 

5.Васильев В.П., Тягунова Т.Н. Культура компьютерного тестирования. Часть II. Программно-дидактическое тестовое задание. М.: МГУП, 2002, 90 с.

6. Гласе Д., Стэнли Д. Статистические методы в педагогике и психологии. Пер. с англ. М.: Прогресс, 1976.

7. Ефремова Н.Ф. Современные тестовые технологии в образовании. Учебное пособие. - М.: Логос, 2003. - 176 с.

8. Ю.Кларин М.В. Инновационные модели в зарубежных педагогических поисках. - М.:1994.

9. Михеев В.И. Методы теории измерения в педагогике: Учебное пособие. -М.: Логос, 2003.-64 с.

10. Переверзев В.Ю. Критериально-ориентированное педагогическое тестирование: Учебное пособие. — М.: Логос, 2003. - 120 с.

11. Родионов Б.У., Татур А.О. Стандарты и тесты в образовании. М. МИПКРО, 1995.-68 с. 13. 12. Савельев Б.А., Масленников А.С. Оценка уровня обученности студентов в целях аттестации образовательного учреждения профессионального образования: Учебное пособие. - М.: Логос, 2003. — 136 с.

13. Тестовая технология контроля знаний.- Сост. А.В. Мальцев Екатеринбург, ИРРО.1996.-39 с.

14. Челышкова М.Б. Теория и практика конструирования педагогических

тестов: Учебное пособие. - М.: Логос, 2002. - 432 с.