|
Компьютерное тестирование знаний в образованииПрограммы для создания тестов. Готовые тесты. Методы составления тестов. Маленькие полезные программы не требующие установки. |
"Полезные компьютерные мини-программы для Windows" |
Известно, что компьютерные тесты обладают рядом преимуществ по сравнению с бланковыми тестами, они легки в применении и более интересны как для преподавателей, так и для студентов. Одним из наиболее ответственным и трудоемким процессом при организации компьютерного тестирования, является разработка теста, который должен обладать определенными свойствами, характеристиками и соответствовать целям тестирования. Контролирующий тест обладает составом, целостностью и структурой и отвечающим современным методическим требованиям. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность теста проявляется во взаимосвязи заданий, включенных в тест. Множество типов возможных вопросов в тесте позволяет создать тест неординарным и сложным при попытке подбора со стороны обучающихся. Создание теста предполагает тщательный анализ содержания учебной дисциплины, классификацию учебного материала, установление логических связей. Самый простой способ составления тестовых заданий - формирование вопросов к понятиям, разработка упражнений, требующих для их выполнения знания свойств выбранного понятия. Более сложным этапом является разработка тестовых заданий, определяющих отношения между понятиями. Были изучены все требования, предъявляемые к системам компьютерного тестирования, правила и системы оценки компьютерных тестов. В данной статье описано как создаются тестовые задания, каковы правила разработки тестов, как они оцениваются, как производится анализ тестирования, какие типовые ошибки допускаются при создании теста и рассмотрены следующие вопросы.
|
Разработка теста для компьютерного тестового контроля1. Составление компьютерных тестовРазработка контролирующего теста осуществляться преподавателем, хорошо знающим исходный материал и имеющим опыт проведения занятий по данной дисциплине, предмету. Детальное знание материала лицом, которому поручена разработка контрольного теста - необходимое условие объективности компьютерного контроля знаний. Поэтому даже опытному специалисту, приступающему к созданию контролирующего теста, рекомендуется предварительно возобновить его в памяти и оценить с точки зрения компьютерного тестирования, какие разделы материала необходимо и возможно, включить, а какие нет, какова должна быть степень детализации разработки и т. д. Создание теста для контроля знаний в общем случае включает:- разработку вопросов для теста - формирование теста Разработка вопросов обычно начинается с разбивки исходного материала на определенные дозы. Объем дозы может быть самым различным и зависит от характера используемого материала. Если материал изложен в руководящем документе, учебнике, пособии, то дозы могут соответствовать главам, разделам, параграфам документа. В ряде случаев доза может объединять несколько разделов или параграфов. Важно лишь помнить о том, что каждая доза должна представлять минимальную, но логически законченную часть материала. Дозу материала необходимо осмыслить и обдумать, какая часть из данного материала поддается программированию, т. е. пригодна для разработки вопросов, какие методы ввода ответов при этом возможно, и целесообразно применить. Типичная ошибка лиц, впервые приступающих к созданию теста, заключается в том, что они, не осмыслив всего материала в целом, и в частности данной дозы, пытаются программировать материал подряд по абзацам. Прочтя очередной абзац, пытается сформулировать вопрос, ответ, на который является текст данного абзаца. Вопросы, составленные по такому принципу, как правило, включают лишнюю детализацию учебного материала. При составлении теста по абзацам у преподавателя может возникнуть иллюзия того, что материал вообще не поддается программированию, так как во многих случаях для формулирования вопроса подбора элементов для ответов просто может оказаться недостаточно материала одного или даже нескольких абзацев. И еще одна ошибка, которую зачастую допускают лица, не имеющие достаточного опыта в создании тестов: составленные вопросы они сразу же фиксируют в тесте. При таком способе формирования теста весьма сложно обеспечить равномерное распределение материала между разными тестами. Если число разработанных вопросов превысит необходимую потребность для составления теста, они могут пригодиться в последующем для дополнительных вариантов. Кроме того, результаты уже проведенного контроля знаний и его анализ могут указать на то, что те или иные вопросы в тесте являются по той или иной причине неудачными, недостаточно четко сформулированными, допускающими двоякое толкование, излишне сложными, чересчур легкими для ответа на них и т. п. В этом случае при наличии резерва вопросов облегчается их замена без дополнительной проработки исходного материала. После того как обеспечено нужное число вопросов по программируемому материалу, можно приступать к формированию теста. При формировании теста перед преподавателем, особенно впервые разрабатывающим программу, встает несколько вопросов, которые необходимо решить прежде, чем приступить к работе.
При текущем контроле знаний, проводимом в начале лекции и поэтому по времени строго лимитированном, именно время необходимое для ответа средне подготовленным проверяемым может быть принято в качестве основного фактора, определяющего число вопросов в тесте. Другие соображения, такие как, например, объем запрограммированного материала, в этом случае отойдут на второй план. Практика показывает, что при средней сложности программируемого материал и проведении контроля знаний в пределах одного академического часа для текущего и рубежного контроля число вопросов в тесте обычно находится в пределах пяти, а для итогового - десяти. Однако если время контроля позволяет и число разработанных вопросов для комплектации теста является достаточным, то целесообразно увеличивать число вопросов в каждом тесте. В этом случае, объективность оценки при тестировании знаний выше, чем при использовании тестов с меньшим числом вопросов (промах, случайная ошибка или непринципиальная неточность, допущенная проверяемым). При выборочном методе ввода ответов максимальное число вариантов ответов на каждый вопрос ограничений не накладывает. Однако практика показывает, что четырех- пяти вариантов ответов и в этом случае вполне достаточно. Главным критерием, определяющим их число, является специфика учебного материала - та предварительная информация, которая может объединить общим понятием вполне ограниченное число вариантов. Поэтому подбор большего числа вариантов ответов не нужен, он существенно усложнил бы задачу преподавателя, создающий контрольный тест. При других методах число элементов ответов чаще всего бывает больше. Таким образом, для создания объективного, методически продуманного компьютерного теста необходим системный подход. Только в этом случае будет получен эффект при контроле знаний большого числа проверяемых. 2. Методы ввода ответовВопросы к тесту при компьютерном тестировании с целью проверки знаний формулируются, как правило, в виде заданий (например, "Укажите..." и т. д.). При этом проверяемый должен выполнить задание и ввести ответ таким образом, чтобы компьютерная программа могла однозначно установить верно, или неверно был дан ответ на поставленный вопрос. Существует понятие метода ввода ответов, определяющее порядок диалога проверяемого с тестирующей программой. Основные методы следующие:
Выборочный метод ввода ответов является наиболее распространенным при компьютерном тестировании знаний. С применения выборочного метода ввода ответов и начался стандартизованный контроль знаний. Термин "Выборочный" отражает сущность метода, отвечая на вопрос при компьютерном тестировании, проверяемый должен выбрать правильный ответ из нескольких, ему предложенных. Метод может быть применен при контроле знаний практически по всем дисциплинам. Он легко усваивается проверяемыми, так как прост для понимания и практического применения. Использование его при компьютерном контроле знаний требует сравнительно малых затрат времени. На первый взгляд, применение выборочного метода ввода ответов является исключительно простым. И действительно, преподаватель формулирует вопрос и к нему комплектует набор из нескольких ответов, из которых лишь один правильный. Перед проверяемым ставится задача - внимательно прочтя и усвоив вопрос, выбрать из предложенных нескольких вариантов, верный, по его мнению (и мнению преподавателя!) ответ. Если проверяемый знает материал и может выбрать правильный ответ - хорошо, если не знает или при выборе допускает ошибку - плохо. Оценить знания проверяемого тоже, как будто бы просто, если в тесте пять вопросов то после ответа сразу готова оценка по 5-ти балльной системе. Однако этот метод обладает рядом серьезных недостатков. Первый недостаток выборочного метода при компьютерном тестировании знаний заключается в том, что все ответы даются в логически законченном виде, т. е. этот метод переносит акцент в деятельности обучаемых не на понимание, а на запоминание изучаемого материала. Второй недостаток - при этом методе ввода ответов очень силен элемент подсказки. Действительно, правильный вариант ответа является в определенной степени подсказкой, даже если он ничем не отличается от других вариантов. Ведь если проверяемый имеет не совсем твердые знания и ответ на поставленный вопрос знает только приблизительно, то, прочтя несколько вариантов ответа, он, как правило, возобновляет в памяти необходимую часть учебного материала, что существенно помогает ему принять верное решение при выборе ответа. В практической деятельности у него таких подсказок не будет. В-третьих, при использовании этого метода велика вероятность угадывания правильного ответа. Проверяемый, не зная материал, пытается угадать верный ответ и зачастую в этом преуспевает. Особенно, если ответов мало и если материал ему хоть немного знаком. И, наконец, работа проверяющего - составителя теста усложняется из-за необходимости подбирать к одному верному, полному, абсолютно правильному ответу несколько неверных или неточных. И если учесть, что к простому угадыванию добавляется элемент подсказки, который всегда присутствует при выборочном методе, где верный и неверные ответы даются в логически законченном виде, вероятность угадывания правильного ответа увеличивается. Все перечисленное приводит к тому, что слабо подготовленный контролируемый уходит после проверки знаний удовлетворенный тем, что ему удалось ввести в заблуждение проверяющих и получить завышенную оценку. Еще хуже обстоит дело с контролируемым, который никого не хотел обмануть, а просто слабо подготовился, не изучив в достаточной степени весь учебный материал. При получении завышенной оценки у него возникает иллюзия хорошего знания материала. Несмотря на недостатки, выборочный метод широко используется при проведении компьютерного тестирования. Подавляющее большинство используемых в настоящее время тестирующих программ используют выборочный метод ввода ответов как основной. Это происходит потому, что некоторые из недостатков, о которых шла речь выше, присущи, хотя и в меньшей степени, и другим методам ввода ответов. Для уменьшения отрицательного влияния недостатков на объективность контроля не следует ограничиваться применением только одного выборочного метода и, если материал позволяет, включать в тест вопросы, построенные на различных методах ввода ответов. Выборочный же метод целесообразно применять только тогда, когда другие методы использовать нельзя. Вопросы с поэлементным вводом ответов Сущность поэлементного метода заключается в том, что для составления ответа на каждый вопрос предлагаются не готовые ответы, а их элементы. Часть из предлагаемых элементов действительно необходима для правильного и полного ответа, а остальные не должны входить в ответ на данный вопрос. Например, есть инструкция по обслуживанию некого устройства, на котором имеются клапаны № 1, 2, 3, 4, 5 и т. д. Для ответа на вопрос: "Какие необходимо открыть клапаны для запуска устройства в определенном режиме?" - предлагается выбрать нужные клапаны из всех имеющихся (клапаны перечисляются), т. е. для правильного и полного ответа необходимо указать лишь некоторые из перечисленных клапанов (например, №2, 3, 5). Поэлементный метод, так же как и выборочный может быть применен при контроле знаний практически по всем дисциплинам - техническим и гуманитарным. Однако его удобнее использовать при компьютерном тестировании знаний по конструкции различных технических устройств, инструкций по эксплуатации материальной части, физическим и технологическим процессам, технике безопасности и т. п. Таким образом, поэлементный метод следует применять во всех случаях, когда есть возможность разбить ответ на отдельные части, элементы и эта разбивка будет естественной, не надуманной. Этому методу в значительно меньшей степени присущи недостатки, свойственные простому выборочному методу ввода ответов. При выборочном методе ввода ответов мы определяем, верно, или с ошибкой ответил контролируемый, т. е. определяем ошибку, но не можем определить ее причину. Поэлементный метод ответа открывает в этом плане некоторые возможности. В зависимости от того, какой из элементов введен или не введен в ответ, можно в определенном степени судить о пробелах в знаниях обучаемого, которые привели к данной ошибке. При поэлементном методе составление ответа даже из предлагаемых элементов автоматически исключает шаблон и обеспечивает большие возможности для развития творческого мышления, смекалки. Ранее было отмечено, что одним из недостатком выборочного метода ввода ответов является наличие подсказки. Безусловно, при элементном методе влияние подсказки полностью не исключается, хотя оно и будет явно меньшим, чем при выборочном методе, так как полные ответы (в законченном виде) здесь не даются. Преподаватель, формирующий вопросы с поэлементными ответами, избавлен от необходимости подбирать "неправильные", но "похожие" или "не совсем правильные, но правдоподобные", или "правильные, по неполные" ответы. Он должен лишь перечислить все элементы, из которых будет состоять правильный ответ, дополнив их верными элементами, но к данному вопросу не относящимися. Эти лишние элементы, как правило, подсказывает специфика устройства прибора, механизма, перечня действий и т. п., о которых идет речь в использованном учебном материале. Не давая неверного ответа, преподаватель тем самым автоматически устраняет возможность его запоминания. Однако от преподавателя в данном случае во многом зависит, будет ли поэлементный метод соответствовать известным дидактическим принципам и психолого-педагогическим требованиям. Неудачно тест и при применении поэлементного метода может привести к незаслуженным нареканиям не только в адрес метода, но и в адрес всего компьютерного контроля знаний. Вопросы с обозначения порядка ввода ответов Разновидностью поэлементного метода является метод обозначения порядка ввода ответа. Сущность метода заключается в том, что элементы, комплектующие ответ не просто перечисляются, а вводятся в определенном порядке. Этот метод применяется в тех случаях, когда важно проверить не только знание определенных элементов, из которых конструируется ответ, но и порядок, последовательность применения, использования, действия этих элементов. Так пример приведенный выше будет выглядеть так: "В какой последовательности открыть клапаны для пуска устройства в определенном режиме?". тогда для правильного и полного ответа необходимо указать порядок открытия из перечисленных клапанов (например, №3, 5, 2). При применении этого метода должно содержаться указание проверяемому, чтобы он понял, что от него требуется установить твердый порядок вводимых элементов. Техника применения этого метода относительно сложна и применять ее стоит только с подготовленным контингентом слушателей, уже имеющих опыт компьютерного тестирования. Вопросы с результативным вводом ответов Результативный метод ввода ответов, так же как и предыдущие, довольно широко используется при компьютерном тестировании знаний. Его целесообразно применять в тех случаях, когда учебный материал удобно выразить в цифрах. Сущность метода: проверяемый решает числовую задачу, пример, в результате чего получает результат. Отсюда и название метода - результативный. Результат вводится проверяемым. Результативный метод может использоваться и при контроле знаний по таким вопросам, как технические данные и параметры работы машин, приборов, механизмов, количественные характеристики тех или иных явлений, т. е. не обязательно получен в результате расчетов. Как видим, результативный метод в еще большей степени, чем поэлементный, избавлен от недостатков, свойственных выборочному методу. При этом методе уже вообще нет необходимости предъявлять контролируемому ни правильного ответа, ни, тем более, каких-либо вариантов неверных ответов. Исключается и вероятность запоминания проверяемыми неверных ответов, так как их нет. Положение преподавателя также облегчается, отпадает необходимость придумывать несколько вариантов ответов, да и верный ответ нет необходимости формулировать, как это имеет место при выборочном или поэлементном методах. Таким образом, результативный метод обеспечивает более объективную оценку знаний по сравнению с выборочным и поэлементным методами, так как он в большинстве случаев сводит вероятность получения проверяемым положительной оценки при попытке угадать правильный ответ практически к нулю. Кратко сформулируем основные рекомендации и выводы, которые следует учитывать при разработке вопросов к тесту:
3. Оценка результата тестированияОценка ответов проверяемых - одна из важных операций при компьютерном тестировании знаний. Недостаточно продуманный подход к оценке ответов может в значительной степени свести на нет предшествующие усилия по подготовке, организации и проведению тестирования знаний. При оценке знаний, прежде всего, важен выбор правильного критерия оценки. Он наряду с другими факторами влияет на объективность этой оценки.Критерии оценки ответа могут быть различными. На практике при компьютерном тестировании чаще всего применяют два критерия
Первый критерий - выбор преподавателем верного соотношения между числом правильных ответов на вопросы с общим числом вопросов теста для определения оценки зависит от важности проверяемого материала и актуальности поставленных вопросов. Например, проверка знания связанной с безопасностью человека не допускает ни малейших пробелов в знаниях проверяемых. Видимо, критерий в этом и подобных случаях должен быть самым жестким", т. е. при любом числе вопросов в тесте положительная оценка может быть поставлена только при правильных ответах на все вопросы теста. Несколько менее жесткие требования предъявляются, к примеру, в ГАИ при сдаче стандартизованного экзамена начинающим водителями. Здесь уже положительная оценка выставляется при 8 правильных ответах на 10 вопросов. Из приведенных двух примеров видно, что вариантов оценки ответов может быть очень много. Каждый раз в соответствии "стоимостью" и "весомостью" материала необходимо принимать решение о том, какой же критерий установить для данной конкретной проверки знаний. При этом контроль должен быть объективным и отвечать тем целям, которые перед ним поставлены. Рассмотрим некоторые конкретные варианты оценки ответов. Чаще всего число вопросов в блоках применяется 10, 5 или, в тесте может быть и другое число вопросов. Если проверяют знания по обычному материалу, т. е. не требующему высокой ответственности принимаемых решении, когда неточности в его знании не влекут за собой особо тяжелых последствий, то на практике часто принимают такие значения первого критерия: При числе вопросов в тесте равном 10 оценки будут следующие:
Приведенные нами числовые значения первого критерия могут преподавателем изменяться в зависимости от специфики контролируемого материала. Если требуется проверить знания по такому материалу, как техника безопасности на производстве, и т. п. то эти значения целесообразно иметь другими. Например, при 10 вопросах в тесте оценку "отлично" давать только, когда все 10 ответов являются верными, "хорошо" - 9, "удовлетворительно" - 8-7, 6 и меньше "неудовлетворительно". При большом количестве вопросов в тесте, целесообразно числовой диапазон правильных ответов заменять на процент правильных ответов, тогда оценка может соответствовать, например,
При решении вопроса о том, каким выбрать первый критерий знаний, целесообразно учитывать возможную неравнозначность вопросов в тестах. В тесте один или несколько вопросов могут быть основными, т. е. более сложными для ответа, или включающими наиболее важный материал, а остальные вопросы - дополнительными. В этом случае удельный "вес" основных вопросов будет выше, чем дополнительных, и может в большей степени влиять на принятие преподавателем решения о выставлении оценки. Второй критерий - время, затраченное для ответов на вопросы, применяется в тех случаях, когда требуется оценивать не только правильность ответа на вопросы, но и время, необходимое для того чтобы ответить. Чаще всего этот критерий применяется, когда основными вопросами тестов являются вопросы с результативным методом ввода ответов и когда для ответов предусмотрено решение задач в ограниченное время. Например, тест включает вопросы, при ответе на которые предусматривается решение задач на время. Проверяемый должен выполнить необходимые расчеты, требующие не только правильности, но и быстроты исполнения. В этом случае при тестировании задается время, а по его истечении ответы проверяемых, уложившихся в установленное время, оцениваются по первому критерию. Ответы проверяемых, которые не успели ответить, оцениваются как неудовлетворительные, либо оценка по первому критерию соответствующим образом снижается. Числовые значения и первого и второго критериев, разработанные преподавателем для различных разделов (тем) данной дисциплины, должны быть согласованы между собой. Необходимо также провести согласование числовых значений критериев, применяемых разными преподавателями. При проведении компьютерного тестирования на предприятии вопрос определения критериев оценки знаний проверяемых должен быть в центре внимания лиц, организующих контроль знаний. Выбор и окончательное их утверждение должны осуществляться по возможности коллегиально. Таким образом, при организации и проведении компьютерного тестирования, с целью обеспечения объективности оценки результата, целесообразно, придерживаться следующих рекомендаций:
|
|
Программы для создания тестов. Готовые тесты. Методы составления тестов |
Компьютерное тестирование в образовании Copyright © г. Sergey Logoshny |