Основные этапы конструирования теста в психодиагностике. Этапы конструирования тестов. Вопросы и задания

Страница 21 из 25

Основные этапы конструирования педагогического теста

Проблемы конструирования опросников.

При разработке заданий для опросников необходимо учитывать следующие проблемы, которые, если их не обойти, неизбежно приведут к низкой валидности тестов.

1. Установка на согласие. Это тенденция испытуемого соглашаться с утверждениями или отвечать на вопросы "да" независимо от их содержания. Чаще всего проявляется, когда утверждения (вопросы) неоднозначны и неопределенны.

2. Установка на социально одобряемые ответы. Это тенденция испытуемых отвечать на вопросы теста так, чтобы выглядеть "социально положительным": если возможен "социально желательный" ответ, то весьма вероятно, что испытуемые будут его давать.

3. Установка на неопределенные или средние ответы. Если в опроснике представлена средняя категория ответов, отражающая нерешительность или неуверенность в ответе (например
"не уверен", "не знаю" или "затрудняюсь ответить"), то многие испытуемые склонны к ней прибегать, как к безопасному компромиссу. Это приводит к снижению валидности, поскольку большинство методов анализа вопросов основывается на крайних значениях показателей.

4. Установка на "крайние" (расположенные по краям шкалы) ответы. Эта установка может проявляться при использовании многоэлементной рейтинговой шкалы. Некоторые испытуемые, независимо от содержания вопросов, предпочитают выбирать крайние ответы.

5. Очевидная валидность вопросов. Несомненно, в тестах личности необходима уверенность в том, что ответы на вопросы могут рассматриваться как правдивые.

6. Проблемы в установлении адекватного критерия валидности. Существует значительная трудность в нахождении адекватного критерия.

Таковы основные сложности, возникающие при конструировании опросников, и следует отчетливо их себе представлять, прежде чем вы приступите к формулированию вопросов или утверждений. Две последние проблемы, хотя они и являются определяющими, выходят на первый план уже после того, как подобраны задания теста.

Процесс создания теста, его научного обоснования, переработки и улучшения можно разбить на ряд этапов.

1. Определение цели тестирования, выбор вида теста и подхода к его созданию.

2. Анализ содержания изучаемого явления (качества).

3. Определение структуры теста и стратегии расположения заданий.

4. Разработка спецификации теста, выбор длины теста и времени его выполнения.

5. Создание предтестовых заданий.

6. Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.

7. Экспертиза содержания предтестовых заданий и теста.

8. Экспертиза формы предтестовых заданий.

9. Переработка содержания и формы заданий по результатам экспертизы.

10. Разработка методики апробационного тестирования.

11. Разработка инструкций для проводящих апробацию теста.

12. Проведение апробационного тестирования.

13. Сбор эмпирических результатов

14. Статистическая обработка результатов выполнения теста.

15. Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.

16. Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения. Оптимизация порядка расположения заданий в тесте.

17. Повторение этапа апробации для повышения качества теста.

18. Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.

Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных, причем, как правило, не один раз, а два, три и более. В определенном смысле этот цикл бесконечен, но не потому, что все задания плохи и разработчик не имеет достаточного опыта создания теста. Процесс конструирования теста довольно труден, поскольку необходим всесторонний подход к оценкам качества теста и характеристик тестовых заданий, к проверке их системообразующих свойств.

К тому же можно считать, что задача оптимального подбора состава теста не имеет единственного решения, так как не все здесь определяется качеством тестового материала, а многое еще зависит от уровня подготовки группы учеников. Задания, работающие на одной выборке учеников, могут оказаться бесполезными на другой, так как они будут или слишком легкими, или слишком трудными и их не выполнит правильно ни один ученик группы.

Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов.

Конечно, далеко не всегда в процессе создания тестов необходимо достижение профессионального уровня качества, особенно если отвлечься от общих целей. В повседневной деятельности педагога необходимы тесты разного, иногда невысокого качества, ориентированные на задачи текущего контроля. Выполнение последней задачи вполне по силам отдельному педагогу или группе педагогов. Однако и в этом случае можно самостоятельно сделать ряд расчетов, основанных на минимальном математическом аппарате и позволяющих значительно продвинуться от предтестовых заданий к настоящему тесту.

На этапе сбора данных необходимо принять специальные меры, обеспечивающие единообразие процедуры выполнения теста. Стандартизация этой процедуры затрагивает вопросы формирования репрезентативной выборки испытуемых, правильного инструктирования, выбора оптимального времени тестирования, качественных материалов, подходящей окружающей обстановки. Определенное внимание следует уделить подготовке преподавателей, проводящих тестирование, принять меры по предотвращению списывания в процессе выполнения теста. Малейшее отступление от требований стандартизации повлечет за собой снижение достоверности эмпирических результатов выполнения теста. Помимо перечисленных, на результаты выполнения теста может повлиять множество других, менее очевидных факторов. В целом же для обеспечения сбора достоверных эмпирических данных необходимо:

Точно следовать процедурам стандартизации при сборе эмпирических данных;

Регистрировать любые нестандартные условия, приводящие к отступлениям от требований стандартизации;

Учитывать нестандартные условия тестирования при интерпретации теста.

Большое значение имеет разработка правильных инструкций по выполнению теста, которые следует подготовить как для педагога, руководящего процессом применения теста, так и для учеников, выполняющих тест.

В инструкции для педагога содержатся рекомендации по подготовке группы учащихся к выполнению теста, примерные обязанности педагога на этапе проведения тестирования, рекомендации по подготовке краткого отчета о выполненной процедуре предъявления теста.
В целом перед тестированием педагогу необходимо следующее.

1. Объяснить, зачем нужен тест, сообщить, какие результаты ожидаются.

2. Объяснить, почему испытуемые должны приложить максимум усилий для его выполнения, акцентировать внимание испытуемых на возможности проверки своих сил и подчеркнуть соревновательный мотив. При этом следует иметь в виду, что слишком сильная мотивация, как и слабая, в одинаковой степени негативно сказываются на результативности теста.

3. Медленно, четко прочесть инструкцию к тесту с примерами, если они имеются. Возможна ситуация, когда испытуемые самостоятельно следят по своим вариантам теста за инструкцией, а педагог зачитывает ее или воспроизводит по памяти.

4. Дать возможность испытуемым потренироваться, решив самостоятельно одну или более задач-образцов, если такие имеются. Проверить, правильно ли понята инструкция по результатам выполнения образцов заданий теста.

5. Сообщить о временном ресурсе, о правилах исправления допущенных ошибок, рассказать о том, чего не рекомендуется делать при выполнении задач и к кому обращаться в случае возникновения вопросов.

6. Вместе с испытуемыми записать, если требуется, паспортные и биографические данные в регистрационных бланках, проследить за правильностью их заполнения.

7. Ответить на имеющиеся вопросы до начала выполнения теста.

8. Раздать тест.

9. Дать команду начать выполнение заданий. Время начала записать самому или попросить сделать это испытуемых на регистрационном бланке.

10. Во время выполнения заданий следить:

За временем выполнения отдельных субтестов, если это необходимо, как, например, при выполнении скоростных тестов;

За наличием отточенных карандашей и других материалов;

За правильностью заполнения паспортной части регистрационных бланков (если замечена ошибка, своевременно ее устранить);

За тем, чтобы испытуемые не писали на тестовых брошюрах, если не предусмотрено;

За тем, чтобы соседи не общались, не мешали друг другу, не подглядывали;

За состоянием испытуемых;

За тем, чтобы испытуемые своевременно получили разрешенные инструкцией ответы на вопросы в ситуациях, связанных с процедурой проведения.

11. После сигнала к окончанию выполнения заданий теста при групповом проведении дать команду сложить брошюры и бланки для ответов в исходное положение или самому собрать (если участвуют не более 30 человек). Если участников тестирования больше 30 человек, то рекомендуется попросить всех остаться на своих местах и передать в начало ряда тестовые материалы в следующем порядке: бланки для ответов, брошюры, черновики. После этого пересчитать количество бланков и брошюр.

12. По окончании тестирования просмотреть все брошюры и стереть отметки в них.

Оглавление
Педагогическая диагностика в воспитательном процессе.
ДИДАКТИЧЕСКИЙ ПЛАН
Понятие педагогической диагностики
Исторические аспекты формирования диагностики как специфического вида познания
Личность как предмет педагогической диагностики

Как известно, психологический тест может быть охарактеризован как эффективный в том случае, если он удовлетворяет следующим основным условиям:

а) использование шкалы интервалов;

б) надежность;

в) валидность;

г) дискриминативность;

д) наличие норматичных данных.

Разумеется, конструирование тестов, относящихся к разумным диагностическим подходам, имеет, несмотря на необходимость соблюдения общих требований к этому процессу, определенную специфику.

Обычно выделяют три главные стратегии в конструировании личностных опросников: дедуктивная, индуктивная и экстернальная. Дедуктивная или содержательная стратегия базируется на теоретических представлениях о личности, ее структуре и функционировании. Вторая стратегия - индуктивная, предполагает использование факторного анализа или других статистических процедур, основанных на корреляционных связях. Главная особенность индуктивной стратегии заключается в том, что исследователь как бы позволяет данным говорить самим за себя. Экстернальная стратегия эмпирична по своей сути и основывается на сравнении контрастных групп. Ни одна из названных групп не может быть названа как предпочтительная.

Основные этапы конструирования теста

Прежде чем приступать к созданию теста, необходимо четко знать, для чего он нужен. Ясный ответ на этот вопрос - необходимое условие работы. Поэтому первым шагом будет формулирование цели будущего теста. После этого следует обратиться к разработке спецификации будущего теста. Наиболее удобно сделать это в виде таблицы, в котором по горизонтали будут располагаться содержательные области, которые предполагается измерять, а по вертикали - их манифестации, или пути, по которым содержательные области могут проявляться.

Ясное понимание цели будущего теста, естественно, облегчает построение перечня того, что предстоит измерять. При спецификации манифестаций важно обеспечить выделение различных форм их реализации.

В каждом задании может быть задан только один вопрос или сформулировано одно утверждение. Нельзя допускать появления заданий, в которых присутствует формулировки типа: "для этого человека и других людей", "как и другие" и тому подобное. Каждое задание (вопрос) должен быть предельно просто и ясно. Необходимо избегать двусмысленных формулировок и придерживаться, насколько это возможно, наиболее простых вариантов ответов. В то же время необходимо стремиться к тому, чтобы обследуемые не могли догадываться о том, для измерения какой черты предназначено то или иное задание. В противном случае ответы будут отражать их точку зрения на выраженность у себя этой черты, а не реальное положение дел.

Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения.

Везде, где только можно, следует избегать употребления таких слов, как "часто", "редко" и тому подобное. Иначе говоря, в формулировке заданий нужно очень осторожно прибегать к словам, указывающим на частоту действий. Также следует избегать терминов, выражающих чувства. Лучше представить задание в контексте поведения.

Очень важно, чтобы любой из предлагаемых вариантов ответа воспринимался испытуемым как возможный, вероятный. Ответ, воспринимаемый обследуемым как неправильный, будет иметь малую вероятность выбора.

После разработки всех заданий к ним следует вернуться через некоторое время и попытаться еще раз оценить их формулировки, еще раз убедиться в том, что все они легко понимаются и не содержат двусмысленностей. Для этого требуется привлечь хотя бы двух-трех экспертов. В личностных опросниках, как правило, используются три типа заданий: дихотомические, трихотомические и задания с рейтинговыми шкалами. Весьма популярны задания с альтернативным выбором (дихотомические), которые просты для понимания, легки и удобны для обработки. Это задание требует наименьшего времени на ответы. К их недостатком относится то, что обследуемые часто не удовлетворены предполагаемой альтернативой, хотели бы видеть больше вариантов ответа. Задания трихотомитрические (три варианта ответа, например "да", "не знаю", "нет") также распространены в опросниках, и их преимуществом является то, что обследуемые могут более точно выразить себя, нежели в случае альтернативы.

Какие-либо правила, определяющие количество вариантов выбора ответа, отсутствуют. Обычно не рекомендуется использование более семи в опросниках, использующих рейтинговые шкалы. Важно обеспечить достаточное количество градаций ответа, с тем, чтобы обследуемые были в состоянии адекватно выразить самих себя. Следует помнить о том, что в разрабатываемом опроснике желательно использовать только один тип заданий.

Разработчикам тестов хорошо известно, что от оформления, формы представления методики, что определяется как ее очевидная (лицевая) валидность, зависит, насколько серьезно воспринимается она испытуемыми в качестве инструмента обследования. В любом опроснике должен быть представлен блок основной информации, который включает в себя его название, а также вопросы, касающиеся имени, пола, возраста, образования и некоторых других необходимых для исследователя данных. Обязательно указывается дата заполнения опросника.

Инструкция должна быть ясной, доступной для понимания. В ней должно быть указано, как выбрать ответ и каким образом отмечать его в отроснике. Здесь же содержится дополнительная информация, которую разработчик считает необходимым сообщить обследуемому.

Для компоновки текста опросника следует руководствоваться такими рекомендациями.

а) Нумеруется каждое задание.

б) Каждая строка на странице болжна быть короткой и содержать не более 10-12 слов.

в) Все задания располагаются по прямой вертикальной полосе сверху вниз в левом углу страницы.

Варианты ответов должны быть представлены так, чтобы получилась прямая вертикальная полоса сверху вниз в правом углу страницы.

г)Каждое задание нужно отделить друг от друга, лучше это сделать используя свободное пространство, а не горизонтальную линию.

д) Если используется более чем один тип заданий, одинаковые задания группируются вместе. Каждый тип задания требует разных инструкций и своих вариантов ответов.

е) Опросник печатается так, чтобы он имел эстетически привлекательный вид.

Анализ заданий по результатам, полученным в пилотажном исследовании, имеет своей целью отбор наилучших заданий для окончательной версии опросника и включает в себя определенные доли ответивших правильно и дискриминантности каждого анализа. Первый шаг состоит в том, чтобы составить таблицу анализа заданий, в котором каждая колонка представляет задание, а каждая строка - обследуемого. Когда речь идет о разработке личностных опросников, в таблицу вписывается соответствующий балл по каждому заданию, а при этом имеется в виду, что обратные задания (с противоположным содержанием) оцениваются так же, как и прямые задания, но в противоположном направлении континуума оценок. Затем суммируются баллы по каждой клетке для получения общего балла по каждому ряду (испытуемые) и общего балла по каждой колонке (задания).

Следующим шагом будет вычисление показателя, определяющего долю испытуемых, ответивших в соответствии с "ключом" опросника или индекса эффективности задания.

Также нужно удостовериться, посмотрев на результаты в таблице анализа заданий, в том, что хороший индекс эффективности, то есть лежащий где-то посередине между крайними оценками, не просто означает выбор средних оценок в оценочном континууме каждым испытуемым, а представляет собой вариацию различных оценок.

Задания только тогда следует включать в окончательную версию опросника, когда они измеряют те же самые личностные особенности, что и другие, предназначенные для этого задания. Это основной критерий.

Тест обычно считается надежным, если с его помощью получаются одни и те же показатели для каждого исследуемого при повторном тестировании.

В психометрике слова надежность имеет два значения. На одном из них - надежности по внутренней согласованности. Вполне естественно считать, что если некоторая переменная измеряется частью теста, то другие его части, не будучи согласованными с первой, измеряют нечто другое. Для того чтобы быть валидным, тест должен быть согласованным. Существует несколько способов определения надежности.

Надежность ретестовая - предполагает повторное предъявление того же самого теста тем же испытуемым и примерно в тех же условиях, что первоначальное, а затем установление корреляции между двумя рядами данных. При использовании этого метода определения надежности нужно отдавать себе отчет в том, что испытуемые могут запомнить свои ответы и воспроизвести их во второй раз, поэтому повторное тестирование должно быть отделено от первого более-менее значительным временным интервалом, обычно не менее месяца.

Надежность параллельных форм предусматривает создание эквивалентных форм опросника и предъявление их одним и тем же испытуемым для того, чтобы затем оценить корреляцию между полученными результатами. Основная проблема, препятствующая широкому распространению этого способа определения надежности, - необходимость подготовки двух наборов знаний, что чрезвычайно сложно, поскольку требуются убедительные доказательства их эквивалентности.

Надежность частей тела определяется путем деления опросника на две части (обычно на четные и нечетные задания), после чего и рассчитывается корреляция между этими частями. Обычно к этому способу определения надежности рекомендуется прибегать только в тех случаях, когда необходимо быстро получить результаты.

Во многих случаях перед разработчиком теста встает задача "сжатия" информации или, иначе говоря, компактного описания изучаемых явлений при наличии множества наблюдений или переменных. Факторный анализ как раз является методом снижения размерности изучаемого многомерного явления.

Как хорошо известно, одной из типичных форм представления экспериментальных данных является матрица, столбцы которой соответствуют результатам (значениям), полученным в результате их применения. Визуальный анализ сколь-нибудь значительной по величине матрицы невозможен, а поэтому требуется исходную информацию сжать, извлечь из нее наиболее важное, существенное. Прежде всего исследователю необходимо получить корреляционную матрицу (подсчет коэффициентов корреляции).

В психологическом тестировании цель факторного анализа заключается в том, чтобы найти несколько фундаментальных факторов, которые объяснили бы большую часть дисперсии в группе оценок по различным тестам или другим психометрическим измерениям. Существует несколько процедур факторного анализа, но не все они предполагают две стадии: 1) факторизацию матрицы корреляций, с тем, чтобы получилась первоначальная факторная матрица; 2) вращение факторной матрицы, с тем, чтобы обнаружить наиболее простую конфигурацию факторных нагрузок.

Стадия факторизации в этом процессе призвана определить количество факторов, необходимых для объяснения связей между различными тестами, и обеспечивает получение первичных оценок нагрузки (веса) каждого теста по каждому фактору. Вращение факторов необходимо для того, чтобы сделать их более понятными (интерпретируемыми) с помощью создания конфигурации факторов, в которой совсем немного тестов имеют высокие нагрузки, тогда как большая часть тестов имеют низкие нагрузки по любому фактору.

Факторно-аналитический подход позволяет также оценить надежность теста. Как известно, полная дисперсия теста равна сумме дисперсий для общих факторов, плюс дисперсии специфических факторов, плюс дисперсия погрешности. Следовательно, мы осуществим факторный анализ теста, возведем в квадрат и суммируем нагрузки его факторов, то мы получим его надежность, поскольку нагрузки факторов представляют корреляцию теста с общими или специфическими факторами. Однако следует помнить, что такой способ установления надежности более всего подходит для уже факторизованного теста, нежели для тестов, которые могут измерять широкий набор разных факторов, часть которых могут не входить в батарею изучаемых исследователем.

Одним из важных отличий психометрических тестов является то, что они стандартизированы, а это позволяет сравнить показатели, полученные одним испытуемым, с таковыми в генеральной совокупности или соответствующих группах. Тем самым достигается адекватная интерпретация показателя определенного испытуемого. Таким образом, стандартизация теста наиболее важна в тех случаях, когда осуществляется сравнение показателей обследуемых. При этом вводится понятие нормы, или нормативных показателей. Для получения стандартных норм нужно тщательно отобрать большее количество испытуемых в соответствии с ясно обозначенным критерием. При формировании выборки стандартизации следует учитывать ее объем и репрезентативность. В руководствах по тестам чаще всего указывают то, что для простого уменьшения стандартизированной погрешности достаточно будет выборка из 500 испытуемых. Однако репрезентативность выборки зависит не от ее объема.

Сегодня на практике все больше используется такой тип производной оценки, как стандартные показатели, удовлетворяющий большинству требований, предъявляемых к психологическому измерению. Такие показатели выражают отличие индивидуального результата испытуемого от среднего в единицах стандартного отклонения соответствующего распределения. Стандартные показатели получают двумя путями: линейным и нелинейным преобразованием первичных ("сырых") оценок.

Созданием стандартизированного теста и его публикацией обычно завершается работа психолога, однако следует помнить о том, что с течением времени необходим пересмотр (ревизия) теста.

Процесс создания теста, его научного обоснования, перера­ботки и улучшения можно разбить на ряд этапов.

1.Определение цели тестирования, выбор вида теста и подхода к его созданию.

3.Определение структуры теста и стратегии расположения заданий.

4.Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.

5.Создание предтестовых заданий.

6.Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.

7.Экспертиза содержания предтестовых заданий и теста.

8.Экспертиза формы предтестовых заданий.

9.Переработка содержания и формы заданий по результатам экспертизы.

10.Разработка методики апробационного тестирования.

11.Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста.

12.Проведение апробационного тестирования.

13.Сбор эмпирических результатов.

14.Статистическая обработка результатов выполнения теста.

15.Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.

16.Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация порядка расположения заданий в тесте.

17.Повторение этапа апробации для выполнения очередных шагов по повышению качества теста.

18.Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.

Возникает своеобразный цикл, так как после чистки теста раз­работчику приходится возвращаться к этапу сбора эмпирических данных, причем, как правило, не один раз, а два, три и более. В оп­ределенном смысле этот цикл бесконечен, но не потому, что все за­дания плохи и разработчик не имеет достаточного опыта создания теста. Просто процесс конструирования теста довольно труден, по­скольку необходим всесторонний подход к оценкам качества теста и характеристик тестовых заданий, к проверке их системообразую­щих свойств.

К тому же можно считать, что задача оптимального подбора состава теста не имеет единственного решения, так как не все здесь определяется качеством тестового материала, а многое еще зави­сит от уровня подготовки группы учеников. Задания, хорошо ра­ботающие на одной выборке учеников, могут оказаться совершен­но бесполезными на другой, так как они будут или слишком легкими, или слишком трудными и их не выполнит правильно ни один ученик группы.

Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается пра­вильным отбором проверяемого содержания и умением разра­ботчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для вы­полнения которого необходимы специальные программные сред­ства для профессиональной разработки тестов .

Конечно, далеко не всегда в процессе создания тестов необ­ходимо достижение профессионального уровня качества, осо­бенно если отвлечься от целей приема абитуриентов и аттестации выпускников. В повседневной деятельности педагога необходи­мы тесты разного, иногда невысокого качества, ориентированные на задачи текущего контроля. Выполнение последней задачи впол­не по силам отдельному педагогу или группе педагогов. Однако и в этом случае можно самостоятельно сделать ряд расчетов, осно­ванных на минимальном математическом аппарате и позволяю­щих значительно продвинуться от предтестовых заданий к насто­ящему тесту.

Выводы

1.Теория педагогических измерений носит междисциплинарный характер, объединяя достижения педагогики и психологии с достижениями математики, статистики и теории измерений.

2.Разработка понятийного аппарата теории педагогических измерений имеет важное значение для повышения качества тестов.

3. При формулировании понятийного аппарата необходимо классифицировать виды тестов, чтобы привести вводимые определения в соответствие с различными видами тестов и целями их создания. .

4. Педагогические тесты можно использовать для входного, текущего и итогового контроля при оценке результатов осуществленного учебного процесса.

5. Педагогические тесты разрабатываются в рамках двух подходов, позволяющих по-разному интерпретировать результаты их выполнения.

6. Наблюдаемые результаты выполнения теста получаются в результате взаимодействия множества испытуемых со множеством заданий теста.

7. Профессионально разработанные тесты обеспечивают представление об истинных баллах учащихся, определяемых с помощью специальных методов по наблюдаемым результатам выполнения теста.

8. Процесс конструирования теста включает ряд этапов, выполнение которых обязательно. Исключение любого этапа ведет к неизбежной потере качества теста.

ВОПРОСЫ И ЗАДАНИЯ

1.Каковы функции входного тестирования? Есть ли смысл разрабатывать входные тесты в школе?

2.Каковы цели разработки формирующих тестов? Есть ли различия между формирующими тестами и традиционными средствами текущего контроля?

3.Какова цель итогового тестирования?

4.В рамках какого подхода, по вашему мнению, следует разрабатывать тесты для проведения выпускных экзаменов в школе?

5.Правильно ли в вашей школе оценивают эффективность работы преподавателей?

6.Какой процесс называется стандартизацией теста?

7.Перечислите факторы, влияющие на устойчивость норм теста.

8.Какие тесты, по вашему мнению, необходимо разрабатывать в первую очередь для повышения эффективности учебного процесса в школе?

9.Сформулируйте определения предтестового задания, тестового задания, педагогического теста. Сравните свой ответ с содержанием соответствующих разделов пособия.

10.В чем проявляются преимущества предтестового задания по сравнению с традиционными контрольными заданиями?

11.Каковы общие требования к предтестовым заданиям? Сравните свой ответе предлагаемым в пособии перечнем общих требований.

12.Охарактеризуйте факторы, снижающие точность тестовых измерений.

13.Можно ли с помощью традиционных средств контроля получить представление об истинных баллах учеников?

14.Три ученика отвечали на 6 заданий теста, ранжированных по нарастанию трудности. По результатам ответов получились профили:

первый: 111000; второй: 101010; третий: 000111.

Кто, по вашему мнению, лучше усвоил содержание проверяе­мого курса? Сколько ошибок в профиле ответов каждого из трех учеников? У кого из трех учеников будет выше истинный балл? Правомерна ли постановка последнего вопроса по отношению к результатам третьего ученика?

15. Перечислите основные этапы разработки теста.

Целеполагание на этапе планирования

При создании теста внимание разработчика прежде всего при­влекают вопросы отбора содержания, которое можно определить как оптимальное отображение содержания учебной дисциплины в системе тестовых заданий. Требование оптимальности предпо­лагает использование определенной методики отбора, включаю­щей вопросы целеполагания, планирования и оценки качества содержания теста.

Этап целеполагания является наиболее трудным и вместе с тем наиболее важным: от результатов его выполнения в первую очередь зависит качество содержания теста. В процессе целеполагания пре­подавателю необходимо решить вопрос о том, какие результаты уче­ников он хочет оценить с помощью теста. Ответ казалось бы прост, по крайней мере, он кажется таким тем, кто неоднократно проверя­ет знания учеников на уроках традиционными средствами. Однако наделе эта видимая простота зачастую оборачивается низким каче­ством результатов контроля, когда разные по подготовке ученики получают одинаковые оценки либо преподаватель приходит к не­правильному выводу о достижении целей обучения, в то время как ученики не получили самых важных знаний или не научились их применять.

Основания для ошибок в выводах педагога далеко не всегда связаны с технологическими недостатками традиционных средств контроля. Иногда они обусловлены недоработками пе­дагога на этапе целеполагания, когда центр тяжести проверки смещается на второстепенные цели обучения, а иногда этап це­леполагания отсутствует вовсе, поскольку часть педагогов уве­рена в непогрешимости; своего опыта и интуиции, особенно при условии многолетней работы в школе. Однако никакие даже очень совершенные методы контроля и никакой опыт не дадут оснований для надежных выводов о достижении целей обучения до тех пор, пока нет уверенности в правильной постановке целей контроля и в их правильном, несмещенном отображении в содержании теста.

В отличие от отбора содержания традиционных средств конт­роля, который производится в основном интуитивно на основании практического опыта педагога, отбор содержания теста имеет чет­кую целевую направленность, а это при условии правильной по­становки целей является серьезной заявкой на его высокое каче­ство. Образно говоря, при создании теста в сознании разработчика содержание контроля преломляется сквозь призму поставленных целей измерения, и если они сформулированы правильно, то есть большая уверенность в том, что тест состоится.

Правда, сама по себе правильная постановка целей создания теста довольно непроста, к тому же положение осложняется рядом обстоятельств. С одной стороны, различные школы в современной педагогике при формулировке целей используют разные системы понятий и представлений, часто плохо сочетающиеся между собой. С другой стороны, использование отличающихся слов и выраже­ний естественного языка в качестве терминов порождает изрядную путаницу, нередко контекст ряда педагогических подходов недо­статочен для осуществления терминообразующей функции.

Вместе с тем в течение целого ряда лет особой потребности в формировании единых подходов к формулировке целей просто не возникало. Существовавшая в нашей стране на протяжении десяти­летий преимущественная ориентация на традиционные средства контроля снимала потребность в этом процессе, так как расплывча­тость и неопределенность действующих образовательных целей не приходила в рассогласование с требованиями практики, далекой от проблем создания объективных средств измерения. И наконец, не­редко положение осложняли сами исследователи, которые, образно говоря, прорицали, но не слышали друг друга. В целом это привело к тому, что до сих пор не выработаны общие правила выбора осно­ваний для классификации целей, не найдены разделяемые всеми принципы для количественной оценки степени их достижения.

Таким образом, сложившиеся на сегодняшний день представ­ления о наиболее общих целях контроля не позволяют непосред­ственно перейти к разработке средств измерения. Для формулиро­вок образовательных целей характерны излишняя общность, расплывчатость, многообразие и неопределенность. Поэтому для создания средств измерения в первую очередь необходима предва­рительная операционализация целей.

Процесс операционализации заключается в придании содер­жанию и форме представления целей характеристик, позволяющих отобразить цели в содержании стандартизованных средств измерения . Идея операционализации очень близка отдельным положениям работы М.В. Кларина , где вместо сло­ва «операционализация»"используется иной, довольно удачный термин «конкретизация». Дело разумеется не в термине, а в сути предлагаемого процесса.

На этапе разработки теста, а также любого другого метода проводится процедура стандартизации, которая включает три этапа.

Первый этап

стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:

1. условия тестирования (помещение, освещение и др. внешние факторы).

3. Наличие стандартного стимульного материала. Временные ограничения выполнения данного теста. Стандартный бланк для выполнения, данного теста. Использование стандартного бланка облегчает процедуру обработки.

4. Учет влияния ситуационных переменных на процесс и результат тестирования. Под переменными подразумевается состояние испытуемого (усталость, перенапряжение и т.д.), нестандартные условия тестирования (плохое освещение, отсутствие вентиляции и др.), прерывание тестирования.

5. Учет влияния поведения диагноста на процесс и результат тестирования. Например, одобрительно-поощряющее поведение экспериментатора во время тестирования может восприниматься респондентом как подсказка «правильного ответа» и др.

6. Учет влияния опыта респондента в тестировании. Естественно, что респондент, который уже не в первый раз проходит процедуру тестирования, преодолел чувство неизвестности и выработал определенное отношение к тестовой ситуации.

7. Второй этап

стандартизации психологического теста состоит в создании единообразной оценки выполнения теста: стандартной интерпретации полученных результатов и стандартной предварительной обработки. Этот этап предполагает также сравнение полученных показателей с нормой выполнения этого теста для данного возраста

8. Третий этап

стандартизации психологического теста состоит в определении норм выполнения теста .

Нормы разрабатываются для различных возрастов, профессий, полов и др.

Наличие нормативных данных (норм) в стандартизованных методах психодиагностики является их существенной характеристикой.

Нормы необходимы при интерпретации тестовых результатов (первичных показателей) в качестве эталона, с которым сравниваются результаты тестирования.

На этапе создания теста формируется некоторая группа испытуемых, на которой проводится данный тест. Средний результат выполнения этого теста в данной группе принято считать нормой. Средний результат – это не единственное число, а диапазон значений. Существуют определенные правила формирования такой группы испытуемых, или, как ее иначе называют, выборки стандартизации.

Правила формирования выборки стандартизации:

1. выборка стандартизации должна состоять из респондентов, на которых в принципе ориентирован данный тест,

2. выборка стандартизации должна быть репрезентативной, то есть представлять собой уменьшенную модель популяции по таким параметрам, как возраст, пол, профессия, географическое распределение и т.д.,

Распределение результатов, полученных при тестировании испытуемых выборки стандартизации, можно изобразить с помощью графика – кривой нормального распределения.

Этот график показывает, какие значения первичных показателей входят в зону средних значений (в зону нормы), а какие выше и ниже нормы.

Производные показатели получаются путем математической обработки первичных показателей.

Первичные показатели по разным тестам нельзя сравнивать между собой по причине того, что тесты имеют различное внутреннее строение

Важно помнить, что, как писала А.Анастази, «Любая норма, в чем бы она ни выражалась, ограничивается конкретной совокупностью людей, для которых она вырабатывалась. Применительно к психологическим тестам они (нормы) никоим образом не абсолютны, не универсальны и не постоянны. Они просто выражают выполнение теста испытуемыми из выборки стандартизации»

Клинические задачи
Задача 1 На приеме у врача больной в ясном сознании, правильно ориентирован в окружающей обстановке и собственной личности. Рассказывает, что уже около года ощущает на себе постороннее влияние. Предполагает, что с ним "работает какая-то организация", члены которой с помощью «телепатических аппаратов» действуют на его мысли, чув...

Методология психологии
Задачи социальной психологии: 1) исследование проблем социальной психологии, которые взаимодействуют с другими науками; 2) необходимость пересмотра социально-психологических проблем в связи с произошедшими социальными изменениями в нашей стране; 3) исследование этнических, экономических, классовых, политических, идеологических явлений; 4 ...

Признаки самоактуализирующейся личности
Маслоу отмечает, что нехватка благ, блокада базовых и физиологических потребностей в еде, отдыхе, безопасности приводит к тому, что эти потребности могут стать для обычного человека ведущими ("Человек может жить хлебом единым, когда не хватает хлеба"). Но если базовые, первичные потребности удовлетворены, то у человека проявляю...

1. Этап целеполагания . Разработка теста начинается с формулирования его цели, то есть определения того, что тест должен измерять.

2. Подготовительный этап (спецификация).Анализируется и отбирается содержание проверяемого материала.

3. Этап составления плана теста . После составления спецификации разрабатывается план теста.

4. Этап составления теста (разрабатываются тестовые задания, проходит экспертиза и доработка заданий, стандартизируется и нормируется тест).

При составлении заданий теста следует соблюдать ряд правил, необходимых для создания надежного, сбалансированного инструмента оценки успешности овладения определенными учебными дисциплинами или их разделами.

Правила для разработки тестовых заданий:

– необходимо проанализировать содержание заданий с позиции равной представленности в тесте разных учебных тем, понятий, правил, действий и т.д. Тест не должен быть перегружен второстепенными терминами, несущественными деталями с акцентом на механическую память, которая может быть задействована, если в тест включены точные формулировки из учебника или фрагменты из него;

– задания теста должны быть сформулированы четко, кратко и не двусмысленно, чтобы все учащиеся однозначно понимали смысл того, что у них спрашивается. Важно проследить, чтобы ни одно задание теста немогло служить подсказкой для ответа на другое;

– варианты ответов на каждое задание должны подбираться таким образом, чтобы исключались возможности простой догадки или отбрасывания заведомо неподходящего ответа. Важно выбирать и наиболее приемлемую форму ответов на задания;

– учитывая, что задаваемый вопрос должен быть сформулирован коротко, желательно также кратко и однозначно формулировать ответы. Например, удобна альтернативная форма ответов, когда учащийся должен подчеркнуть одно из перечисленных решений «да - нет», «верно - неверно». Часто в задании делаются пропуски, которые должен заполнить испытуемый, или же выбирать из представленного набора ответов верный. Обычно навыбор предлагаются 4- 5 вариантов ответа.

Вместе с этим педагогический тест должен удовлетворять всем необходимым критериям, обладать высокой надежностью и удовлетворительной валидностью. Данный этап разработки теста включает в себя как само написание заданий, так и их анализ экспертными методами для выявления наилучших и выбраковки неудачных.

Выделяют две группы методов анализа заданий: экспертные и математические. Математические методы применяются после проведения тестирования на основании полученного эмпирического материала, поэтому о них речь пойдет ниже. Сразу же после написания заданий их анализ проводится экспертными методами, которые позволяют оценить, в какой степени задания соответствуют по содержанию предмету измерения, т.е. действительно ли задания позволяют измерить именно те знания, умения и навыки, для которых разрабатывается тест. С другой стороны, экспертные методы анализа позволяют оценить задания с точки зрения их формы. В основе экспертных методов лежит соотнесение содержания и формы заданий с требованиями, изложенными в спецификации.

5. Этап проведения теста . Отслеживается проведение теста.

6. Этап анализа полученных результатов . Обработка результатов, получение статистических данных для анализа и анализ результатов. Подготовка итогового отчета.

НАДЕЖНОСТЬ - один из критериев качества научного метода исследования, относящийся к точности психологических измерений.

ВАЛИДНОСТЬ теста - один из основных (наряду с надежностью, репрезентативностью, объективностью, достоверностью и эффективностью) критериев оценки тестовых результатов.