в чем заключается нормативно ориентированный подход к измерению результатов обучения

Нормативно-ориентированный подход.

В рамках первого, нормативно-ориентированного, подхода раз­рабатываются тесты для сравнения учеников по уровню учебных достижений. Сравнимость достигается путем сопоставления ре­зультата каждого учащегося с результатами других, выполнявших тот же самый тест. Сообразно двум подходам к интерпретации ре­зультатов тестирования выстраиваются два подхода к созданию педагогических тестов. Оба они перспективны и важны, имеют свою сферу применения, свои преимущества и недостатки.

В нормативно-ориентированном подходе при интерпретации результатов возникают определенные трудности, так как от­носительная позиция испытуемого может быть неточно или даже неправильно определена. Очевидно, что испытуемый будет выг­лядеть лучше на фоне более слабой, чем более сильной группы. Например, можно высоко оценить знания ученика, выполнивше­го правильно в тесте всего 30 заданий из 60 в том случае, если груп­па слабая и 70%, а то и 80% испытуемых группы сделали меньшее число заданий теста. Тот же самый результат ученика, но в дру­гой, сильной группе будет отнесен к категории довольно низких, если только 10—20% испытуемых группы сделали правильно 30 заданий, а все остальные значительно превысили этот результат. В этой связи возникает вопрос об истинной оценке результата каждого учащегося, выполнившего тест.

Многолетние попытки получить ответ на этот вопрос привели к идее установления норм, т. е. системы показателей, отражающих результаты выполнения теста большой группой (выборкой) испы­туемых [5]. Нормы нельзя придумать или задать априорно, они ус­танавливаются эмпирически. Например, для школьных итоговых тестов нормы выбирают сообразно тому, как выполняет тест пред­ставительная выборка учеников. К числу наиболее важных показа­телей обычно относят средний уровень выполнения и вариатив­ность результатов выборки.

Процесс определения норм называется стандартизацией теста. Стандартизация осуществляется на представительной или, как го­ворят специалисты, репрезентативной выборке испытуемых, про­цесс формирования которой является обязательным моментом при определении норм теста. По окончании стандартизации у педагога появляется возможность сравнить тестовый балл каждого испыту­емого с установленными нормами и таким образом оценить место результата каждого ученика в распределении баллов нормативной выборки по тесту. Подсчет показателей достаточно прост. При на­личии определенных навыков и репрезентативной группы учени­ков определение норм либо их уточнение может быть осуществле­но любым разработчиком или пользователем теста. (Примеры подсчета показателей будут рассмотрены дальше в гл. 5.)

В процессе сравнения индивидуальных баллов учеников с нор­мами выполнения теста первичный результат каждого испытуемого обычно переводится в некий относительный, производный показа­тель, позволяющий несколько расширить возможности интерпре­тации результатов выполнения теста.

Таким путем можно повысить сопоставимость баллов и сделать выводы о достижениях испытуемых по набору тестов, имеющих разные нормы их выполнения. Однако здесь легко допустить ошиб­ку. Относительная позиция испытуемого в тестах по различным дисциплинам может быть неверно интерпретирована из-за несо­поставимости тестовых норм, возникающей при стандартизации тестов на различных по подготовке выборках. Например, ошибоч­ным будет результат сравнения оценок ученика по курсу химии и по математике, если один из этих тестов проходил стандартизацию на выборке московских школьников, а другой — на выборке школь­ников Краснодара либо на любой другой по подготовке выборке школьников той же Москвы.

Понятно, что разные выборки дают разные нормы, и потому при сравнении результатов ученика по разным тестам легко полу­чить неправильный ответ. Таким образом, сопоставимость резуль­татов испытуемого по различным тестам или групп испытуемых достигается далеко не всегда, а только в том случае, если для стан­дартизации тестов использовались сходные нормативные выбор­ки, обеспечивающие сопоставимость норм различных тестов.

Стандартизация предполагает единообразие не только оценок, но и всей процедуры выполнения теста. Помимо норм разработ­чик должен дать точные указания относительно формы предъяв­ления теста, оптимального времени его выполнения, устных инст­рукций и ряда других деталей, влияющих на результаты выполнения теста. Необходимо указать состав выборки стандартизации и ее осо­бенности, смещающие представления о нормативных результатах в сторону завышения или занижения.

При этом следует иметь в виду, что тестовых норм, пригодных для интерпретации результатов всех учеников, не существует вооб­ще. Область применимости любой нормы ограничивается конкрет­ной совокупностью испытуемых, для которых она вырабатывалась. Поэтому нормы никоим образом не абсолютны и не постоянны. Они просто отражают результаты выполнения теста испытуемыми из выборки стандартизации на момент создания теста и подлежат сис­тематическому обновлению и перепроверке.

При разработке и применении тестовых норм особое внимание обращается на выборку стандартизации. Для обеспечения стабиль­ности значений норм выборка должна быть достаточно большой и представительной. Например, если хотят установить нормы выпол­нения теста по химии для школьников Москвы и Московской об­ласти, то нужно протестировать не менее 200-300 учащихся в каж­дой из нескольких школ, расположенных как в Москве, так и в области, а затем объединить в равных пропорциях все результаты. При этом другая выборка из учащихся этих же школ не должна при­водить к нормам, заметно отличным от предыдущих. Некоторые различия норм, без сомнения, будут существовать, однако они не должны быть слишком велики. В противном случае объем выбор­ки необходимо увеличивать и определять новые нормы до тех пор, пока не наступит их стабилизация.

С точки зрения интерпретации результатов каждого испытуемого нормы мало чего стоят, если они неустойчивы и определены с большой выборочной ошибкой. Поэтому процесс увеличения объема выборки и переопределения норм необходим, и только по его завер­шении есть основания считать, что разработчиком создан стандар­тизованный тест в рамках нормативно-ориентированного подхода. Процесс установления норм занимает довольно длительное время, иногда до нескольких лет. Особенно в тех случаях, когда содержание теста ориентировано на какие-либо специальные знания, степень владения которыми можно проверить одновременно у очень неболь­шой группы учеников.

Источник

Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях

Дата добавления: 2014-10-24 | Просмотров: 1251

Общие подходы к интерпретации результатов педагогических измерений.При педагогических измерениях интерпретация баллов учащихся может иметь различный характер в зависимости от того, каким способом сравниваются оценки учеников. Согласно одному подходу проводится сопоставление баллов каждого учащегося с результатами определенной группы — выборки учащихся, выпол­нявших тот же самый тест, для определения места каждого балла по отношению к среднему результату в группе (нормативно-ори­ентированный подход). Согласно другому подходу результаты ис­пытуемых интерпретируются по отношению к содержательной об­ласти, включенной в тест и снабженной определенными крите­риями выполнения (критериально-ориентированный подход).

Оба подхода дают информацию о подготовленности учащихся, однако она имеет различный характер. В соответствии с этими под­ходами к интерпретации результатов тестирования выделяют нор­мативно-ориентированные и критериально-ориентированные те­сты.

Нормативно-ориентированный подход и нормы. Стандартизация тестов.Основная цель нормативно-ориентированного тестирова­ния заключается в дифференциации испытуемых по результатам выполнения теста. При интерпретации результатов относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более силь­ной группы. Для корректной интерпретации результатов тестиро­вания балл каждого учащегося необходимо сравнивать с нормами выполнения теста.

Нормы — это совокупность показателей, отражающая резуль­таты выполнения теста четко определенной выборкой испытуе-мых — релевантной нормативной группой, репрезентативно пред­ставляющей генеральную совокупность тестируемых учащихся [1; | 22; 60]. К нормам обычно относят среднее значение тестовых бал­лов и показатель разброса (вариативности) вокруг среднего зна­чения всех остальных баллов, полученных представительной вы- | боркой тестируемых учащихся (методы подсчета среднего значе-62

ния и показателей вариативности приведены в главе 9). Имея нор­мы, можно установить положение каждого результата по отноше­нию к среднему баллу по тесту, посмотреть, насколько результат учащегося выше или ниже среднего.

Процесс определения норм называется стандартизацией тес­та. Стандартизация всегда осуществляется на репрезентативной выборке испытуемых, формирование которой — обязательный момент при определении норм теста.

Относительность норм и выборка стандартизации.Тестовых норм, пригодных для интерпретации результатов всех учащихся по лю­бым тестам, не существует. Область применимости любой нормы ограничивается данным тестом и конкретной совокупностью ис­пытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент созда­ния теста и подлежат систематическому обновлению и перепро­верке.

К нормам предъявляют следующие требования:

— нормы должны быть дифференцированными. Например, тес­ты для общеобразовательных и профильных школ необходимо стандартизовать на различных выборках, в результате чего полу­чатся, скорее всего, существенно различающиеся нормы;

— нормы должны отражать реальный контингент и актуальные требования к качеству учебных достижений, вытекающие из со­временной ситуации в образовании;

— нормы должны быть репрезентативными, поэтому они все­гда устанавливаются эмпирически в соответствии с результатами тестирования выборки стандартизации (федеральной — для ЕГЭ, муниципальной — для аттестации школ, внутришкольной — для аттестации учащихся в школе).

«Норма» — относительное понятие, тесно связанное с каче­ством выборки, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц, для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стан­дартизации теста. Таким образом, при формировании выборки стандартизации необходимо учитывать две переменные — объем и представительность, обеспечивающие в совокупности высокую точность при оценивании норм выполнения теста.

Стратификация выборки.Для равномерного представления раз­личных групп учащихся в популяции испытуемых используют спе­циальный процесс — стратификацию. Стратификация — расслое­ние выборки на страты, размеры которых должны быть пропор­циональны размерам соответствующих популяций в генеральной совокупности учащихся [38]. Обычно в качестве оснований для стратификации выделяют факторы, наиболее связанные с пере-

менной измерения. В ЕГЭ к числу таких факторов можно отнести социальное положение родителей выпускника, регион, где рас­положена школа, ее принадлежность к числу сельских или город­ских школ и т.д.

Наличие многих факторов стратификации, необходимость ана­лиза пропорций генеральной совокупности испытуемых, прове­дение апробационного тестирования для определения норм дела­ют работу по стандартизации тестов довольно дорогостоящей и трудоемкой процедурой. Современный уровень развития тестовых технологий позволяет моделировать тесты с прогнозируемыми нор­мами с помощью IRT, банка калиброванных тестовых заданий и специальных программ для компьютерной генерации вариантов теста.

Информация, прилагаемая к стандартизированным тестам. Кстан­дартизованному тесту необходимо приложить:

— нормы выполнения теста, которые определяются на выборке стандартизации;

— объем выборки стандартизации, основания для ее стратифи­кации и временной период ее использования;

— необработанные результаты выполнения теста для выборки

Сопоставление норм по различным тестам возможно лишь в том случае, если есть основания для утверждения об адекватности выборок стандартизации.

Критериально-ориентированный подход в педагогическихизме­рениях. При критериально-ориентированном подходе в педагоги­ческих измерениях результаты учащихся интерпретируются по от­ношению к содержательной области или требованиям, установ­ленным к учебным достижениям. При дихотомическом оценивании («1» или «О») результатов выполнения отдельных заданий балл каждого учащегося подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста. В случае политомических оценок в проценты переводится отношение сырого балла учащегося, накопленного по заданиям, к максимально возможному баллу по тесту. Полу­ченный для каждого учащегося процент сравнивается со стандар­тами выполнения — критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста [1; 48; 60].

При критериально-ориентированном подходе по результатам 1 тестирования можно:

— выявить освоенные и не освоенные знания, умения и навыки ] и построить индивидуальную образовательную траекторию каж- 1 дого учащегося;

— ранжировать тестируемых по проценту выполнения и по- 1 строить рейтинговые шкалы;

— разбить испытуемых на две группы с помощью одного крите­риального балла или на несколько групп с помощью нескольких критериальных баллов, поставив, например, школьные отметки — «два», «три», «четыре», «пять».

Недостатки критериально-ориентированного подхода.Критери­ально-ориентированный подход имеет недостатки, связанные с необходимостью полного охвата содержания, принимаемого за 100 %, в одном тесте. Аттестационные критериально-ориентиро­ванные тесты нередко получаются очень длинными — из 150 — 300 заданий, выполнить которые даже в старших классах при одноразовом предъявлении просто невозможно. Поэтому при ат­тестации нередко применяют адаптивное тестирование, позво­ляющее за счет оптимизации трудности заданий значительно со­кратить длину теста. Используют также сокращение содержания теста за счет минимизации целей оценивания. Для этого крите­риально-ориентированные тесты нередко применяют для про­верки одного-двух умений или навыков, а при охвате более раз­нородного содержания выбирают нормативно-ориентированные тесты.

Критериально-ориентированные тесты имеют к тому же до­вольно ограниченную область применения. Они пригодны в тех случаях, когда можно четко определить знания, умения и навыки по конкретной области содержания и задать их верхний и нижний пределы для корректного определения критериев выполнения те­стов. В более сложных и менее структурированных областях зна­ний, связанных с решением задач творческого уровня, опреде­лить верхний предел зачастую невозможно.

Иногда при выполнении таких заданий школьник руководству­ется знаниями, но чаще все решают смекалка и догадка. Поэтому при создании тестов, предназначенных для контроля за выполне­нием задач творческого уровня, следует отдавать предпочтение нормативно-ориентированному подходу или стараться совмещать оба подхода в одном тесте [1].

Различия в нормативно-ориентированноми критериально-ори­ентированном подходах.Нормативно-ориентированные и крите­риально-ориентированные тесты различаются по целям создания, методике отбора содержания, характеру распределения эмпири­ческих результатов тестирования, методам их обработки, крите­риям качества тестов и тестовых заданий, а главное, по интерпре­тации результатов испытуемых, выполнивших тест.

Содержание критериально-ориентированного теста должно быть достаточно полно. В него включают все то, что условно можно принять за 100%-ный объем, планируемый к усвоению. Содержа­ние нормативно-ориентированного теста фрагментарно, в него включают только те разделы, которых достаточно для дифферен­циации учащихся по уровню учебных достижений.

70% очень 30% очень

Диапазон расположения заданий теста

При использовании материала ссылка на сайт Конспекта.Нет обязательна! (0.035 сек.)

Источник

В чем заключается нормативно ориентированный подход к измерению результатов обучения

3.2. Нормативно-ориентированный подход и стандартизация тестов

Нормативно-ориентированные тесты разрабатываются для сравнения обучаемых по уровню учебных достижений, поэтому основная цель нормативно-ориентированного подхода – дифференциация испытуемых по результатам выполнения теста. При интерпретации результатов студентов относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более сильной группы. Например, можно высоко оценить знания студента, выполнившего правильно всего 30 заданий в тесте из 60 в том случае, если 70–80% остальных студентов в группе сделали меньшее число заданий. Тот же самый результат обучаемого в сильной группе будет отнесен к категории довольно низких, если только 10–20% испытуемых сделали правильно 30 заданий, а все остальные значительно превысили этот результат. Для корректной интерпретации результатов тестирования балл каждого студента сравнивается с нормами выполнения теста.

Нормы – это совокупность показателей, отражающая результаты выполнения теста четко определенной выборкой испытуемых – релевантной нормативной группой, репрезентативно представляющей генеральную совокупность тестируемых студентов [1, 21, 28]. Нормы нельзя придумать или задать априорно, они устанавливаются в соответствии с эмпирическими данными по тесту. К ним обычно относят среднее значение тестовых баллов и показатель разброса (вариативности) вокруг среднего значения всех остальных баллов, полученных представительной выборкой тестируемых студентов. Имея нормы, можно установить положение каждого результата по отношению к среднему значению тестовых баллов, посмотреть, на сколько результат испытуемого выше или ниже среднего и как располагаются результаты остальных студентов вокруг среднего балла по тесту. Таким образом, соотнесение первичного результата испытуемого с нормами теста позволяет определить его место в выборке, использованной для подсчета.

Процесс определения норм называется стандартизацией теста. Этот процесс всегда осуществляется на репрезентативной выборке испытуемых, формирование которой обязательно при определении норм теста. Тестовых норм, пригодных для интерпретации результатов всех студентов по любым тестам, не существует вообще. Область применимости любой нормы ограничивается данным тестом и конкретной совокупностью испытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент создания теста и подлежат систематическому обновлению и перепроверке.

Нормы обычно устанавливают в ситуации массового тестирования, например, при аттестации студентов или выпускников. В текущем контроле нормы выполнения теста, конечно, не определяются. В этом случае обычно используют не преобразованные (сырые) результаты выполнения тестов, подсчитанные путем суммирования оценок по отдельным заданиям, в том числе и с весовыми коэффициентами.

Руководству факультета нередко интересно узнать, по какому предмету отстает тот или иной студент. Для этого приходится сравнивать результаты студентов по предметным тестам. Подобное сравнение относительных позиций студента в тестах по разным предметам возможно в том случае, если они стандартизованы на одной и той же выборке испытуемых и представлены в одинаковых шкалах с общими средним значением и стандартным отклонением. В противном случае результаты сравнения тестовых баллов студента по отдельным предметам можно неверно интерпретировать из-за несопоставимости тестовых норм.

В педагогических измерениях термин «стандартизация» обычно используется гораздо чаще не только применительно к процессу установления норм выполнения теста. В расширенном понимании стандартизация предполагает единообразие всей процедуры выполнения теста. Для стандартизации, помимо норм, разработчик должен дать точные указания по форме предъявления теста, оптимальному времени его выполнения, составу выборки стандартизации, устные инструкции и ряд других деталей, влияющих на результаты выполнения теста.

К нормам предъявляют ряд требований:

• нормы должны быть дифференцированными. Например, тесты для аттестации студентов вузов, реализующих одинаковые направления подготовки, необходимо стандартизировать на собственных выборках в тех случаях, когда результаты аттестации используются только внутри самого вуза. В случае, если речь идет об аттестации студентов при комплексной проверке деятельности учебных заведений, стандартизация тестов должна проводиться на репрезентативной выборке, состоящей из студентов разных вузов России и отражающей пропорции генеральной совокупности всех студентов, получающих подготовку по данному направлению;

• нормы должны отражать реальный контингент и актуальные требования к качеству учебных достижений, вытекающие из современной ситуации в образовании;

• нормы должны быть репрезентативными, поэтому они всегда устанавливаются эмпирически в соответствии с результатами тестирования выборки стандартизации, обеспечивающей несмещенные оценки.

Норма – относительное понятие, тесно связанное с качеством выборки, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц, для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стандартизации теста. Таким образом, при формировании выборки стандартизации необходимо учитывать две переменные: объем и представительность (репрезентативность), обеспечивающие в совокупности высокую точность при оценивании норм выполнения теста. Если выборка не репрезентативна, то нормы неадекватно отражают характеристики подготовленности генеральной совокупности испытуемых. В этом случае результаты тестирования выборочной совокупности студентов не подлежат генерализации (распространению на всю генеральную совокупность), а сами нормы являются недостоверными (неточными), поэтому их нельзя использовать при интерпретации результатов выполнения тестов.

Если принимать во внимание только первую переменную – объем выборки, то для получения приемлемой точности оценивания норм вполне достаточно провести тестирование 200–500 испытуемых. Гораздо более важной характеристикой выборки, не зависящей от ее размера, является репрезентативность (представительность). В практической работе вполне допустимо ограничиться выборкой из 300, а иногда даже 200 испытуемых, поскольку маленькая, но репрезентативная нормативная выборка предпочтительнее, чем большая, но неравномерно представленная.

Для обеспечения равномерности представления различных специфических составляющих популяции испытуемых используют специальный процесс – стратификацию (расслоение выборки на страты, размеры которых должны быть пропорциональны размерам соответствующих популяций в генеральной совокупности). Обычно в качестве оснований для стратификации выделяют факторы, наиболее тесно связанные с переменной измерения и воспроизводящие реальную структуру генеральной совокупности по ряду признаков (возрастных, гендерных, психологических, социальных и др.). Например, к числу таких факторов для группы вузов можно отнести программу обучения, используемые учебники, специфику технологий обучения, социальное положение родителей студентов, регион, где расположен вуз и т.д. Внутри одного учебного заведения можно выделить формы обучения, методы обучения, кадровый состав преподавателей и т.д.

Для формирования выборки определенного типа чаще всего используют вероятностные методы, отличающиеся от других, невероятностных методов способами извлечения объектов из генеральной совокупности и дающие по сравнению с последними более высокий уровень репрезентативности выборочных совокупностей [21]. Среди распространенных типов выборок можно выделить простую случайную, элементы которой отбираются из генеральной совокупности случайно, т.е. с равной вероятностью без выделения оснований по стратификации. В том случае, когда фиксируется определенный шаг выборки при отборе ее элементов, случайная выборка превращается в систематическую.

Стратифицированный тип выборки является наиболее предпочтительным с точки зрения обеспечения ее высокой репрезентативности. При ее формировании каждый элемент генеральной совокупности, включенный в одну внутреннегомогенную страту, отбирается методом простой случайной выборки, а процесс стратификации производится способом, описанным выше. Реже встречаются кластерные и мультистадийные выборки, требующие предварительного формирования кластерных групп элементов в тех случаях, когда генеральная совокупность неоднородна.

Определение оптимального типа выборки производится на основе анализа ряда факторов, к числу которых относятся цель измерения, вид измерителя и его содержание, особенности генеральной совокупности, специфика переменных измерения, планируемая надежность результатов, предполагаемые выводы по результатам педагогических измерений.

В целом можно сформулировать общие правила получения репрезентативной выборки стандартизации:

• выборка должна быть стратифицирована на подгруппы по наиболее важным переменным, обычно отражающим не более четырех уровней стратификации;

• в каждой подгруппе необходимо выровнять число испытуемых, установив в качестве минимального числа не менее 100 испытуемых в одной подгруппе.

С учетом всех возможных сочетаний факторов, обычно выбираемых при массовом тестировании для стратификации, минимальный объем национальной выборки стандартизации во многих странах достигает 12–15 тыс. обучаемых. Для уменьшения этого объема минимизируют число оснований при делении на подгруппы – количество страт, – снижая тем самым затраты на стандартизацию национальных тестов.

Наличие многих факторов стратификации, необходимость анализа пропорций генеральной совокупности испытуемых, проведение апробационного тестирования для определения норм делают работу по стандартизации тестов достаточно дорогостоящей и трудоемкой. Современный уровень развития тестовых технологий позволяет моделировать тесты с прогнозируемыми нормами с помощью теории IRT, банка калиброванных тестовых заданий и специальных программ для компьютерной генерации вариантов теста. Поэтому в настоящее время некоторые зарубежные тестовые службы (например, ETS), обеспечивающие массовое тестирование в стране, занимаются созданием банков заданий с устойчивыми характеристиками для различных уровней образования. Чтобы получить такой банк, вузу необходима апробация тестов на репрезентативных выборках, поэтому проблема создания выборок стандартизации не снимается, а, наоборот, приобретает особенное значение.

К стандартизованному тесту необходимо приложить:

• нормы выполнения теста, которые определяются на выборке стандартизации;

• объем выборки стандартизации, основания для ее стратификации и временной период ее использования;

• необработанные показатели выполнения теста для каждой выборки стандартизации.

Последняя информация необходима, поскольку необработанные результаты выполнения тестов могут поддаваться адекватной интерпретации лишь при сравнении с показателями выборки стандартизации. Пользователям тестов следует также помнить о том, что сопоставление норм по различным тестам возможно лишь тогда, когда есть основания для утверждения об адекватности выборок стандартизации.

Источник

• ← что будет в следующем обновлении в майнкрафт
• к чему снится что в доме грязно →