§4. Устойчивость распределения.
Проверка устойчивости распределения. Общая логика проверки устойчивости распределения основывается на следующем индуктивном рассуждении: если полученное по половине выборки распределение хорошо моделирует конфигурацию целого распределения, то можно предположить, что это целое распределение будет также хорошо моделировать распределение генеральной совокупности [15].
Таким образом, доказательство устойчивости распределения означает доказательство репрезентативности тестовых норм. Традиционный способ доказательства устойчивости сводится к выяснению хорошего приближения эмпирического распределения к какому-либо теоретическому. Но если эмпирическое распределение не приближается к теоретическому, несмотря на значительное увеличение численности выборки, то приходится прибегать к более общему методу доказательства.
Его простейший вариант может быть сведен к следующим шагам:
- построить таблицу перевода "сырых" очков в нормализованную шкалу по данным всей выборки;
- затем, применить эту таблицу для каждого испытуемого из половины выборки (при этом под "половиной" выборки подразумевается случайная половина, в которую испытуемые зачисляются случайным образом);
- построить распределение нормализованных баллов для половины выборки;
- проверить приближается ли это распределение к нормальному (близость к нормальному распределению проверяется с помощью критерия Колмогорова, при n‹200 целесообразно использовать более мощные критерии "хи-квадрат" или другие);
- сделать вывод: если распределение нормализованных баллов из половины выборки хорошо приближается к нормальному, то это значит, что заданные таблицами нормализации тестовые нормы определены устойчиво.
В общем случае такой простейший метод установлении однородности двух эмпирических распределений может быть применен и при разбиении выборки по какому-либо систематическому признаку. Если, в частности, по какому-либо из популяционно-значимых признаков (пол, возраст, образование, профессия) психолог получает значимую неоднородность эмпирических распределений, то это значит, что относительно данных популяционных категорий тестовые нормы должны быть специализированы (одна таблица норм - для мужчин, другая - для женщин и т. д.).
Более корректный метод статистической проверки однородности двух распределений, полученных при расщеплении выборки на равные части, опять же связан с применением критерия Колмогорова. Для этого с табличным значением сравнивается величина:
 ,
где  - кумулятивная относительная частота для i-того интервала шкалы по первой половине выборки;
 - та же частота для второй половины;
n - численность полной выборки;
 - эмпирическое значение статистики Колмогорова.
Точные значения квантилей распределения Колмогорова для определения размеров выборки можно найти в справочниках по статистике. Применение критерия Колмогорова не зависит от нормальности целого распределения.
Итак, априорная предпосылка нормальности распределения тестовых баллов основывается скорее на принципах операционального удобства, чем на теоретической необходимости. Психометрически корректные процедуры получения устойчивых тестовых норм возможны также с помощью специальных методов непараметрической статистики (критерий "хи-квадрат и т. п.) для распределений произвольной формы.
Выбор статистической модели распределения - полностью зависит от психометриста до тех пор, пока сам тест выступает в качестве единственного эталона измеряемого свойства. В этом случае остается лишь тщательно следить за соответствием сферы применения диагностических норм той выборке испытуемых, на которых они были получены. Произвольность в выборе статистической модели шкалы исчезает, когда речь заходит о внешних по отношению к тесту критериях [1, 15]. Рассмотрим, в связи с этим, репрезентативность критериальных тестов.
§5. Репрезентативность критериальных тестов.
В тестах по критерию в качестве реального эталона применяется критерий (как правило, это какой-то социальный норматив), ради которого создается тест - целевой критерий.
Такая ситуация имеет место в обучении: тестирование, направленное на получение информации об уровне усвоения определенных знаний, умений и навыков (при профессиональном обучении), должно точно отражать уровень освоения этих навыков и тем самым давать надежный прогноз эффективности конкретной профессиональной деятельности.
Рассмотрим операциональную схему шкалирования, применяемую при создании критериального теста [15]. Пусть имеется некоторый критерий С, ради прогнозирования которого психодиагност создает какой-то тест Х.
Для простоты представим С как дихотомическую переменную с двумя значениями - «1» и «0» (например, поступит выпускник школы в вуз или нет). С=1 означает, что i-тый субъект достиг критерия (попал в "высокую" группу по критерию, т.е. поступил в вуз), С =0 означает, что i-тый субъект не достиг критерия (попал в "низкую" группу, т.е. не поступил).
Затем психолог проводит тест Х на интересующей его выборке, и в результате каждый индивид (школьник) получает определенный тестовый балл  . После того как для каждого индивида из выборки становится известным значение С (например, по ступил или нет в вуз), психодиагност располагает всех индивидов по порядку возрастания балла и для каждого деления исходной шкалы сырых тестовых баллов подсчитывает с какой вероятностью (Р) каждый индивид (школьник) может попасть в "высокую" группу по критерию.
На графике 8 проиллюстрированы распределения вероятности P(C =1) в зависимости от . Очевидно, что кривая, представленная на графике 8, является эмпирической линией регрессии С по .
Теперь можно сформулировать основное требование к критериальному тесту: линия регрессии должна быть монотонной функцией С от Х. Иными словами, ни для одного более высокого значения вероятность Р не должна быть меньшей, чем для какого-либо менее высокого значения .
Если это условие выполняется, то открывается возможность для критериального шкалирования сырых баллов Х. При критериальном шкалировании к делениям сырой шкалы Х применяется поточечный перевод прямо в шкалу Р на основании эмпирической линии регрессии.
Например, если испытуемый А получил по тесту Х 18 "сырых" очков и этому результату соответствует Р=0,6, то испытуемому А ставится в соответствие показатель 60%.
Конечно, любая эмпирическая кривая является лишь приближенной моделью той зависимости, которая могла бы быть воспроизведена на генеральной совокупности.
Поэтому обычно предпринимаются попытки аппроксимировать эмпирическую линию регрессии какой-либо функциональной зависимостью, что позволяет затем производить прогноз с применением формулы (а не таблицы или графика).
Например, если линия регрессии имеет вид приблизительно такой, какой изображен на рис.6, то применение процентильной нормализации позволяет получить простую линейную регрессию С по нормализованной шкале Z.
Это как раз тот случай, когда имеет место эквивалентность стратегии, использующей выборочно-статистические тестовые нормы, и стратегии, использующей критериальные нормы.
В завершении данного материала, рассмотрим операции по анализу распределения тестовых баллов, построению тестовых норм и проверке их репрезентативности.
Согласно Столину В. В. [15], действия, которые последовательно должен произвести психолог при построении тестовых норм сводятся к такому алгоритму:
1. Сформировать выборку стандартизации (случайную или стратифицированную по какому-либо параметру) из популяции, на которой предполагается применять тест. Провести на каждом испытуемом из выборки тест в сжатые сроки (чтобы устранить иррелевантный разброс, вызванный внешними событиями, происшедшими за время обследования).
2. Произвести группировку "сырых" баллов с учетом выбранного интервала квантования (интервала равнозначности). Интервал определяется величиной W/m, где  - размах; m - количество интервалов шкалы. Необходимо иметь в виду, что группировка индивидуальных баллов, набранных испытуемыми по тесту, сказывается не только на распределении баллов по классам (интервалам квантования), но и на средних показателях, характеризующих то или иное измеряемое свойство. Экспериментальные данные показывают [11], что совершенно не безразлично, не только то, на какое число классов разбивается вся совокупность полученных тестовых баллов, но и как определяются границы первого класса.
Чтобы получились более адекватные результаты обработки статистических данных, рекомендуется:
- во-первых, не брать слишком большой интервал шкалы - он не должен превышать 1/3-1/4 величины среднего квадратичного отклонения;
- во-вторых, определять границы первого класса следует так, чтобы минимальный показатель набранных по тесту баллов, попадал примерно в середину этого класса.
3. Построить распределение частот тестовых баллов в виде таблицы и в виде соответствующих графиков гистограммы и кумуляты.
4. Произвести расчет среднего и стандартного отклонения, а также асимметрии и эксцесса с помощью компьютера. Проверить гипотезы о значимости асимметрии и эксцесса. Сравнить результаты проверки с визуальным анализом кривых распределения.
5. Произвести проверку нормальности одного из распределений (можно с помощью критерия Колмогорова или с одним из указанных способов) или произвести процентильную нормализацию с переводом в стандартную шкалу, а также линейную стандартизацию и сравнить их результаты (с точностью до целых значений стандартных очков).
6. Если совпадения не будет - нормальность отвергается, тогда произвести проверку устойчивости распределения расщеплением выборки на две случайные половины. При совпадении нормализованных баллов для половины и для целой выборки считать нормализованную шкалу устойчивой.
7. Проверить однородность распределения по отношению к варьированию заданного популяционного признака (пол, профессия и т.п.) с помощью критерия Колмогорова. Построить графики гистограммы и кумуляты для полной и частной выборок. При значимых различиях разбить выборку на разнородные подвыборки.
8. Построить таблицы процентильных и нормализованных тестовых норм (для каждого интервала шкалы "сырого" балла). При наличии разнородных подвыборок для каждой подвыборки должна быть своя таблица.
9. Обсудить конфигурацию полученных распределений.
10. В случае негативных результатов - отсутствия устойчивых норм для шкалы с заданным числом интервалов - осуществить обследование более широкой выборки или отказаться от плана использования данного теста.
Контрольные вопросы для самопроверки: §4, 5. Подсчет параметров и оценка типа распределения.
1.Что понимается под понятием "репрезентативности"?
2. Для чего необходима проверка устойчивости распределения?
3. На чем основана общая логика проверки устойчивости распределения тестовых баллов?
4. Как проверяется репрезентативность критериальных тестов?
5. Какие действия последовательно должен произвести психолог при построении тестовых норм?
Литература к теме.
1. Анастази А. Психологическое тестирование. В 2-х кн. М., 1982.
2. Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психодиагностике. - СПб.: Изд-во "Питер", 1999. - 528 с.
3. Гусев А. Н., Измайлов Ч. А., Михалевская М. Б. Измерение в психологии: общий психологический практикум. М.: Смысл, 1997. -287 с.
4. Дружинин В.Н. Экспериментальная психология: Учебное пособие - М.: ИНФРА-М, 1997. - 256 с.
5. Общая психодиагностика / Под ред. А. А. Бодалева, В. В. Столина.- М., 1987.
6. Основы психодиагностики / Под ред. А. Г. Шмелева. Ростов-на-Дону., 1996.
§6. Надежность теста. Теория надежности.
Надежность одно из основных понятий психодиагностики и, вместе с тем, одно из самых сложных. К.М. Гуревич отмечает «Надежность - крайне сложное и многоплановое понятие, одна из основных функций которого - оценить постоянство показателей тестовых испытаний. В принципе можно сказать, что надежность должна обосновывать ошибку измерения - она должна показывать, какая часть изменчивости показателей ошибочна» [17, стр. 27].
На практике понятие "надежности" имеет два значения: одно связано с воспроизводимостью результатов тестирования, другое – с внутренней согласованностью теста [8].
На понятии "надежность" основывается вычисление "ошибки измерения", с помощью которой определяются вероятные пределы колебания измеряемой величины, возникающей под воздействием случайных факторов.
Можно сказать, что в широком смысле слова надежность теста показывает, в какой мере индивидуальные различия в тестовых результатах являются «истинными», а в какой мере они могут быть отнесены к случайным ошибкам. Надежность это помехоустойчивость теста, независимость его результатов от действия всевозможных случайных факторов. К числу таких факторов следует отнести:
- разнообразие внешних материальных условий тестирования (время суток, освещенность, температура, наличие посторонних звуков и т.п.);
- динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе тестирования (настроение, утомление, другие особенности состояния испытуемого);
- информационно-социальные факторы (контакт с психологом, наличие других людей, сама ситуация тестирования и пр.).
Разнообразие и изменчивость этих факторов так велики, что они обусловливают появление у каждого испытуемого непрогнозируемого по размеру и направлению отклонения измеренного тестового балла (т.е. такого, который можно было бы получить в идеальных условиях).
Поэтому, общий разброс (дисперсию) результатов произведенных измерений можно представить как результат суммы двух источников разнообразия: самого измеряемого свойства и нестабильности измерительной процедуры, обусловливающей наличие ошибки измерения. Это нашло свое выражение в классической формуле, описывающей надежность теста в виде отношения истинной дисперсии к дисперсии эмпирически зарегистрированных баллов [1, 13, 15, 16]:
α = 1 - 
где: α - надежность теста;  - дисперсия ошибки;
 - дисперсия теста.
Итак, эта формула читается так: надежность теста равняется единице минус отношение дисперсии ошибки к дисперсии эмпирически зарегистрированных баллов.
Из этой формулы получаем, что стандартная ошибка измерения равна:  . Можно сказать, что величина ошибки измерения - обратный индикатор точности измерения: чем выше ошибка, тем шире диапазон неопределенности на шкале (доверительный интервал), внутри которого оказывается статистически возможной расположение истинного балла данного испытуемого [15].
В общем случае можно сказать, что ошибку измерения в психометрике определяют с помощью корреляционных методов, которые дают возможность оценить надежность (или, что одно и тоже точность) через устойчивость и согласованность результатов, полученных как на уровне целого теста, так и на уровне отдельных его пунктов.
Рассмотрим вначале надежность теста, связанную с воспроизводимостью результатов тестирования – так называемую, "ретестовую" или "диахронную" надежность. Затем, проанализируем понятие "надежности", связанное с внутренней согласованностью теста. В завершении этого параграфа проанализируем критический взгляд на такие понятия, как "ретестовая надежность ", "синхронная надежность" и достаточно подробно остановимся на "теории надежности", позволяющей психологу, разрабатывающему или использующему тест, понять всю важность данного параметра теста.
|
