"Прогностическая" валидность.

"Прогностическая" валидность определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик — предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

"Ретроспективная" валидность.

Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

Конвергентная и дискриминантная валидность.

От того, как психолог определяет диагностический конструкт, зависит стратегия включения в тест определенных пунктов. Если Айзенк определяет свойство «нейротизм» как независимое от экстраверсии-интроверсии, то это означает, что в его опроснике примерно поровну должны быть представлены пункты, с которыми будут соглашаться невротичные интроверты и невротичные экстраверты. Если же на практике окажется, что в тесте будут преобладать пункты из квадранта «Нейротизм-Интроверсия», то, с точки зрения теории Айзенка, это означает, что фактор «нейротизм» оказывается нагруженным иррелевантным фактором - «интроверсией». (Точно такой же эффект возникает, если появится перекос в выборке - если в ней будет больше невротичных интровертов, чем невротичных экстравертов.)

Для того чтобы не сталкиваться с такими сложностями, психологи хотели бы иметь дело с такими эмпирическими показателями (пунктами), которые однозначно информируют только об одном факторе. Но это требование реально никогда не выполняется: всякий эмпирический показатель оказывается детерминированным не только тем фактором, который нам нужен, но и другими - иррелевантными задаче измерения.

Таким образом, по отношению к факторам, которые концептуально определяются как ортогональные к измеряемому (встречающиеся с ним во всех комбинациях), составитель теста должен при отборе пунктов применить стратегию искусственного балансирования.

Соответствие пунктов измеряемому фактору обеспечивает конвергентную валидность теста. Сбалансированность пунктов относительно иррелевантных факторов обеспечивает дискриминантную валидностъ. Эмпирически она выражается в отсутствии значимой корреляции с тестом, измеряющим концептуально независимое свойство.

14. Понятие чувствительности методики

Чувствительность автоматических систем характеризует влияние изменений параметров элементов на их свойства. Вариации элемента автоматической системы приводит к изменению его передаточной функции, а это в свою очередь вызывает изменение передаточной функции всей замкнутой автоматизированной системы, а значит, в конечном итоге, и изменение величин, характеризующих ее состояние. Для количественного учета всех этих служат функции чувствительности

 .

Часто удобнее рассматривать логарифмическую функцию чувствительности, или просто чувствительность   передаточной функции замкнутой системы K_ух(p) по передаточной функции варьируемого элемента K_в(р), определяемую как

 .

Чувствительность  представляет собой отношение относительных изменений передаточной функции замкнутой системы и передаточной функции изменяемого элемента, т.е.

.

Очевидно, что чувствительность   связана с функцией чувствительности  соотношением

(34)

 

Из выражения видно, что чем меньше чувствительность   или функция чувствительности  , тем меньше влияние передаточной функции K_в(p) рассматриваемого элемента на свойства автоматической системы. Говоря об уменьшении или увеличении чувствительности, мы всегда будем подразумевать уменьшение или увеличение ее модуля. Естественно, что чем меньше чувствительность автоматической системы, тем система более высококачественна. Поэтому большой интерес представляют такие структуры автоматических систем, которые обладают малой чувствительностью.

Для вывода общей формы чувствительности  , выражающей влияние передаточной функции какого-либо элемента K_в(p) на передаточную функцию автоматической системы K_yx(p), рассмотрим систему (рис. 64).

Рис. 64. К анализу чувствительности системы

 

Передаточная функция системы

(35)

Найдем вначале функцию чувствительности

(36)

Подставляя (36) в формулу для чувствительности (34) получим

Но из выражения передаточной функции (35) следует

Поэтому окончательно общую формулу чувствительности можно представить в виде

Эта формула лежит в основе исследования чувствительности автоматических систем. Методика исследования чувствительности сводится к выделению варьируемого элемента, контура обратной связи и определению передаточной функции всей системы K_yx(p), сквозной передаточной функции K_c(p) и передаточной функции варьируемого элемента с учетом ООС K_в(p) × K_oc (p).

Как правило, в автоматических системах варьируемым элементом является управляемый объект. Рассмотрим рис. 65.

Рис.65. Блок-схема системы управления

Для данной системы K_c(p) = 0, следовательно

.

И чувствительность следящей системы по отношению к управляемому объекту определяется коэффициентом преобразования управляющего устройства.

Сопоставляя данное выражение с выражением передаточной функции ошибки по задающему воздействию, заключаем, что для обычной системы

.

Таким образом, чувствительность САУ по отношению к управляемому объекту равна передаточной функции ошибки по задающему воздействию.

Из основной формулы чувствительности можно установить два пути уменьшения чувствительности автоматических систем.

Первый путь состоит в таком изменении передаточной функции системы K_yx(p), при котором она приближалась бы к передаточной функции части системы, не зависящей от варьируемого элемента. По существу этот путь связан с компенсацией изменений варьируемого элемента, т.е. с изменением эффекта, вызываемого вариацией элемента, и созданием соответствующего компенсирующего воздействия. Классическим примером реализации этого пути является известная мостовая схема компенсации.

Второй путь состоит в увеличении усиления элементов контура обратной связи. При стремлении усиления к бесконечности чувствительность по отношению к управляемому объекту будет стремиться к нулю.

Системы нулевой чувствительности или, что эквивалентно, системы с нулевой ошибкой представляют собой идеальные системы, и если бы можно было бы их осуществить, то многие проблемы теории автоматических систем были бы решены либо отпали за ненадобностью. К сожалению, однако, на пути осуществления таких идеальных систем возникает множество препятствий и далеко не все они могут быть преодолены. Поэтому эти идеальные системы могут служить лишь ориентиром, к которому следует стремиться настолько, насколько позволяют нам законы природы и различного рода ограничения, которые вызваны ограниченностью энергетических ресурсов, ограниченным диапазоном изменений величин, характеризующих состояние системы и т.д.

Чувствительность и специфичность качественных методов диагностики (в медицине)

Применяя тот или иной метод диагностики, лечащий врач часто хотел бы знать - с какой вероятностью можно доверять методу. Самый лучший метод, с точки зрения лечащего врача, должен иметь стопроцентную надежность, хотя по абсолютному большинству заболеваний нынешний уровень науки и техники пока не позволяет создать такие методы.

Для того, чтобы формализовать практическую ценность различных методов диагностики, были введены понятия чувствительности и специфичности. Два этих понятия применимы для любого метода диагностики заболеваний, однако широкое применение нашли только в лабораторной диагностике.

Чувствительность - доля больных (инфицированных), которые признаны больными (инфицированными) в результате применения метода диагностики, от общего количества больных (инфицированных), проверенных с помощью данного метода диагностики.

Специфичность - доля здоровых, которые признаны здоровыми в результате применения метода диагностики, от общего количества здоровых, проверенных с помощью данного метода диагностики.

В идеале, для того, чтобы определить чувствительность и специфичность метода диагностики, необходимо с его помощью проверить все население Земли; при этом надо заранее знать, кто из жителей является здоровым, а кто больным. Именно тогда и только тогда чувствительность и специфичность равны вероятности того, что метод диагностики дал правильный результат.

Так как на практике такое измерение провести невозможно, используются методы оценки чувствительности и специфичности с помощью наборов (панелей) образцов исследуемых материалов, которые обычно достаточно хорошо проверены различными другими методами и, зачастую, дополнены сведениями из истории болезни.

Чем более правильно подобраны образцы панели, тем ближе результаты проверки метода диагностики на ней совпадут с идеальным случаем. В настоящее время все проблемы составления панелей не решены, что приводит к многочисленным ошибкам и дискуссиям. Коротко можно назвать некоторые из серьезных проблем: региональные различия; представительство образцов от больных несколькими болезнями; представительство образцов от больных другими заболеваниями, но не болеющих именно тем заболеванием, для диагностики которого предназначен метод; временной дрейф.

Обычно достаточно трудно оценить все вероятности, поэтому на практике часто просто сравнивают по чувствительности и специфичности две-три тест-системы разных производителей с целью выбора лучшей.

Как правильно сравнить две тест-системы? Для того, чтобы сравнить две тест-системы по чувствительности и специфичности, надо взять панель (назовем ее панель А) и одновременно, "руками" одного лаборанта, поставить анализ в обеих тест-системах. Если это возможно, то хорошо бы повторить сравнение в другой день "руками" другого лаборанта. Затем все это повторить с использованием панели В, произведенной другим производителем. Возможные варианты полученных результатов приведены в таблице.

N варианта Тест- система Панель Чувстви- тельность Специ- фичность 1 1 A B 98 96 96 96 2 A B 94 92 95 96 2 1 A B 98 94 96 92 2 A B 93 95 91 96 3 1 A B 98 95 92 91 2 A B 82 85 98 98 4 1 A B 98 95 92 91 2 A B 94 90 96 96

В варианте 1 следует выбрать тест-систему 1 (ее чувствительность и специфичность выше).

В варианте 2 необходима проверка на дополнительных панелях (чувствительность и специфичность 1 тест-системы выше при проверке с помощью панели А, но ниже при проверке с помощью панели В).

В варианте 3 следует выбрать тест-систему 1 (чувствительность тест-системы 1 выше при проверке на обеих панелях, специфичность ниже; но при этом разница в чувствительности намного превышает разницу в специфичности).

В варианте 4 выбор затруднен. Обычно в таких случаях учитывают другие факторы (особенности инфекции, воспроизводимость и т.д.).

Типичные ошибки при сравнении тест-систем, оценке чувствительности и специфичности

Пример 1. С помощью тест-системы С проверяется большой контингент пациентов, некоторые из них признаются положительными. Положительные в тест-системе С образцы исследуются с помощью тест-системы D, затем положительные в тест-системе С образцы передаются на подтверждение более надежным методом Е, и составляется примерно такая таблица:

Тест-система	Количество образцов, признанных отрицательными	Количество образцов, признанных положительными	Подтверждено положительных методом Е
C	980	20	15
D	5	15	15

На основании данных таблицы делается вывод о том, что специфичность тест-системы С составляет 75 % (15/20?100%), а специфичность тест-системы D составляет 100 % (15/15?100%), а, следовательно, тест-система D лучше тест-системы С.

Такого вида выводы можно встретить в докладах на многих конференциях и даже иногда в публикациях в научных журналах.

Как более правильно обработать результаты таблицы? Можно сделать только некоторые оценки. Если заболевание достаточно слабо распространено, и образцы отбирались от случайных пациентов (не в группе риска), можно предположить, что из 1 000 пациентов не менее 950 - здоровы. Тогда из 950 здоровых тест-система С признала здоровыми 945 пациентов (5 ошибочно признаны больными); таким образом, специфичность тест-системы С не менее 99,5 % (945/950?100%). Что можно сказать о тест-системе D? Из приведенных данных можно оценить чувствительность. Тест-система D признала больными 15 пациентов, которые признаны больными тест-системами С и Е, таким образом чувствительность тест-системы D близка к 100 %. Если бы с помощью тест-системы D были проверены все 1 000 пациентов, тогда можно было бы сравнить специфичности обеих тест-систем.

Поэтому на основании таблицы можно сделать примерно такой вывод:

"Тест-система С имеет специфичность более 99 %, тест-система D имеет чувствительность около 100 %. При этом надо учитывать, что специфичность тест-системы С оценена более точно (на 1 000 образцах), чем чувствительность тест-системы D (оценена на 15 образцах). Полученные данные не позволяют сравнить качество тест-систем".

Пример 2. Лаборатория А проверяет с помощью панели В чувствительность и специфичность тест-системы С. Затем лаборатория D проверяет с помощью той же панели В чувствительность и специфичность тест-системы Е. Можно ли сравнивать на основании полученных данных тест-системы С и Е? Если получены существенно отличающиеся данные, то скорее всего можно. Чаще всего - нельзя, так как лаборатории могут сильно отличаться как по оборудованию, так и по квалификации персонала.

Пример 3. С помощью тест-систем А и В проверяется достаточно большой контингент пациентов. По результатам составляется таблица примерно следующего вида:

Тест-система	Количество образцов, признанных отрицательными	Количество образцов, признанных положительными	Процент признанных положительными
A	980	20	2
B	970	30	3

На основании данных таблицы делается вывод о том, что тест-система В имеет более высокую чувствительность, чем тест-система А, а тест-система А имеет более высокую специфичность.

По данным этой таблицы ничего нельзя сказать ни о чувствительности обеих тест-систем, ни о специфичности, так как неизвестно, кто из пациентов болен (инфицирован), а кто здоров. Вполне возможна ситуация, при которой все 20 образцов, признанных положительными в тест-системе А, действительно принадлежат больным, которых всего 20 (чувствительность А = 100 %). А из 30 образцов, признанных положительными в тест-системе В, только 10 взяты от больных, которых всего 20 (чувствительность В = 50 %).

Пример 4. Тест-система А при проверке на 2-3 положительных сыворотках дает более высокий сигнал, чем тест-система В. Обе тест-системы проявляют сыворотки как положительные. Делается вывод о том, что тест-система А более чувствительна, чем тест-система В.

Данный вывод слабо обоснован - вполне возможно, что на большей выборке аттестованных положительных сывороток тест-система В может проявить правильно равное или большее количество сывороток, чем тест-система А.

Пример 5. С помощью тест-системы А исследуются сыворотки 220 трупов на наличие антител к ВИЧ с целью проверки пригодности тест-системы для ВИЧ-контроля донорского трупного материала. Два образца проявили себя как положительные, остальные - как отрицательные. Положительные образцы при проверке методом вестерн-блоттинга проявили себя как отрицательные. На основании проведенной работы утверждается, что тест-система А может быть использована для определения антител к ВИЧ в донорской трупной крови. (Материалы VII съезда ВОЭМП).

Так как ВИЧ-инфекция слабо распространена в России, можно применить рассуждения, приведенные в примере 1, то есть оценить специфичность (218/220x100%=99%). Для правильной проверки тест-системы А необходимо дополнить работу исследованиями образцов, полученных из крови трупов ВИЧ-инфицированных. Только тогда можно утверждать о пригодности или непригодности тест-системы для работы с донорской трупной кровью.

15. Методологические требования к результатам исследования

Обобщая эти требования, можно определить методологические требования к результатам проведения психолого-педагогического исследования, которые ими обусловлены. К ним относятся:

• объективность,

Объективность тестовых результатов — один из основных критериев качества тестовых измерений. О. т. р. принято рассматривать как интегративный критерий, включающий в себя показатели точности измерения (надежности) и валидности. В узком смысле под О. т. р. понимают независимость тестовых результатов от личных особенностей исполнителя тестовой методики. Операционально О. т. р. пытаются измерить через степень соответствия данных, полученных одним исследователем, данным, полученным с использованием той же методики в той же группе, но другим исследователем. Степень рассогласования может интерпретироваться как личностный фактор, привносящий свою погрешность в результаты измерения. По мере уменьшения рассогласования О. т. р. возрастает. Часто О. т. р. рассматривается как логическая антитеза "субъективности". Среди существующих широких классов тестовые методики принято ранжировать по степени снижения О. т. р. следующим образом: психофизиологические методики, приборные методики, объективные тесты (с правильным ответом), тест-опросники, методики шкалирования, проективные методики. В последних трех классах методик принципиально важно различать субъективность испытуемого и субъективность экспериментатора. Главная задача объективной психодиагностики — минимизировать влияние второго вида субъективности. При этом избегание учета субъективности испытуемого нередко вовсе не приводит к росту О. т. р. диагностики. Например, многие психофизиологические и приборные методики страдают т.н. инструментальной погрешностью, которая резко снижает О. т. р. в смысле их валидности. Для того, чтобы обозначить степень защищенности методики от искажающей субъективности испытуемого (например, от риска сознательных суждений), иногда используется особый термин — "достоверность". В настоящее время технология согласования или идея минимизации различий в оценках широко применяется в субъективной рейтинговой оценке психических свойств испытуемых, в экспертном опросе. В качестве меры объективности экспертов нередко рассматривается дисперсия их оценок (в применении к одному и тому же случаю "объект—свойство"): чем ниже дисперсия, тем объективнее оценки. На самом деле вовсе не всегда этот показатель интерсубъективности является корректным показателем О. т. р. Если всем экспертам (или информантам) свойственно какое-то одно общее для них заблуждение, то при высокой интерсубъективности О. т. р. будет низкой. Таким образом, объективными тестовыми результатами можно назвать только те, которые имеют не только малую погрешность измерения (надежность), но и точно соответствует реальности, установленной с помощью процедур, не зависимых от исполнителя.

• достоверность,

В практической и научно-практической работе врачи обобщают результаты, полученные как правило на выборочных совокупностях. Для более широкого распространения и применения полученных при изучении репрезентативной выборочной совокупности данных и выводов надо уметь по части явления судить о явлении и его закономерностях в целом.

Учитывая, что врачи, как правило, проводят исследования на выборочных совокупностях, теория статистики позволяет с помощью математического аппарата (формул) переносить данные с выборочного исследования на генеральную совокупность. При этом врач должен уметь не только воспользоваться математической формулой, но сделать вывод, соответствующий каждому способу оценки достоверности полученных данных. С этой целью врач должен знать способы оценки достоверности.

Применяя метод оценки достоверности результатов исследования для изучения общественного здоровья и деятельности учреждений здравоохранения, а также в своей научной деятельности, исследователь должен уметь правильно выбрать способ данного метода. Среди методов оценки достоверности различают параметрические и непараметрические.

Параметрическими называют количественные методы статистической обработки данных, применение которых требует обязательного знания закона распределения изучаемых признаков в совокупности и вычисления их основных параметров.

Непараметрическими являются количественные методы статистической обработки данных, применение которых не требует знания закона распределения изучаемых признаков в совокупности и вычисления их основных параметров.

Как параметрические, так и непараметрические методы, используемые для сравнения результатов исследований, т.е. для сравнения выборочных совокупностей, заключаются в применении определенных формул и расчете определенных показателей в соответствии с предписанными алгоритмами. В конечном результате высчитывается определенная числовая величина, которую сравнивают с табличными пороговыми значениями. Критерием достоверности будет результат сравнения полученной величины и табличного значения при данном числе наблюдений (или степеней свободы) и при заданном уровне безошибочного прогноза.

Таким образом, в статистической процедуре оценки основное значение имеет полученный критерий достоверности, поэтому сам способ оценки достоверности в целом иногда называют тем или иным критерием по фамилии автора, предложившего его в качестве основы метода. 

Применение параметрических методов

При проведении выборочных исследований полученный результат не обязательно совпадает с результатом, который мог бы быть получен при исследовании всей генеральной совокупности. Между этими величинами существует определенная разница, называемая ошибкой репрезентативности, т.е. это погрешность, обусловленная переносом результатов выборочного исследования на всю генеральную совокупность.

Средняя ошибка средней арифметической величины определяется по формуле:		где σ - среднеквадратическое отклонение  n - число наблюдений
Ошибка относительного показателя определяется по формуле:		где p - показатель, выраженный в %, ‰, %оо и т.д.  q = (100 - р), при p выраженном в %;  или (1000 - р), при p выраженном в ‰  или (10000 - р), при p выраженном в %оо и т.д.
При числе наблюдений меньше 30 ошибки репрезентативности определяются соответственно по формулам:

Определение доверительных границ средних и относительных величин

Формулы определения доверительных границ представлены следующим образом:

• для средних величин (М): М_ген = М_выб ± tm

• для относительных показателей (Р): Р_ген = Р_выб ± tm  где М_ген и Р_ген - соответственно, значения средней величины и относительного показателя генеральной совокупности;  М_вы6 и Р_вы6 - значения средней величины и относительного показателя выборочной совокупности; m - ошибка репрезентативности;  t - критерий достоверности (доверительный коэффициент).

Данный способ применяется в тех случаях, когда по результатам выборочной совокупности необходимо судить о размерах изучаемого явления (или признака) в генеральной совокупности.

Обязательным условием для применения способа является репрезентативность выборочной совокупности. Для переноса результатов, полученных при выборочных исследованиях, на генеральную совокупность необходима степень вероятности безошибочного прогноза (Р), показывающая, в каком проценте случаев результаты выборочных исследований по изучаемому признаку (явлению) будут иметь место в генеральной совокупности.

При определении доверительных границ средней величины или относительного показателя генеральной совокупности, исследователь сам задает определенную (необходимую) степень вероятности безошибочного прогноза (Р).

Для большинства медико-биологических исследований считается достаточной степень вероятности безошибочного прогноза, равная 95%, а число случаев генеральной совокупности, в котором могут наблюдаться отклонения от закономерностей, установленных при выборочном исследовании, не будут превышать 5%. При ряде исследований, связанных, например, с применением высокотоксичных веществ, вакцин, оперативного лечения и т.п., в результате чего возможны тяжелые заболевания, осложнения, летальные исходы, применяется степень вероятности Р = 99,7%, т.е. не более чем у 1% случаев генеральной совокупности возможны отклонения от закономерностей, установленных в выборочной совокупности.

Заданной степени вероятности (Р) безошибочного прогноза соответствует определенное, подставляемое в формулу, значение критерия t, зависящее также и от числа наблюдений.

При n>30 степени вероятности безошибочного прогноза Р = 99,7% - соответствует значение t = 3, а при Р = 95,5% - значение t = 2.

При п<30 величина t при соответствующей степени вероятности безошибочного прогноза определяется по специальной таблице (Н.А. Плохинского).

Оценка достоверности разности результатов исследования

Данный способ применяется в тех случаях, когда необходимо определить, случайны или достоверны (существенны), т.е. обусловлены какой-то причиной, различия между двумя средними величинами или относительными показателями.

Обязательным условием для применения данного способа является репрезентативность выборочных совокупностей, а также наличие причинно-следственной связи между сравниваемыми величинами (показателями) и факторами, влияющими на них.

Формулы определения достоверности разности представлены следующим образом:

для средних величин

для относительных  показателей

где t - критерий достоверности,  m1 и m2 - ошибки репрезентативности,  М1 и М2 - средние величины,  Р1 и Р2 - относительные показатели.

Если вычисленный критерий t более или равен 2 (t ≥ 2), что соответствует вероятности безошибочного прогноза Р равном или более 95% (Р ≥ 95%), то разность следует считать достоверной (существенной), т.е. обусловленной влиянием какого-то фактора, что будет иметь место и в генеральной совокупности.

При t < 2, вероятность безошибочного прогноза Р < 95%, это означает, что разность недостоверна, случайна, т.е. не обусловлена какой-то закономерностью (не обусловлена влиянием какого-то фактора).

Поэтому полученный критерий должен всегда оцениваться по отношению к конкретной цели исследования. 

Типичные ошибки, допускаемые исследователями при применении способа оценки достоверности разности результатов исследования

• При оценке достоверности разности результатов исследования по критерию t часто делается вывод о достоверности (или недостоверности) самих результатов исследования. В действительности же этот способ позволяет судить только о достоверности (существенности) или случайности различий между результатами исследования.

• При полученном значении критерия t<2 часто делается вывод о необходимости увеличения числа наблюдений. Если же выборочные совокупности репрезентативны, то нельзя делать вывод о необходимости увеличения числа наблюдений, т.к. в данном случае значение критерия t<2 свидетельствует о случайности, недостоверности различия между двумя сравниваемыми результатами исследования.

• надежность

Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффективность. К числу основных критериев оценки психодиагностических методик относятся надежность и валидность.

Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк, Е. Хаген и др.). Ими были разработаны формально-логический и математико-статистический аппарат (прежде всего корреляционный метод и фактический анализ) обоснования степени соответствия методик отмеченным критериям.

В традиционной тестологии термин «надёжность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.

Надёжность методики – это критерий, который говорит о точности психологических измерений, то есть позволяет судить о том, насколько внушают доверие полученные результаты.

Это согласованность результатов тестирования испытуемых в разные моменты времени, при первичном и вторичном тестировании и с использованием разных по эквивалентности, по содержанию заданий. Надежность характеризует тесты свойств, но не состояний. Свойства:

1. Воспроизводимость рез-тов исследования.

2. Точность измерения.

3. Устойчивость результатов.

Степень надёжности методик зависит от многих причин. Среди негативных факторов наиболее часто называются следующие:

1. нестабильность диагностируемого свойства;

2. несовершенство диагностических методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечётко сформулированы указания по предъявлению методики испытуемым и т.д.);

3. меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещённость помещения, наличие или отсутствие посторонних шумов и т.д.);

4. различия в манере поведения экспериментатора (от опыта к опыту по-разному предъявляет инструкции, по-разному стимулирует выполнение заданий и т.д.);

5. колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом – утомление и т.д.);

6. элементы субъективности в способах оценки и интерпретации результатов (когда ведётся протоколирование ответов испытуемых, оценивают ответы по степени полноты, оригинальности и т.д.).

Одним из важнейших средств повышения надежности методики является единообразие процедуры обследования, его строгая регламентация: одинаковая обстановка, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми и так далее.

На характеристику надёжности методик большое влияние оказывает исследуемая выборка. Она может, как снижать, так и завышать этот показатель, например, надежность, может быть искусственно завышена, если в выборке небольшой разброс результатов, т.е. если результаты по своим значениям близки друг к другу. Поэтому в руководстве обычно делается описание выборки, на котором определялась надёжность методики.

В настоящее время надежность все чаще определяется на наиболее однородных выборках, т.е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т.п.

Разновидностей надёжности методик так же много, как и условий, влияющих на результаты диагностических испытаний. Так как все виды надёжности отражают степень согласованности двух независимо полученных рядов показателей, то математико-статистический приём, с помощью которого устанавливается надёжность методики, - это корреляции (по Пирсону или Спирмену). Надёжность тем выше, чем больше полученный коэффициент корреляции приближается к единице, и наоборот.

К.М. Гуревич предложил толковать надёжность как:

1. надёжность самого измерительного инструмента (коэффициент надежности);

2. стабильность изучаемого признака (коэффициент стабильности);

3. константность, т.е. относительную независимость результатов от Личности экспериментатора (коэффициент константности).

Показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надёжности; показатель, характеризующий стабильность измеряемого свойства, - коэффициентом стабильности; а показатель оценки влияния Личности экспериментатора – коэффициентом константности. Именно в таком порядке рекомендуется осуществлять проверку методики: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже после этого при необходимости заняться критерием константности. (Надёжность: ретестовая, параллельных форм, частей тела, по внутренней согласованности, факторно-дисперсионная).

Определение надежности измерительного инструмента. От того как составлена методика, насколько правильно подобраны задания, насколько она однородна зависит точность, объективность измерения.

Для проверки надежности измерительного инструмента, говорящего о его однородности (гомогенности) используют метод расщепления. Задания делят на четные и нечетные (необходимо выполнение всех заданий), а затем результаты коррелируются между собой. Если методика однородна, то большой разницы в успешности по этим половинам не будет, коэффициент будет высоким. Можно сравнивать по частям, но лучше по четным и нечетным, т.к. этот способ не зависит от тренировки, утомления и т.д.

Методика надежна, если коэффициент не ниже 0,75 – 0,85, лучше 0,90 и выше.

Определение стабильности изучаемого признака. Также необходимо установить насколько устойчив, стабилен признак, который исследователь намерен измерять. Признак со временем может меняться, но колебания его не должны иметь непредсказуемый характер.

Для проверки используется прием, который называется тест-ретест. Он заключается в повторном обследовании испытуемых с помощью этой же методики. О стабильности судят по коэффициенту корреляции между результатами первого и второго обследования. Он будет свидетельствовать о сохранении или не сохранении каждым испытуемым своего порядкового номера в выборке.

На степень устойчивости влияет разнообразие фактора. Необходимо соблюдать единообразие процедуры обследования.

При определении стабильности признака большое значение имеет промежуток времени между 1 и 2 обследованиями. Чем короче этот промежуток, тем больше шансов, что этот признак сохраняет уровень первого испытания. Целесообразно проводить повторное тестирование через короткий срок после тестирования. Экспериментатор сам устанавливает этот срок, но чаще в психологической литературе указывают на интервал от нескольких месяцев (но не более полугода). Вопрос о стабильности измеряемого свойства решается не всегда единообразно. Решение зависит от сущности диагностируемого признака.

Если измеряемое свойство уже сформировано, то коэффициент должен быть не ниже 0,80.

Определение константности, т.е. относительная независимость результатов от Личности экспериментатора. Так как методика разрабатывается для дальнейшего использования ее другими психодиагностами, необходимо определить в какой мере ее результаты поддаются влиянию личности экспериментатора. Коэффициент константности определяется путем корреляции результатов двух опытов, проводимых на одной и той же выборке, но разными экспериментаторами. Коэффициент корреляции не должен быть ниже 0,80.

Вопрос о валидности решается после того, как установлена надежность, так как ненадежная методика не может быть валидной.

• доказательность.

Необходимое свойство рассуждений, приводящих к расширению знания. Состоит в том, что в процессе всякого логически правильного рассуждения присоединение нового суждения в качестве истинного к составу имеющегося знания происходит лишь тогда, когда это суждение либо непосредственно основано на показаниях органов чувств, либо выведено (доказано), исходя из ранее включенных в состав знания истинных суждений по законам и правилам логики, – вообще, так или иначе обосновано. Рассуждение, не обладающее свойством Д., не убедительно, оно не может быть средством познания и руководством в практич. деятельности людей.

Более подробно мы остановимся на этом в главе, которая будет посвящена проблеме разработки методики психолого-педагогического исследования.

Важным и необходимым условием при этом являлось то, что к середине XIX в. сами естественные науки достигли такого уровня развития, что их результаты могли быть активно восприняты другими научными дисциплинами.

• В таких областях знания, как нервно-мышечная физиология, физиология органов чувств, анатомия и физиология головного мозга, физическая оптика и акустика, астрономия и биология, психиатрия и неврология были получены результаты, позволяющие более объективно подойти к пониманию и исследованию психических явлений, в частности решать задачи:

  • изучения психических проявлений человека на основе экспериментальной методологии при планировании и проведении исследований;

  • использования в психологических исследованиях приборных (аппаратурных) методик и экспериментальных процедур, позволяющих количественно измерить психические феномены;

  • применения математических методов при обработке полученных эмпирических данных;

  • использования достижений смежных научных дисциплин (в первую очередь физиологии) при интерпретации полученных результатов.

Все это послужило одновременно и предпосылкой, и основанием формирования экспериментальных разделов психологии; способствовало повышению объективности и доказательности психологических исследований, превращению психологии в конечном итоге в самостоятельную область экспериментального научного знания, со своим предметом, совокупностью методов и проблематикой.

16. Основные понятия математической статистики

2.1 Основные понятия выборочного метода

Пусть  — случайная величина, наблюдаемая в случайном эксперименте. Предполагается, что вероятностное пространство задано (и не будет нас интересовать).

Будем считать, что, проведя  раз этот эксперимент в одинаковых условиях, мы получили числа  ,  ,  ,  — значения этой случайной величины в первом, втором, и т.д. экспериментах. Случайная величина  имеет некоторое распределение  , которое нам частично или полностью неизвестно.

Рассмотрим подробнее набор  , называемый выборкой.

В серии уже произведенных экспериментов выборка — это набор чисел. Но если эту серию экспериментов повторить еще раз, то вместо этого набора мы получим новый набор чисел. Вместо числа  появится другое число — одно из значений случайной величины  . То есть (и  , и  , и т.д.) — переменная величина, которая может принимать те же значения, что и случайная величина  , и так же часто (с теми же вероятностями). Поэтому до опыта  — случайная величина, одинаково распределенная с  , а после опыта — число, которое мы наблюдаем в данном первом эксперименте, т.е. одно из возможных значений случайной величины  .

Выборка  объема  — это набор из  независимых и одинаково распределенных случайных величин («копий  »), имеющих, как и  , распределение  .

Что значит «по выборке сделать вывод о распределении»? Распределение характеризуется функцией распределения, плотностью или таблицей, набором числовых характеристик —  ,  ,  и т.д. По выборке нужно уметь строить приближения для всех этих характеристик.