2.2 Выборочное распределение

Рассмотрим реализацию выборки на одном элементарном исходе  — набор чисел  ,  ,  . На подходящем вероятностном пространстве введем случайную величину  , принимающую значения  ,  ,  с вероятностями по  (если какие-то из значений совпали, сложим вероятности соответствующее число раз). Таблица распределения вероятностей и функция распределения случайной величины  выглядят так:

Распределение величины  называют эмпирическим или выборочным распределением. Вычислим математическое ожидание и дисперсию величины  и введем обозначения для этих величин:

Точно так же вычислим и момент порядка 

В общем случае обозначим через  величину

Если при построении всех введенных нами характеристик считать выборку  ,  ,  набором случайных величин, то и сами эти характеристики —  ,  ,  ,  ,   — станут величинами случайными. Эти характеристики выборочного распределения используют для оценки (приближения) соответствующих неизвестных характеристик истинного распределения.

Причина использования характеристик распределения  для оценки характеристик истинного распределения  (или  ) — в близости этих распределений при больших  .

Рассмотрим, для примера,  подбрасываний правильного кубика. Пусть  — количество очков, выпавших при  -м броске,  . Предположим, что единица в выборке встретится  раз, двойка —  раз и т.д. Тогда случайная величина  будет принимать значения 1,  , 6 с вероятностями  ,  ,   соответственно. Но эти пропорции с ростом  приближаются к  согласно закону больших чисел. То есть распределение величины  в некотором смысле сближается с истинным распределением числа очков, выпадающих при подбрасывании правильного кубика.

Мы не станем уточнять, что имеется в виду под близостью выборочного и истинного распределений. В следующих параграфах мы подробнее познакомимся с каждой из введенных выше характеристик и исследуем ее свойства, в том числе ее поведение с ростом объема выборки.

2.3 Эмпирическая функция распределения, гистограмма

Поскольку неизвестное распределение  можно описать, например, его функцией распределения  , построим по выборке «оценку» для этой функции.

Определение 1.

Эмпирической функцией распределения, построенной по выборке  объема  , называется случайная функция  , при каждом  равная

Напоминание: Случайная функция

называется индикатором события  . При каждом  это — случайная величина, имеющая распределение Бернулли с параметром  . почему?

Иначе говоря, при любом  значение  , равное истинной вероятности случайной величине быть меньше  , оценивается долей элементов выборки, меньших  .

Если элементы выборки  ,  ,  упорядочить по возрастанию (на каждом элементарном исходе), получится новый набор случайных величин, называемый вариационным рядом:

Здесь

Элемент  ,  , называется  -м членом вариационного ряда или  -й порядковой статистикой.

Пример 1.

Выборка: 

Вариационный ряд: 

Рис. 1. Пример 1

Эмпирическая функция распределения имеет скачки в точках выборки, величина скачка в точке равна  , где  — количество элементов выборки, совпадающих с  .

Можно построить эмпирическую функцию распределения по вариационному ряду:

Другой характеристикой распределения является таблица (для дискретных распределений) или плотность (для абсолютно непрерывных). Эмпирическим, или выборочным аналогом таблицы или плотности является так называемая гистограмма.

Гистограмма строится по группированным данным. Предполагаемую область значений случайной величины  (или область выборочных данных) делят независимо от выборки на некоторое количество интервалов (не обязательно одинаковых). Пусть  ,  ,  — интервалы на прямой, называемые интервалами группировки. Обозначим для  через  число элементов выборки, попавших в интервал  :

(1)

На каждом из интервалов  строят прямоугольник, площадь которого пропорциональна  . Общая площадь всех прямоугольников должна равняться единице. Пусть  — длина интервала  . Высота  прямоугольника над  равна

Полученная фигура называется гистограммой.

Пример 2.

Имеется вариационный ряд (см. пример 1):

Разобьем отрезок  на 4 равных отрезка. В отрезок  попали 4 элемента выборки, в  — 6, в  — 3, и в отрезок  попали 2 элемента выборки. Строим гистограмму (рис. 2). На рис. 3 — тоже гистограмма для той же выборки, но при разбиении области на 5 равных отрезков.

Рис. 2. Пример 2		Рис. 3. Пример 2

Замечание 1.

В курсе «Эконометрика» утверждается, что наилучшим числом интервалов группировки («формула Стерджесса») является  .

Здесь  — десятичный логарифм, поэтому  , т.е. при увеличении выборки вдвое число интервалов группировки увеличивается на 1. Заметим, что чем больше интервалов группировки, тем лучше. Но, если брать число интервалов, скажем, порядка  , то с ростом  гистограмма не будет приближаться к плотности.

Справедливо следующее утверждение:

Если плотность распределения элементов выборки является непрерывной функцией, то при так, что  , имеет место поточечная сходимость по вероятности гистограммы к плотности.

Так что выбор логарифма разумен, но не является единственно возможным.

Заключение

Математическая (или теоретическая) статистика опирается на методы и понятия теории вероятностей, но решает в каком-то смысле обратные задачи.

Если мы наблюдаем одновременно проявление двух (или более) признаков, т.е. имеем набор значений нескольких случайных величин — что можно сказать об их зависимости? Есть она или нет? А если есть, то какова эта зависимость?

Часто бывает возможно высказать некие предположения о распределении, спрятанном в «черном ящике», или о его свойствах. В этом случае по опытным данным требуется подтвердить или опровергнуть эти предположения («гипотезы»). При этом надо помнить, что ответ «да» или «нет» может быть дан лишь с определенной степенью достоверности, и чем дольше мы можем продолжать эксперимент, тем точнее могут быть выводы. Наиболее благоприятной для исследования оказывается ситуация, когда можно уверенно утверждать о некоторых свойствах наблюдаемого эксперимента — например, о наличии функциональной зависимости между наблюдаемыми величинами, о нормальности распределения, о его симметричности, о наличии у распределения плотности или о его дискретном характере, и т.д.

Итак, о (математической) статистике имеет смысл вспоминать, если

• имеется случайный эксперимент, свойства которого частично или полностью неизвестны,

• мы умеем воспроизводить этот эксперимент в одних и тех же условиях некоторое (а лучше — какое угодно) число раз.

17. Проблема выбора, способа и метода исследования

Распознавание и формулирование проблем занимает центральное место в методологии исследования. Проблема определяет выбор методов исследования и подходов, предвидение результатов и установление ориентиров и ограничений.

Часто путают проблему с задачей. Они различаются тем, что за­дача предполагает знание алгоритма ее решения или выбор необходи­мого алгоритма из известных.

Наиболее типичными проблемами в исследовании управления являются проблемы совершенствования организации управления, технологии управле­ния (разработки управленческих решений), системы эффективных мотива­ций деятельности, разработка стратегий и инноваций и др. (схема 9а). И каждую из этих проблем можно решить только на основе ее исследования, т. е. на основе определения ее истоков, содержания, роли в развитии управ­ления, последствий нерешения и возможностей решения и пр.

Проблема — это противоречие, которое не всегда тождественно задаче. Оно несет в себе в той или иной степени элементы новых, неизвестных ра­нее изменений. Решение проблемы всегда требует творческих усилий, реше­ние задачи требует либо знаний, либо типовых схем и алгоритмов.

Исследование предполагает не только применение какого — либо изве­стного метода, но и создание новых методов изучения, поиск новых подхо­дов. Это определяется достаточно ясным пониманием сути проблемы, воз­можностей, в ней заложенных, трудностей, которые следует преодолеть.

В практике исследования систем управления большое значение имеет:

• отделение реальных проблем от псевдореальных;

• отбор реальных проблем по критерию необходимости их разрешения;

• отбор проблем по критерию ценности ожидаемого результата;

• выбор проблем в соответствии с критерием возможностей их разрешения.

Существуют реальные и мнимые проблемы. Последние можно разделить на три вида: а) уже не проблемы, т. е. проблемы решенные, но считающиеся еще не решенными или такие, которые переросли в другие проблемы; б) еще не проблемы, т.е. проблемы, существующие лишь в предпосылках или возникшие задолго до того, как сложились условия для их решения; в) ни­когда не проблемы, т. е. проблемы для которых не существует решений.

Проблему как предмет исследования характеризуют следующие парамет­ры: качество проблемы, определение проблемы, постановка проблемы (схема 15).

Качество проблемы — это ее реальность, необходимость разрешения (актуальность), возможность разрешения (ресурсы), предполагаемый резуль­тат и класс проблемы.

Определение и распознавание проблемы является важным этапом ис­следования систем управления. Оно предполагает комбинацию и последова­тельность множества различных операций.*

  

1. Формулирование проблемы, состоящее из вопрошения, постановки цен­трального вопроса; контрадикции, т. е. фиксации того противоречия, которое легло в основу проблемы; финитизации — предположительного описания предполагаемого результата.

2. Построение проблемы, представленное операциями стратификации — расщепления проблемы на подвопросы, без ответов на которые нельзя получить ответа на основной проблемный вопрос; композиции — груп­пировки и определения последовательности решения подвопросов, со­ставляющих проблему; локализации — ограничения поля изучения в со­ответствии с потребностями исследования, отграничения известного от неизвестного в области объекта исследования; вариантификации — вы­бора установки на возможность замены любого вопроса проблемы лю­бым другим и поиска альтернатив для всех элементов проблемы.

3. Оценка проблемы, характеризующаяся такими действиями, как кондификация — выявление всех условий, необходимых для решения проблемы, включая методы, средства, приемы, методики и пр.; инвентаризация — проверка наличных возможностей и предпосылок;когнификация — вы­яснение степени проблемности, соотношения известного и неизвестного в той информации, которую необходимо использовать при исследова­нии; уподобление — нахождение среди уже решенных проблем анало­гичных решаемой; квалификация — отнесение проблемы к определен­ному типу.

4. Обоснование проблемы, представляющее собой последовательную реа­лизацию процедур экспозиции — установления ценностных, содержа­тельных и генетических связей данной проблемы с другими проблемами;

актуализации — приведения доводов в пользу реальности проблемы, ее постановки и решения; компроментации — выдвижения сколь угодно большого числа возражений против проблемы; демонстрации — объек­тивного синтеза результатов, полученных на стадии актуализации и компроментации.

5. Обозначение проблемы, состоящее в экспликации понятий — перекоди­ровке, переводе проблемы на иной научный или обычный язык;интимизации — выборе словесной нюансировки выражения проблемы и под­боре понятий, наиболее точно фиксирующих смысл проблемы.

Таков наиболее типичный порядок действий, необходимых для определе­ния проблемы. В зависимости от опыта, квалификации и характера исследо­вателя возможно изменение состава и последовательности процедур и опе­раций. Некоторые из них могут осуществляться параллельно с другими, на­пример стратификация и вариантификация; некоторые реализуются по мере развертывания всех процедур и операций, например экспликация понятий и уподобление.

Определение проблемы является важным фактором успеха исследования.

Метод исследования - способ применения старого знания для получения нового знания. Является орудием получения научных фактов. 

Методы исследования

 

            В соответствии с логикой научного поиска осуществляется разработка методики исследования. Она представляет собой комплекстеоретических и эмпирических методов, сочетание которых дает возможность с наибольшей достоверностью исследовать сложные и многофункциональные объекты.

             Применение целого ряда методов позволяет всесторонне изучить исследуемую проблему, все ее аспекты и параметры.

            Наблюдение — целенаправленное восприятие какого-либо явления, в процессе которого исследователь получает конкретный фактический материал. При этом ведутся записи (протоколы) наблюдений. Наблюдение проводится обычно по заранее намеченному плану с выделением конкретных объектов наблюдения. Можно выделить следующие этапы наблюдения:

- определение задач и цели (для чего, с какой целью ведется наблюдение);

-  выбор объекта, предмета и ситуации (что наблюдать);

- выбор способа наблюдения, наименее влияющего на исследуемый объект и наиболее обеспечивающий сбор необходимой информации (как наблюдать);

-  выбор способов регистрации наблюдаемого (как вести записи);

- обработка и интерпретация полученной информации (каков результат).

Различают наблюдение включенное, когда исследователь становится членом той группы, в которой ведется наблюдение, и невключенное — "со стороны"; открытое и скрытое (инкогнито); сплошное и выборочное.

Наблюдение — это очень доступный метод, но он имеет свои недостатки, связанные с тем, что на результаты наблюдения оказывают влияние личностные особенности (установки, интересы, психические состояния) исследователя.

            Методы опроса — беседа, интервью, анкетирование. Беседа — самостоятельный или дополнительный метод исследования, применяемый с целью получения необходимой информации или разъяснения того, что не было достаточно ясным при наблюдении. Беседа проводится по заранее намеченному плану с выделением вопросов, требующих выяснения. Она ведется в свободной форме без записи ответов собеседника. Разновидностью беседы является интервьюирование. При интервьюировании исследователь придерживается заранее намеченных вопросов, задаваемых в определенной последовательности. Во время интервью ответы записываются открыто.

            Анкетирование — метод массового сбора материала с помощью анкеты. Те, кому адресованы анкеты, дают письменные ответы на вопросы. Беседу и интервью называют опросом "лицом к лицу", анкетирование — заочным опросом.

            Результативность беседы, интервьюирования и анкетирования во многом зависит от содержания и структуры задаваемых вопросов. План беседы, интервью и анкета — это перечень вопросов (вопросник). Разработка вопросника предполагает определение характера информации, которую необходимо получить; формулирование приблизительного ряда вопросов, которые должны быть заданы; составление первого плана вопросника и его предварительная проверка путем пробного исследования; исправление вопросника и окончательное его редактирование.

            Особую роль в исследованиях играет эксперимент — специально организованная проверка того или иного метода, приема работы для выявления его эффективности.

Собственно эксперимент — проведение серии опытов (создание экспериментальных ситуаций, наблюдение, управление опытом и измерение реакций.

Трудности экспериментального метода состоят в том, что необходимо в совершенстве владеть техникой его проведения.

            Перечисленные методы еще называют методами эмпирического познания. Они служат средством сбора научноых фактов, которые подвергаются теоретическому анализу. Поэтому и выделяется специальная группа методов теоретического исследования.

            Теоретический анализ — это выделение и рассмотрение отдельных сторон, признаков, особенностей, свойств явлений. Анализируя отдельные факты, группируя, систематизируя их, мы выявляем в них общее и особенное, устанавливаем общий принцип или правило. Анализ сопровождается синтезом, он помогает проникнуть в сущность изучаемых явлений.

            Индуктивные и дедуктивные методы — это логические методы обобщения полученных эмпирическим путем данных. Индуктивный метод предполагает движение мысли от частных суждений к общему выводу, дедуктивный — от общего суждения к частному выводу.

            Теоретические методы необходимы для определения проблем, формулирования гипотез и для оценки собранных фактов. Теоретические методы связаны с изучением литературы: трудов классиков; общих и специальных работ; исторических документов; периодической печати и др.

            Изучение литературы дает возможность узнать, какие стороны и проблемы уже достаточно хорошо изучены, по каким ведутся научные дискуссии, что устарело, а какие вопросы еще не решены. Работа с литературой предполагает использование таких методов, как составление библиографии — перечня источников, отобранных для работы в связи с исследуемой проблемой; реферирование — сжатое переложение основного содержания одной или нескольких работ по общей тематике; конспектирование — ведение более детальных записей, основу которых составляет выделение главных идей и положений работы; аннотирование — краткая запись общего содержания книги или статьи; цитирование— дословная запись выражений, фактических или цифровых данных, содержащихся в литературном источнике.

            Математические и статистические методы применяются для обработки полученных данных методами опроса и эксперимента, а также для установления количественных зависимостей между изучаемыми явлениями. Они помогают оценить результаты эксперимента, повышают надежность выводов, дают основания для теоретических обобщений. Наиболее распространенными из математических методовявляются регистрация, ранжирование, шкалирование. С помощью статистических методов определяются средние величины полученных показателей: среднее арифметическое; медиана — показатель середины; степень рассеивания — дисперсия, или среднее квадратическое отклонение, коэффициент вариации и др.Для проведения этих подсчетов имеются соответствующие формулы, применяются справочные таблицы. Результаты, обработанные с помощью этих методов, позволяют показать количественную зависимость в виде графиков, диаграмм, таблиц.

Методы педагогического исследования в отличии от методологии - это сами способы изучения педагогических явлений, получения научной информации о них с целью установления закономерных связей, отношений и построения научных теорий.

Выделяются следующие особенности:

1) Этическая направленность (эксперименты, противоречащие нравственным и этическим нормам, запрещены, недопустимость риска для здоровья и развития).

2) Неповторимость.

3) Неоднозначность (т.к. влияют много причин).

4) Конечная цель педагогических исследований - установление закономерности в педагогических процессах.

Принципы выбора методов исследования:

принцип адекватности метода существу изучаемого явления;

принцип совокупности методов исследования.

Классификация методов исследования.

1. Теоретические

2. Научно-прикладные

3. Экспериментальные

Все методы исследования подразделяются

по масштабу:

- глобальный;

- локальный;

- микро-эксперимент.

по цели:

- констатирующий (изучаются существующие педагогические явления);

- проверочный уточняющий (проверяется гипотеза);

- созидательный, преобразующий, формирующий (в процессе создаются

новые педагогические явления).

По месту проведения:

- естественный;

- лабораторный;

Методы исследования различаются

по позиции:

- нейтральной;

- руководителя;

- самонаблюдение;

по открытости:

- открытое;

- скрытое;

по непрерывности:

- непрерывное;

- дискретное.

Методы подразделяются на три группы:

· методы изучения педагогического опыта;

· методы теоретического исследования;

· математические и статистические методы;

Тщательность подбора, разработки и применения конкретных методик не может сама по себе принести успех социально-психологическому исследованию, если утрачено видение проблемы в целом. Главная задача - найти способы, при помощи которых контекст проблемы может быть схвачен в каждом конкретном исследовании. 

{18. Параметрические методы математической статистики

{19. Непараметрические методы математической статистики

Проверка статистических гипотез используется чаще всего для определения принадлежности двух имеющихся выборок к одной и той же генеральной совокупности. Подобные задачи возникают, например, при анализе заболеваемости, эффективности лекарственных препаратов и т.п.

    Гипотеза о том, что обе выборки не различаются, т.е. принадлежат к одной генеральной совокупности, называется иногда нуль-гипотезой. Эта гипотеза принимается, если ее значимость, получаемая на основании статистических критериев, превышает допустимый порог (р > 0,95). Однако при р  < 0,95 отвергнуть эту гипотезу нельзя: ответ остается неопределенным, и для получения окончательного вывода требуются дополнительные данные. Гипотеза отвергается в том случае, если ее значимость (вероятность правильности) становится меньше заданного стандартного порога.

    При проверке статистических гипотез используются параметрические и непараметрические критерии. В первом случае производится сравнение параметров двух выборочных распределений (средних и дисперсий) и делается заключение о равенстве или различии этих параметров в генеральных совокупностях. Гипотеза о равенстве средних значений проверяется по критерию Стьюдента, равенство дисперсий — по критерию Фишера. Описание соответствующих процедур можно найти в любом пособии по математической статистике.

    В последние годы большую популярность приобрели непараметрические критерии (Уилкоксона, Колмогорова — Смирнова и др.). Их достоинством является то, что они не содержат ограничений, вытекающих из гипотез о типе распределения случайных величин, а опираются на единый принцип — непрерывности распределений.

    Эти критерии применимы и для анализа порядковых данных. Однако по сравнению с параметрическими методами они менее чувствительны к различиям в выборках. Чаще всего непараметрические критерии используются для сравнения эмпирического распределения с теоретическим, в частности при проверке имеющейся статистической совокупности на принадлежность к типу нормальных распределений.

20. Методы опроса в структуре психолого-педагогического исследования

Методы опроса психолого-педагогического исследования представляют собой письменные или устные, непосредственные или опосредованные обращения исследователя к респондентам с вопросами, содержание ответов на которые раскрывает отдельные стороны изучаемой проблемы. К этим методам прибегают в тех случаях, когда источником необходимой информации становятся люди - непосредственные участники изучаемых процессов и явлений. С помощью методов опроса можно получить информацию как о событиях и фактах, так и о мнениях, оценках, предпочтениях опрашиваемых.

Методы опроса в психолого-педагогических исследованиях применяются в следующих формах: в виде интервью (устного опроса), анкетирования (письменного опроса), экспертного опроса, тестирования (со стандартизированными формами оценки результатов опроса), а также с использованием социометрии, позволяющей на основе опроса выявить межличностные отношения в группе людей. Кратко охарактеризуем каждый из указанных методов.

Анкетирование - метод эмпирического исследования, основанный на опросе значительного числареспондентов и используемый для получения информации о типичности тех или иных психолого-педагогических явлений. Этот метод дает возможность установить общие взгляды, мнения людей по тем или иным вопросам; выявить мотивацию их деятельности, систему отношений.

Различают следующие варианты анкетирования - личностное (при непосредственном контакте исследователя и респондента) или опосредованное (анкеты распространяются раздаточным способом, а респонденты отвечают на них в удобное время); индивидуальное или групповое; сплошное или выборочное.

Как и в беседе, в основе анкетирования лежит специальный вопросник - анкета. Исходя из того, что анкета -это разработанный в соответствии с установленными правилами документ исследования, содержащийупорядоченный по содержанию и форме ряд вопросов и высказываний, часто с вариантами ответов на них,разработка ее требует особого внимания, вдумчивости.

Целесообразно, чтобы анкета включала в себя три смысловые части: вводную, содержащую цель и мотивировку анкетирования, значимость участия в нем респондента, гарантию тайны ответов и четкое изложение правил заполнения анкеты; основную, состоящую из перечня вопросов, на которые надлежит дать ответ; социально-демографическую, призванную выявить основные биографические данные и социальное положение опрашиваемого.

Анкетный опрос доступный, но и наиболее беззащитный от всякого рода субъективистских “рифов”, метод исследования. Его нельзя абсолютизировать, увлекаться “анкетоманией”. Исследователю целесообразно прибегать к нему лишь в случаях, когда возникает необходимость выявить мнение большого количества незнакомых ему людей. Иначе говоря, нельзя подменять изучение реальных фактов изучением мнения о них. При правильном применении анкетирование может получить достоверную и объективную информацию.

Интервью - разновидность метода опроса, специальный вид целенаправленного общения с человеком илигруппой людей. В основе интервью лежит обычная беседа. Однако в отличии от нее роли собеседников закреплены, нормированы, а цели определяются замыслом и задачами проводимого исследования.

Специфика интервью состоит в том, что исследователь определяет заблаговременно лишь тему предстоящего исследования и основные вопросы, на которые он хотел бы получить ответы. Все необходимые сведения, как правило, черпаются из информации, полученной в процессе общения лица, берущего интервью (интервьюера), с лицом, дающим его. От характера этого общения, от тесноты контакта и степени взаимопонимания сторон во многом зависит успех интервью, полнота и качество полученной информации.

Одним из наиболее эффективных методов сбора информации в психолого-педагогическом исследовании является экспертный опрос, предполагающий получение данных с помощью знаний компетентных лиц. Под ними понимаются не обычные респонденты, а высококвалифицированные, опытные специалисты, которые дают заключение при рассмотрении какого-либо вопроса. Результаты опросов, основанные на суждении специалистов, называются экспертными оценками. Поэтому этот метод нередко называют методом экспертных оценок.

Практика показывает, что чем больше экспертов оценивает, тем более точным является общий результат оценки, тем точнее диагностируется уровень развития личности человека, группы респондентов. Учесть мнение всех экспертов по всем оцениваемым параметрам - задача трудная. С целью оптимизации обобщения мнений экспертов обычно применяются количественные оценки. Экспертам предлагается выразить свое мнение в пятибалльной (иногда трех, четырехбалльной) дискретной шкале.

Метод экспертных оценок называют еще методом ГОЛ (групповой оценки личности). За рубежом его нередко называют “методом компетентных судей" или “рейтингом”.

Социометрический метод (метод социометрии) позволяет выявить межличностные отношения в группелюдей с помощью их предварительного опроса.

Взаимоотношения людей предопределяются объективной необходимостью совместной деятельности (она рождает официальную структуру групп) и эмоциональным фактором - симпатиями и антипатиями (этот фактор порождает неофициальные взаимоотношения в группе). Узнать неофициальные взаимоотношения людей, структуру их взаимоотношений, симпатий и антипатий можно с помощью простых вопросов типа “С кем бы Вы желали провести свободное время? ”, “С кем бы Вы желали работать? ” и т.п. Эти вопросы и есть критерии социометрического выбора. Они могут быть самыми разнообразными.

Таким образом, социометрия позволяет в кратчайший срок вскрыть структуру межличностных отношений в группе, систему симпатий и антипатий, однако она не всегда позволяет достаточно надежно диагностировать содержательные характеристики общения, взаимоотношения.

Тестирование. Личность и группа являются специфическими объектами психолого-педагогического исследования, обладающими существенными особенностями, что предопределяет применение ряда специальных методов изучения продуктивности системы воздействия на эти объекты.

Одним из них выступает - метод тестирования, то есть выполнения испытуемым заданий определенногорода с точными способами оценки результатов и их числового выражения. Этот метод позволяет выявить уровень знаний, умений и навыков, способностей и других качеств личности, а также их соответствия определенным нормам путем анализа способов выполнения испытуемым ряда специальных заданий. Такие задания принято называть тестами.

Тест - это стандартизированное задание или особым образом связанные между собой задания, которые позволяют исследователю диагностировать меру выраженности изучаемого свойства у испытуемого, его психологические характеристики, а также отношения к тем или иным объектам.

Тесты характеризуются следующими признаками: объективностью (исключением влияния случайных факторов на испытуемого), модельностью (выраженностью в задании какого-либо сложного, комплексного целого явления), стандартизированностью (установлением одинаковых требований и норм при анализе свойств испытуемых, или процессов и результатов).

В настоящее время существуют отработанные, качественные, достаточно эффективные тесты, для которых характерны прежде всего высокая валидность и надежность применения.

Надежность теста - его фундаментальная характеристика, показывающая, в какой степени ответы одной и той же личности совпадают при ее неоднократном тестировании данным тестом.

Валидность теста - пригодность теста для измерения свойства, качества, явления, которое хотят измерить.

Возможности метода тестирования нельзя переоценивать. Они должны применяться в совокупности со всеми другими методами. Причем, целесообразно применять не отдельный тест, а их совокупность, то есть батарею тестов, добиваться их высокой надежности и валидности, повышать квалификацию исследователей. Все это создает предпосылки для широкого применения тестовых методик в психолого-педагогических исследованиях.

21. Особенности анкетирования

Анкетирование - это письменная форма опроса, осуществляющаяся, как правило, заочно, т. е. без прямого и непосредственного контакта интервьюера с респондентом.

Оно целесообразно в двух случаях:

1. когда нужно спросить большое число респондентов за

относительно короткое время;

2. респонденты должны тщательно подумать над своими ответами,

имея перед глазами отпечатанный вопросник.

Применение анкетирования для опроса многочисленной группы респондентов, особенно по вопросам, не требующим глубоких размышлений, не оправдано. В такой ситуации уместнее побеседовать с респондентом с глазу на глаз.

Анкетирование редко бывает сплошным (охватывающим всех членов изучаемой общности), гораздо чаще оно имеет выборочный характер. Поэтому достоверность и надежность полученной анкетированием информации зависит, прежде всего, от репрезентативности выборки.

Основным (но не единственным) инструментом этого метода является анкета, состоящая не только из опросного листа и «паспортички», но и из преамбульно-инструктивного раздела. Значимость последнего нельзя недооценивать, т. к. в условиях заочного общения с респондентом преамбула - это единственное средство мотивации респондента на заполнение анкеты, формирования его установки на искренность ответов. Кроме того, в преамбуле говорится о том, кто и зачем проводит опрос, даются необходимые комментарии и инструкции по работе респондента с анкетой.

Главная часть анкеты (опросный лист) разрабатывается не только на основе общих требований к опросу, но и с учетом ряда дополнительных соображений. В анкете можно и нужно ставить:

· не только программно-тематические, т. е. непосредственно вытекающие из исследовательской программы вопросы, но и процедурно-функциональные, нацеленные на оптимизацию хода опроса;

· как прямые, предлагающие респонденту выразить свою собственную позицию, так и косвенные (согласие или несогласие с позиций других людей) вопросы;

· вопросы - «крючки», ставящиеся для того, чтобы респондент «клюнул», т. е. ради поддержания его интереса к заполнению анкеты;

· вопросы - «фильтры», позволяющие выделить часть респондентов по какому-либо признаку, скажем, отсеять ту их часть, мнение которой по следующему за «фильтром» вопросу представляется либо особо ценным, наоборот, либо не очень важным;

· контрольные вопросы, проверяющие устойчивость и непротиворечивость мнений респондентов;

· вопросы - «ловушки», являющиеся разновидностью контрольных, предназначенные для выяснения степени искренности ответов;

· наводящие вопросы, помогающие точнее понять смысл последующего (более важного) вопроса;

· дихотомические вопросы, предполагающие два взаимоисключающих друг друга варианта ответа (типа «да-нет»);

· вопросы - «меню», т. е. с поливариантными ответами, когда респондент может выбрать любое сочетание вариантов ответов;

· вопросы - «диалоги», ответы на которые составляются из ответов воображаемых лиц;

· шкальные вопросы, т. е. такие, ответ на которые заключен в шкалировании чего-либо;

· табличные вопросы, предполагающие ответ в форме заполнения таблицы;

· закрытые вопросы, т. е. сопровождаемые всеми теоретически возможными вариантами ответа, из которых респонденту предстоит выбрать тот, который соответствует его мнению;

· открытые вопросы, не содержащие ни одного варианта ответа, предполагающие, что респондент напишет то, что хочет, в специально отведенном месте анкеты;

· полузакрытые, точнее, частично закрытые (или частично открытые) вопросы, на которые заранее дана лишь часть вариантов ответа, которая может не удовлетворить респондентов, имеющих возможность дописать свой вариант.

Правило воронки.

Подготовка респондента к наиболее важным ответам происходит при помощи постановки в начало анкеты вопросов наиболее простых, которые постепенно усложняются. Переход от простых к сложным вопросам получил название правила воронки. Его применение позволяет респондентам постепенно выработать уверенность в своей способности выступать в такой роли. В середине анкеты располагаются наиболее важные с точки зрения исследования и трудные для респондентов вопросы. Здесь же задаются вопросы, носящие наиболее явный тенденциозный или деликатный характер: факт сопряженности различных ответов позволяет надеяться, что если на более простые предшествующие вопросы респонденты отвечали свободно, без стеснения, то и на эти вопросы они смогут отвечать так же. Работа с такими вопросами - кульминационный момент в анкете. После него, если учесть возможную усталость респондента и спад интереса, ставятся наиболее простые вопросы, не требующие сильного напряжения памяти, воображения, внимания и т. п.

Эффект излучения

Принцип расположения вопросов по мере нарастания их сложности, а затем убывания не лишен и определенных недостатков. Но не только предполагает, что респонденты в своих рассуждениях о предмете опроса будут придерживаться той же системы координат, что и социолог, но и не учитывает, что каждый вопрос воспринимается не сам по себе, не изолированно, а в контексте с другими. Таким образом, признать, что ответы на простые вопросы служат только получению ответов и для респондента оказываются способом разминки, значит существенно упростить процесс работы с анкетой.

Когда все вопросы логически взаимосвязаны и последовательно сужают тему, у респондента возникает определенная установка, согласно которой он будет отвечать на них. Такое взаимовлияние вопросов называется эффектом излучения или эффектом эха и проявляется в том, что предшествующий вопрос (или вопросы) направляют ход мыслей респондентов в определенное русло, создают некоторую мини-систему координат, в рамках которой формулируется или выбирается вполне определенный ответ.

Для того чтобы создать и поддерживать интерес к анкете, снимать возникающее напряжение, переводить респондента от одной темы к другой, в анкете применяются специальные вопросы, получившие название функционально-психологических.

В отличие от содержательных вопросов, нацеленных на получение искомых сведений, и вопросов контрольных, эти сведения контролирующих, функционально-психологические вопросы служат не столько для сбора сведений, сколько для обеспечения отношений общения между исследователем и респондентами. Эти вопросы служат не только побуждением к ответам. Они содержат разнообразную информацию: пояснения и оправдания высказываний социолога, обращенные к респондентам, некоторые комментарии воспринимаются как признаки более симметричного общения, более равноправного обмена информацией.

К функционально-психологическим относятся контактные вопросы и вопросы буферные.

Контактные вопросы. Любое общение начинается с фазы адаптации (приспособления), в процессе которой социолог реализует важные цели: создает у респондентов мотивацию участия в опросе, готовит их к исследованию. Эта фаза предусматривает восприятие обращения к респондентам, знакомство с целью исследования и инструкцией о заполнении анкеты.

На основании первого (нескольких начальных) вопроса анкеты респондент вырабатывает первое впечатление о предстоящей работе. Поэтому здесь чрезвычайно важно, чтобы впечатление это было благоприятным. Как этого достичь с помощью анкетных вопросов?

Социологи осознают значение первого вопроса и стремятся сделать его наиболее простым. Первый вопрос оказывается контактным, т. е. цель его - установление контакта с респондентами. Такая особенность отдельных ответов на вопросы, как их взаимообусловленность, позволяет социологу рассчитывать, что если респондент работает с первым вопросом, он может продолжить работу и с остальными. Следовательно, первому вопросу необходимо уделить особое внимание. Он должен отвечать определенным требованиям.

Во-первых, контактный вопрос должен быть очень простым. Здесь часто используются вопросы, касающиеся сведений чисто событийного характера, например, стажа работы, района местожительства. Уместны также и вопросы о привычках, на которые отвечают чаще всего вполне откровенно, о занятиях в свободное время и т. п. В ряде случаев целесообразным оказывается вопрос об интересе респондентов к тем или иным проблемам.

Во-вторых, контактный вопрос должен быть очень общим, т. е. касаться всех респондентов. Поэтому нежелательно начинать анкету с вопроса-фильтра (даже если оставить в стороне тот факт, что наличие фильтра в начале анкеты свидетельствует об отсутствии исчерпывающей инструкции анкетеру относительно подбора респондентов, здесь важно отметить, что ответ «нет» может негативно повлиять на последующие ответы). Дело в том, что в начале общения стороны, заинтересованные в продлении контакта, открывают как можно больше того, что могло бы быть использовано в качестве их совместной характеристики, как основание для установления согласия относительно наиболее общих целей общения.

Буферные вопросы. Довольно редко анкета бывает посвящена какой-то одной теме. Но даже в рамках одной темы обсуждаются различные аспекты. Резкие и неожиданные переходы с одной темы на другую могут произвести на респондентов неблагоприятное впечатление. Ведь в обычной беседе «перепрыгивание» с темы на тему часто расценивается как показатель низкого культурного уровня человека, его невнимания к собеседнику. Такая манера не столько стремление к общению, на основе учета интересов собеседника, сколько попытка самоутверждения, самовыражения, эгоистичное домогательство - «выжать» из собеседника все, что интересует говорящего. Чтобы освободить респондента от подобных ощущений, в анкете используются так называемые буферные вопросы.

Буферные вопросы предназначены для смягчения взаимовлияния вопросов в анкете. Во-первых, как уже сказано, они играют роль своего рода «мостиков» при переходе с темы на тему. Например, после обсуждения ряда производственных проблем дается такая формулировка: «Свободное время --- это не только время, необходимое нам для восстановления затраченных на работе сил. Прежде всего, это возможность для всестороннего развития личности. Поэтому просим Вас ответить на ряд вопросов о занятиях помимо работы».

С помощью буферного вопроса (в такой функции здесь выступал не собственно вопрос, а преамбула к нему) исследователь поясняет респондентам ход своих мыслей. Тем самым он использует простое и в то же время достаточно эффективное средство для создания у них впечатлений о большей симметричности общения. С помощью таких «буферов» исследователь не просто вежливо предлагает респондентам переключить свое внимание на другую тему, но и поясняет, зачем это нужно. Например, после вопросов о досуге дается такая формулировка: «Большую часть своей жизни человек проводит на работе. Огорчения и радости, успехи и неудачи в труде небезразличны для нас. Поэтому неудивительно, что мы хотим поговорить с Вами о работе».

Во-вторых, буферные вопросы предназначены для того, чтобы нейтрализовать эффект излучения. В таком случае в качестве буферных могут выступать любые содержательные вопросы, не связанные непосредственно с тем предметом, который обсуждается в вопросах, взаимовлияние которых предполагает социолог.

Завершая обсуждение значения функционально-психологических вопросов в конструкции анкеты, отметим: как и любые другие, их формулировки могут оказаться небезразличными для респондентов и, следовательно, влиять на содержание и наличие их ответов. Знание социологом, что тот или иной вопрос выступает как функционально-психологический, еще не обеспечивает того, что он исполнит свою роль так, как предполагается. чтобы предположения социолога оправдались, необходимо проводить специальные методические эксперименты в этой области.

Разрабатывая текст анкеты, следует избегать однообразия используемых типов и форм вопросов, помнить, что каждый из них имеет свои достоинства и недостатки. Не следует забывать при этом и о последующей обработке анкетных данных. Открытые вопросы, скажем, предпочтительнее закрытых, если важно выявить все нюансы мнений респондентов, но полученную на их основе информацию трудно будет формализовать и обработать. Закрытые вопросы, особенно в форме «меню», шкал, таблиц и дихотомий, более удобные для обработки, но не дают гарантии учета полноты респондентских оценок.

Важно подчеркнуть необходимость соблюдения правила системности анкеты. Это нужно, чтобы использовать в научных целях информацию не только по отдельным вопросам, но и ту, которая обнаруживается при осмыслении всех вопросов как взаимодействующих структур, а всех ответов на них как взаимодействующих элементов.

Постановка в анкете контрольных вопросов (в том числе «ловушек») не освобождает ее составителя от логической выверенности последовательности вопросов, обеспечивающей их взаимоконтроль. Традиционная для социологического анкетирования логика построения вопросников строится на принципе «от общего к частностям», при которой последующие вопросы играют роль контрольных по отношению к предыдущим. Но иногда целесообразно руководствоваться противоположным принципом - «от частностей к общему».

Анкета (расследование) является одним из условий получения объективно значимых результатов о различного рода опросах населения. Поэтому разработке анкеты социологи придают особое значение. Созданию анкеты предшествует длительный этап разработки программы исследований, так как в анкету закладываются гипотезы, сформулированные задачи, которые предстоит решить в ходе социологического исследования.

Следует помнить, что при разработке анкеты исследования встречаются трудности, которые социолог непременно должен себе представлять. Если не учитывать особенностей формулировки вопросов в анкете, то даже при соблюдении всех остальных требований методики социологического исследования можно получить ошибочные результаты.

Композиция анкеты

Рассмотрим конкретно композицию анкеты:

Титульный лист;

Водная часть;

Основная (содержательная часть);

Социально - демографическая часть.

Во вводной части описывается цель исследования, характер использования результатов, а также способ заполнения анкеты.

Следует также проанализировать вводную часть:

1. наличие и правильность обращения к респонденту;

2. удалось ли кратко и ясно показать цель опроса?

3. сделано ли указание на то, как будет использоваться результат

опроса?

4. не забыли ли вы сделать указание на анонимность опроса?

5. есть ли указание на то, что делать опрашиваемым с полностью заполненной анкетой?

6. не забыли ли вы поблагодарить опрашиваемых за их работу?

7. удалось ли с помощью вводной части заинтересовать опрашиваемых участвовать в опросе?

Основная часть анкеты содержит блоки вопросов к опрашиваемым.

Как правило, хорошо разработанная анкета может быть заполнена опрашиваемым в течение не более 30 минут. В дальнейшем наступает психологический порог утомляемости и внимание к заполняемой анкете значительно снижается.

22. Особенности проведения интервью

Интервью - разновидность метода опроса, специальный вид целенаправленного общения с человеком илигруппой людей. В основе интервью лежит обычная беседа. Однако в отличии от нее роли собеседников закреплены, нормированы, а цели определяются замыслом и задачами проводимого исследования.

Специфика интервью состоит в том, что исследователь определяет заблаговременно лишь тему предстоящего исследования и основные вопросы, на которые он хотел бы получить ответы. Все необходимые сведения, как правило, черпаются из информации, полученной в процессе общения лица, берущего интервью (интервьюера), с лицом, дающим его. От характера этого общения, от тесноты контакта и степени взаимопонимания сторон во многом зависит успех интервью, полнота и качество полученной информации.

Одним из наиболее эффективных методов сбора информации в психолого-педагогическом исследовании является экспертный опрос, предполагающий получение данных с помощью знаний компетентных лиц. Под ними понимаются не обычные респонденты, а высококвалифицированные, опытные специалисты, которые дают заключение при рассмотрении какого-либо вопроса. Результаты опросов, основанные на суждении специалистов, называются экспертными оценками. Поэтому этот метод нередко называют методом экспертных оценок.

Практика показывает, что чем больше экспертов оценивает, тем более точным является общий результат оценки, тем точнее диагностируется уровень развития личности человека, группы респондентов. Учесть мнение всех экспертов по всем оцениваемым параметрам - задача трудная. С целью оптимизации обобщения мнений экспертов обычно применяются количественные оценки. Экспертам предлагается выразить свое мнение в пятибалльной (иногда трех, четырехбалльной) дискретной шкале.

Метод экспертных оценок называют еще методом ГОЛ (групповой оценки личности). За рубежом его нередко называют “методом компетентных судей" или “рейтингом”.

Особенности проведения интервью, анкетирований

Работы по проведению опросов (анкетирований), как правило, экономически целесообразно поручать профессиональным исследовательским организациям.

     Опросы (интервью) и анкетирование — эти методы сбора информации только с виду кажутся чем-то элементарным...

     ОСНОВНЫЕ ЭТАПЫ проведения опроса, интервью:

     1. ЗНАКОМСТВО С ПРЕДМЕТНОЙ ОБЛАСТЬЮ;

     2.РАЗРАБОТКА АНКЕТЫ И/ИЛИ МАТЕРИАЛОВ ОПРОСА, ПЛАНА ПРОВЕДЕНИЯ ФОКУС-ГРУППЫ (topic guide);

     Для разработки качественной анкеты Специалист должен обладать теоретическими знаниями, опытом работы и способностями. 

     Пути решения этой проблемы достаточно подробно изложены в литературе, которую необходимо найти и освоить. Но теоретические знания никоим образом не компенсируют недостаток или отсутствие опыта.  На большинство вопросов можно получить ответы, но реальная проблема состоит в том, будут ли они что-то значить. Чтобы не получить бесполезных ответов, надо задавать респонденту те вопросы, которые для него имеют смысл..

     Основные правила составление Анкеты: 

• Используйте простые слова, но будьте точны в формулировках. Достаточно часто проблемы возникают из самых простых слов. Пример: “Вы” — очень популярное и «простое» слово, его вставляют в каждый вопрос. В большинстве случаев ясно, что оно относится ко второму участнику беседы. Но это слово может иметь и коллективный смысл. Иногда “вы” нуждается в пояснении “вы лично”, а иногда это не то слово, которое надо использовать. «Где» — простой и конкрентый вопрос, но направлений в ответе на вопрос, содержащий “где”, может быть множество. Возьмем возможные ответы на простой вопрос: «Где вы это читали?» — а) «В газете “Нью-Йорк Тайме”, б) «Дома перед камином», в) «В рекламном объявлении.» Несмотря на кажущиеся значительные различия между этими ответами, некоторые респонденты могут, вероятно, объединить их все вместе: “в рекламном объявлении в «Нью-Йорк Тайм», когда я сидел дома перед огнем камина”. Таким образом «где» практически всегда нуждается в уточнении или замене на варианты, предполагающие однозначный ответ («в какой газете», «где, дома или на работе» …) 

• Избегайте слов, которые все понимают по-разному — «никогда», «изредка», «иногда», «часто» и т.п. 

• Избегайте наводящих вопросов и скрытых альтернатив . Есть анекдот, в котором путем опроса священников решается спор о том, является ли грехом курение и молитва в одно и то же время. Спорящие, честно проведя «опрос», получили прямо противоположные ответы, т.к. один спрашивал: «Можно ли курить во время молитвы ?”, а другой: «Правильно ли молиться, когда куришь ?» 

• Избегайте двухканальных вопросов, то есть вопросов, требующих двух ответов и из-за этого создающих затруднение для респондента (например, когда в одном вопросе просят оценить уровень цен и удобство расположения магазина). 

• Используйте простые и интересные начальные вопросы, на которые респондент может легко ответить, которые его не испугают, не покажутся неинтересными. 

• Используйте туннельный метод (например, вначале задаются общие вопросы, а за ними, если необходимо, следуют вопросы, касающиеся детализации проблемы). 

• Осторожно используйте разветвленные вопросы. 

• Задавайте вопросы о классификационной информации в конце (например, вопросы персональной идентификации, т.н. «демографичка»). 

• Помещайте сложные или деликатные вопросы в конечной части анкеты.  ЧЕРЧИЛЛЬ Г.А., «МАРКЕТИНГОВЫЕ ИССЛЕДОВАНИЯ»

3. РАСЧЕТЫ ПАРАМЕТРОЛВ ВЫБОРОК, Т.Е. НЕОБХОДИМО ОПРЕДЕЛИТЬ, КОГО И В КАКОМ КОЛИЧЕСТВЕ НЕОБХОДИМО ОПРОСИТЬ, ЧТОБ РЕЗУЛЬТАТЫ БЫЛИ ПРИГОДНЫ ДЛЯ АНАЛИЗА;

     Определение необходимого и достаточного размера выборочной совокупности - большая и серьезная проблема. Исследовательская практика доказывает, что использование аппарата математической статистики позволяет снизить неопределенность, но не решить проблему.  Следует взять за правило следующие требования: «объем выборки должен обеспечивать не менее 100 наблюдений для каждой первостепенной и не менее 20-50 наблюдений для каждой второстепенной классификационной составляющей». Первостепенные классификационные составляющие соответствуют наиболее критичным, а второстепенные – наименее критичным ячейкам перекрестной классификации, принятой в данном исследовании.   

4. ФОРМИРОВАНИЕ ВЫБОРОК;

     Необходимо определить кого и в каком количестве необходимо опросить, чтобы результаты опроса были пригодны для анализа.       Теоретические расчеты и исследовательская практика доказывают, что для получения достоверных данных о мнении и предпочтениях населения такого крупного города, как Санкт-Петербург, достаточно опросить 700-800 человек. Большинство опросов населения Санкт-Петербурга проходят на выборках объемом до 1500 человек. Однако, утверждение, что чем больше человек опрошено, тем лучше результаты, не совсем соответствует действительности. Точность и достоверность результатов зависят, прежде всего, не от объема выборки, а от ее состава или структуры. Состав (структура) выборки определяется способом ее формирования. Способ формирования гораздо более значимая характеристика выборки, чем объем. 

5. ИНСТРУКТАЖ ИНТЕРВЬЮЕРОВ (постановка задачи);

6. ПРОВЕДЕНИЕ ИНТЕРВЬЮ ИЛИ АНКЕТИРОВАНИЯ;

Необходимо, чтобы кто-то грамотно и честно реализовал разработанную программу исследования. Необходимы интервьюеры, т.е. люди, непосредственно занимающиеся сбором первичной информации.  Интервьюерами НЕ являются студенты, школьники, знакомые, желающие подзаработать, или сотрудники фирмы, временно привлекаемые для сбора первичной информации. То, что эти группы лиц могут делать и иногда делают, только с виду похоже на работу интервьюера. Интервьюер — это профессия. Залог качественной работы интервьюеров — достойная оплата их труда и жесткий контроль. Текучесть кадров в штате интервьюеров — большой минус. Опыт работы — плюс.

7. КОНТРОЛЬ КАЧЕСТВА ВЫПОЛНЕНИЯ ПРОЦЕДУР СБОРА ИНФОРМАЦИИ;

8. ФОРМИРОВАНИЕ СВОДНЫХ БАЗ ИЛИ ЭЛЕКТРОННЫХ ТАБЛИЦ (ввод информации в компьютер);

9. ОБРАБОТКА И АНАЛИЗ РЕЗУЛЬТАТОВ.

Что делать с ворохом анкет? Очевидно, что необходимо посчитать общие распределения, определить зависимости и т.п. Можно поручить практикантам и/или студентам посчитать «галочки», можно ввести информацию в произвольной форме в любую электронную таблицу и делать запросы. Когда количество анкет мало, то эти методы вполне пригодны. Но если у Вас больше сотни анкет, то подобные действия отнимут у Вас «уйму времени».

Вывод из этого «перечня проблем» достаточно очевиден: маркетинговые исследования, как правило, экономически целесообразно поручать профессиональным исследовательским организациям.

Исследовательская фирма это, прежде всего ИССЛЕДОВАТЕЛЬСКАЯ ИНФРАСТРУКТУРА, а именно:  а) специалисты, обладающие опытом работы и специальными знаниями;  б) профессиональные интервьюеры, а также система управления и контроля за их работой;  в) материальная база и вспомогательные информационные массивы, а также специальное программное обеспечение 

23. Экспертный опрос

Экспе́ртный опро́с — разновидность опроса, в ходе которого респондентами являются эксперты — высококвалифицированные специалисты в определенной области деятельности.

Метод подразумевает компетентное участие специалистов в анализе и решении рассматриваемой проблемы.

В практике социологических исследований используется:

1. для прогноза развития того или иного явления

2. для оценки степени достоверности массового опроса

3. для сбора предварительной информации о проблеме исследования (зондаж)

4. в ситуациях, когда массовый опрос простых респондентов не возможен или не эффективен.

Надёжность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений.

Сама процедура предполагает:

• анализ исследуемой ситуации

• выбор группы экспертов

• выбор способа замера экспертных оценок

• процедуру непосредственной оценки работы экспертов

• анализ полученных данных

Может оказаться необходимой также:

• проверка входных данных, используемых для экспертных оценок

• изменение состава экспертных групп

• повторные замеры по тем же вопросам с последующим сопоставлением результатов с объективной информацией, полученной другими методами.