Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
KL_MiMSI.doc
Скачиваний:
81
Добавлен:
10.05.2015
Размер:
2.88 Mб
Скачать

Тема 7. Квалиметрические ( социальные) измерения.

План.

  1. Понятие измерения. Способы проверки первичного измерения.

  2. Шкалирование. Типы шкал.

Измерение - это процедура, с помощью которой измеряемый объет сравнивается с неким эталоном и получаем числовое в определенном масштабе или шкале.

Социальные измерения называют часто квалиметрическими, т. е. условно количественными аналогами качественных отношений.

Проблема только на первый взгляд чисто математическая.

Чтобы приписать числа социальному объекту, надо понять его структуру, найти соответствие между ней и инструментом измерения, т. е. это задачи качественно-количественного анализа.

Нахождение эталона измерения осуществляется в 4 стадии. Эти стадии -предпосылки надежности шкалы.

1 стадия- Качественная классификация. Характер ценности подразделяется по потребностям, сферам деятельности, социальным функциям.

2 стадия. Поиск протяженности выделенных в качественнном анализе свойств. Прерывна или непрерывна протяженность? Можно ли представить их ввиде различных последовательных состояний измеряемого качества?

Например, ценность "деньги" вытягивается в несколько континуумов

1 сильная - средняя - слабая (ориентация)

2 устойчивая - малоустойчивая - неустойчивая

3 господствующая - рядоположенная (наряду с денежной ценностью образование) - подавленная

4 центральная - периферийная (ядро).

3 стадия. Установление эмпирических индикаторов. Индикатор - внешне хорошо различимый признак тех свойст» объекта (ценность), которые поддаются расположению в континуум,

Например порядковое место от 1 до 18. Сильные, средние и слабые ориентации, найти сложные. Предлагается для этого 3 ситуации.

Для изучения занятий в сфере досуга

1. неограниченное число выборов

2. 6 выборов

3. не 3 выборов

Индикатор сильной ориентации во всех трех ситуации. Средний - в первой и второй. Слабый - только при широком диапазоне.

4 стадия. Уяснение, все ли единицы измеряемого объекта укладываются вполне в ряд, все ли они отличаются свойством занимать определенное место в континууме отношений по принятым индикаторам. Например нормы выработки применимы не ко веем работникам , а только к сдельщикам. Шкала.

Способы проверки на надежность. 1) Логическое рассуждение на основе здравого смысла.

Бюджет времени в исследовании Косовой. В % трудно указать виды деятельности по дням будням и выходным в часах. Средними значениями люди не привыкли мыслить.

2) Тест по эталонной группе.

Ср-т, законопослушных и преступников.

3) Поиск независимого критерия.

ГРАФИК

Бели оы распределение было бы Гауссовым, то численность име-Ющая много и мало пудликаций Была бы примерно равна.

В социологии применение негауссовых распределений сложно так как невозможно использовать закрытые шкалы, и так как в большинстве случаев нет "естественных" эталонов измерния. Число публикаций один из таких естественныхэталонов.

Если мы изобретаем шкалу, то недопустимо оставлять открытым один из ее полюсов,

4 связано с особой природой социальных процессов, в которых статические и детерминистические закономерности находятся в динамическом единстве.

Социальные процессы на определенных промежутках времени предсказуемы, но в кризисных состояниях социума это не так. Внешние и внутренние воздействия могут вызвать неожиданныеизменения.

Шкала определяется как измерительная часть инструмента, оценивающая эмпирические индикаторы ( внешние признаки измерения социальных характеристик ), расположенные в определенной последовательности по позициям.

Характеристики индикаторов, выступают в качестве ответов на вопросы.

Шкала — способ упорядочения изучающихся социологических характеристик, описывающий изучаемые явления в качественно-количественной определенности

Формы шкал:

1) вербальная-словесная;

2) числовая;

3) графическая.

Наиболее распространенная классификация шкал заключается в том, что они упорядочены по мере повышения их способности удовлетворять требованиям более многообразных операций с числами.

В совокупности с этой классификацией выделяют 2 класса и 5 типов шкал.

1. Номинальные: 1 Номинальная шкала (упорядоченная шкала наименований);

2 Частично упорядоченная номинальная шкала;

3 Порядковая шкала (полностью упорядоченная шкала) (шкала рангов).

2. Метрические: 1 Интервальная шкала (шкала равных интервалов),(например Терстоуна);

2 Идеальная (абсолютная) шкала (шкала пропорциональных оценок). (Ядов).

Названия бывают полные и сокращенные. Иногда шкалы называют по именам их создателей (Богордуса, Лайкерта, Тубмана) все они укладываются в предложенную классификацию.

Иногда выделяют 3 основных типа шкал: номинальные, порядковые (ранговые), интервальные.

Номинальная, "холодно" или "тепло", выделяют общие признаки свойства (безотносильно к конкретной величине t).

Ранговая шкала повторяющихся периодически в строгой последовательности свойств.

Холодно — тепло - горячо.

Интервальная шкала основана на искусственных эталонах, t от 0 до 100 Возраст от 0 до 100 лет

Охаракткризуем в целом.

Номинальная измеряются в основном объективные свойства респондентов:

возраст, семейное положение, род занятий, характер труда.

Неупорядоченная шкала наименований. (Используется для обозначения удовлетворенности работой, составление равенства между явлениями, которые включены в один класс.) Составляющие

содержание труда 30% 76 человек условия труда --------

организация труда -------

всего в комплексе 65% близость работы от дома Всумме составляют > 100% Операции с числами

1) процентирование и абсолютное значение,

2) поиск средней тенденции по модальной частоте (М). Модальной называют группу с наибольшей численностью. Виды диаграмм распределения численности:

столбчатая диаграмма, гистограмма, ленточная диаграмма, горизонтальная столбчатая диаграмма, круговая диаграмма.

Установление взаимосвязи между рядами свойств, расположенных неупорядоченно (применяются перекрестные таблицы). Модель таблицы

Здесь помимо простой процентовки можно подсчитать коэффициенты Чупрова, Юла.

Частично упорядоченная шкала. Это простейший показатель обоснованности вывода о наличии или отсутствие связи между сопоставляемыми характеристиками, т. е. связанности качественных классов. Используется для установления отношений равенства между явлениями в каждом классе и отношений последовательности в терминах > и < между несколькими, но не всеми классами. Например, труд ручной, физический без применения техники;

ручной с применением инструментов; с применением техники на автомобильных линиях (наладчики)

Связан с творческим проектированием . Используется как промежуточный этап для разработки полностью упорядоченных шкал. Используется редко.

Все операции, перечисленные выше, а в случае приведения к полностью упорядоченным шкалам, все операции используются ниже для других шкал.

Порядковая (полная упорядоченная шкала), она же ранговая шкала. Устанавливает отношения равенства между явлениями в каждом классе и отношения последовательности в понятиях > и < между всеми без исключения классами.

Пример:

Одобряете ли вы реформы в России? Удовлетворены арботой? целиком одобряю; -вполне удовлетворен;

в основном одобряю; -удовлетворен;

в основном не одобряю; -скорее удовлетворен, чем не удов­летворен;

совершенно не одобряю; -скорее не удовлетворен, чем удов­летворен;

затрудняюсь ответить- -не удовлетворен;

-совершенно не удовлетворен;

-затрудняюсь ответить. Употрбляется при опросах общественного мнения, часто дл» выявления интенсивности оценок каких-либо свойств, суждений, событ^^^репени согласия или несогласия с предложенными утверждениями.

Дисперсия - величина, равная среднему значению отклонений опт - х значений признаков от среднего арифметического.

3. При оценке связей все перечисленные выше коэффициенты парных и множественных корреляций.

5 Шкала пропорцианальных оценок. Отсчет начинается с экспериментально установленного нулевого пункта. Применяют в точных науках. Применяется для измерения физиологических и психических свойств человека, (например, среднестатистический порог восприятия звуковых колебыний, психические реакции (порог различения сходных фигур)).

В социологии шкалы имеют весьма ограниченное применение .Используются для измерения протяженностей во времени и пространстве для отсчета натуральных единиц (денежных единиц, продуктов деятельности (шт.), поступков количество правонарушений, участия в забастовках все доступные математике операции с числами.

Требования к шкале

Валидность (шкала измеряет именно то свойство явления, которое мы хотим измерить). Например, Активность в работе;

Неправильно - временное поручение

- в работе не участвую Правильно - активно участвую, проявляю инициативу

- выполняю часть поручений

- не участвую

Полнота: в вариантах ответа на вопрос учтены все значения индикатора. Из каких источников вы узнаете о развитии политических событий?

- радио

- пресса

- ТВ

Но, есть еще друзья и знакомые.

Чувствительность шкалы — способность шкалы выявлять отношение респондентов к изучаемому явлению с той или иной степенью дифференциации

- удовлетворен

- вполне (вцелом) удовлетворен

- скорее удовлетворен, чем не удовлетворен

- не удовлетворен

- скорее неудовлетворен, чем удовлетворен

- вцелом неудовлетворен

- совсем неудовлетворен

- не знаю

- затрудняюсь ответить

Рассмотрим отдельные шкалы

2 Порядковая шкала Лайкерта

3 Упорядоченная номинальная шкала Туттмана

4 Шкала равных интервалов Лтерстоун

Четыре ограничения квантификации первичных социальных характеристик. Применение количественных методов и использование статистики создает впечатление математической точности выводов.

Но квантификация социальных явлений накладывает немало ограничений на собственно математические операции с их измерениями.

Математик работает с простыми абстракциями, в основе которых наличие или отсутствие данного свойства. Социолог должен помнить, что в действительности скрывается за суждениями, которыми мы оперируем.

Существуют 4 ограничения квантификации первичных социологических характеристик, 1. Соразмерность количественных показателей, фиксированных разными

шкалами в рамках одного исследования. Более сильная шкала отличается от более слабой тем, что допускает более широкий диапазон операций с числами. Все, что допустимо для слабой шкалы, допустимо и для сильной. Но не все, что допустимо для сильной, допустимо для слабой. Поэтому смещение мерительных эталонов разного типа приводит к тому, что не используются возможности сильных шкал! в этом случае все опрации с числами должны удовлетворять требованиям, предъявленным к относительно слабым шкалам. Исключение соствляют случаи, когда социолог сопоставляет данные, измеряемые разными шкалами и рассматривает их независимо друг от друга,

2 - связано с формой распределения величин, фиксированных описанными шкалами, которое препопагаетсд нормальным

График

Нормальное Гауссово распределение имеет вид симметричного колокола, у скошенного поднят правый и опущен левый конец (хвосты распределения),

Для нормального распределения оценки меры рассеяния совпадений, т. е. М = Me = Мо, а в скошенном "хвосте " распределения не влияют на среднее арифметическое, которое сдвигается в стороны еще больших значений (М;

другое обозначение среднего арифметического - х).

Значит 2- ое ограничение - особенности одномерных, а тем более сложных распределений. Оно заключается в том, что необходимо внимательно изучать форму распределения с точки зрения его уклонения от нормального, симметричного.

3 состоит в том, что в социальных процессах нередки явления, измерения которых надо производить шкалами открытого типа, где полюс нат. Значений не фиксирован и ней может принимать любую величину.

Например заработная плата, всегда гауссово распределение, хотя и скошенное, так ка есть min и max заработная плата, или число детей в семье.

Но при оценке многих субъективных состояний и показателей человеческой активности, например результатов научной продуктивности ученых, предельного максимального значения трудно предположить достоверно.

Это так называемое распределения Ципфа.

Поэтому приходится прибегать к построению стохастических, динамических моделей на основе сценариев возможного развития определенных процессов. Такие сценарии прогнозируются для разных временных интервалов , которые могут быть существенно разными по составу участвующих факторов и по характеру связей между ними.

Преимущества квантификации и использование жестких критериев надежности данных неоднозначны и могут обернуться упрощением , а то и исключением социальной реальности (например, сложно замерять негативные и позитивные отклонения).

Вывод. Количественный анализ имеет свои пределы, за которыми утрачивается качество, глубина и полнота осмысления действительности. Социолог обязан уметь строить гипотезы на основе несистематизированных впечатлений, переходить к более систематизированной проверке.

Рекомендации.

Определить какие свойства могут быть фиксированы в количественных измерениях, а какие только в качественных.

Определяя тип шкалы соизмеряйте его не только с природными объектами, но и с целями исследования (изменяя – напрасная трата энергии, )

Медиана – значение признака у той единицы совокупности, которая рассмотрена в середине упорядоченного ряда

ГдеXo – начало (нижней границы медианного интервала, ¶ - величена медианного интервала. n=Sni сумма частот (частостостей) интервалов nH – частота (частость), накопленная до медианного интервала, nMe – частота (частость) медианного интервала.

Если в ряду четное число членов 2к , то медиана равна средней арифметической из двух серединных значений; признак при нечетном 2к+1 медианным будет значение признака у (к+1) .

Варианты, которые делят вариантный ряд на 4 равные по объему совокупностей, называются квартилями. НижнийQ1/4 и верхний Q3/4 квартили.

Мода- часто встречающееся значение признака , т.е. значение с которым наименее вероятно можно встретиться в серии зарегистрированных наблюдений.

В дискретном ряду – это варианта с наибольшей частотой , в интервальном модельным является класс с наибольшим числом наблюдений.

Значение моды определяется по формуле

ГдеXo – нижняя граница модального интервала, d- величина интервала, n` , частота интервала, предшествующего модальному; nmo – частота модального класса, n + - частота интервала, следующего к модальным.

Лекция 8. Качественные (мягкие) методы исследования

ПЛАН

1. Количественные и качественные методы исследования: преимущества и недостатки.

2. Стадии исследования с использованием качественных методов.

3. Исследовательские стратегии.

ВВЕДЕНИЕ. Описанные методы шкалирования, а также методы, использующие статистические закономерности, позволяющие перевести качественные характеристики в количественные (например, анкетный опрос и другие формализованные методы, с которыми мы еще познакомимся подробно) относятся к количественным или жестким методам. Их теоретико-методологическая основа - предположение о способности научного знания разумным образом упорядочить социальную реальность, построить ее стройную теорию. В западной и отечественной социологии использование «жестких» методов в 60гг. достигает своего апогея. (90% публикаций в ведущих социологических журналах основывались на количественных методах).

В настоящее время ситуация меняется. Методы жесткие выступают в содружестве с мягкими (качественньми).

Мягкие методы основаны на том, что не разрабатывается заранее жесткая схема гипотетических суждений, которые проверяются количественными методами, социология не старается обеспечить статическую представительность данных, он стремится к более глубокому пониманию и обеспечению социологических явлений сначала на уровне здравого смысла и далее в рамках социологической теории.

Пример. Включенное наблюдение, глубокое интервью относительно жизненного пути респондентов, фокус группы, прямое наблюдение действий, высказываний, жестикуляций с расшифровкой их личного и группового смысла, исследование cose-study напр., забастовок.

НЕДОСТАТКИ КОЛИЧЕСТВЕННЫХ И ПРЕИМУЩЕСТВА КАЧЕСТВЕННЫХ

МЕТОДОВ.

1. Социологи разочаровались в возможности социологических теорий. Понять и объяснить «человеческую сущность» социальных явлений и процессов. Классическая социология исходит из концепции общества как системной целостности.

Индивид классической социологии - это представитель социального типа. Переход к пониманию личностного смысла его деятельности в языке социальных теорий невозможен. Для этого надо обращаться к понятиям психологии, культурологии или использовать язык обыденных представлений о поведении человека.

4.

2. Если мы хотим понять человека, мир его восприятия внешней реальности, мир самосознания, надо приблизится к адекватному пониманию смысла, который человек включает в различные действия и суждения. Но не всегда возможна рационализация поведения (вспомните теорию Парето Т. нелогичного действия). Не всегда действия индивида осознаются им самим. Для расшифровки глубинных смыслов прибегают к гибким, за ранее непрограммируемым способом ведения исследования. (Например, фокус группы), стараются добиться сопереживания с другими действующими лицами в данной ситуации. ( Например, можно провести анкетный опрос и попросить установить рейтинг социальных проблем). На первое место выйдет рост цен, инфляция. После этого фокус группы. Почему именно так ответили на этот вопрос? Объясняет, что люди озлоблены, относительная напряженность, нет уверенности в завтрашнем дне и т.д. Или используется ОМИ. Затем эти объяснения в ходе применения мягких методов подкрепляют работы, полученные, при помощи жестких методов, и используются впоследствии для интерпретации данных при подготовке отчета.

3. Количественные методы хороши для проверки уже сформулированных гипотез или оценки практических действий программ, если мы хотим выявить и сформулировать социальную проблему, то количественные методы мало эффективны. Если мы хотим определить, какие респонденты, будут голосовать за каких кандидатов, то вполне возможен анкетный опрос, если же мы хотим выяснить есть ли у нас демократическое общество, каковы его завоевания, то лучше провести сначала фокус группы.

2 ВОПРОС

Часто исследователи наталкиваются на факты, явления. Которые не вписываются в логику исследования, например, семьи создают и рожают детей несмотря на сложности нашей российской действительности. В отчете исследователи не упоминают о множестве ложных ходов, ошибок, случайных ошибках, догадках и т.п. Реальный процесс развития знания отличается от его логической реконструкции.

Социолог, идя от живого созерцания к абстрактному мышлению, должен сомневаться, критиковать себя, в то же время не забывать об основных положениях теории.

СТАДИИ

ОСОЗНАНИЕ ПРОБЛЕМНОЙ СИТУАЦИИ.

Обычно проблема выявляется путем изучения литературы зондажей. При исследовании качественньми методами проблема сформулирована как «столкновение с непонятным феноменом»

Немецкий социолог Михельс столкнулся с тем, что внутренняя структура СДПГ достаточно жесткая и авторитарная, а ее программа демократическая и либеральная. Он выявляет, что происходит бюрократизация организации важности. Вывод. Существует двойная мораль. Если напрямую, то говорят тебе то, больше всех надо, если подводят под вынужденные действия, то оно принимало (если не сделаем, то будет хуже).

Добросовестность сохраняет свою значимость реально регулирующий при условии свободы самоорганизации и справедливой оплаты труда.

4 ПРОДОЛЖЕНИЕ ИССЛЕДОВАНИЯ (ВЫБОР ИССЛЕДЛОВАТЕЛЬСКИХ

СТРАТЕГИЙ).

3 .ХРОНОЛОГИЧЕСКАЯ

Не панель, не массовые повторные исследования, а кейсситации, наблюдение отдельных случаев, групп людей, семей с неоднократным к ним возвращением. Идея была развита представителями Чикагской школы при изучении соц - го статуса. Используется для изучения самоидентификации в процессе адоптации с общественньм движением, людьми, партиями (казачество, например прежние основы самоидентификации утратили свое значение советский народ, КПСС, комсомол для широких масс.)

Используется для изучения социологической мобильности.

Исследование «дна» и элиты общества.

Качественные методы

Толстова Ю.Н., Мисленников Е.В. Качественная и количественная стратегия. Социс №10 – 2000.

Онтологические факты – то, на что направлено внимание познающего, что существует независимо от исследования.

Гносеологические факты – те события, которые существуют только в рамках конкретной идеологии.

В количественном исследовании изучаем то, что лежит на поверхности.

В качественном – глубоко проникаем в причины.

В количественном – имеем дело с развитием представлений об объекте.

В качественном – о предмете.

Мы восходим к понимающей социологии Вебера и Дильнева, Томас и Знанецкий.

Качественное исследование.

  1. Осуществляется первичное осмысление текста, затем плотный, формализованный анализ текста.

  2. Затем – переход к критической теории. От позиции соучастника мы переходим к критическому суждению.

Выводы.

Любое исследование можно рассматривать качественно, а рождение признака – можно рассматривать в том контексте, что оно всегда связано с качественным исследованием, но анализ значений признаков – это количественный анализ. Этот анализ является частью антимира любого качественного исследования.

Нельзя делить социологов на «качественников» и «количественников», идет процесс переплетения количественного и качественного.

QQ дискуссия.

О.Б. Клюшкина. Построение теории на основе качественных данных.

Аналитическая индукция (У. Робинзон)

Выделяя 6 …..

  1. Дается приближенное определение феномена.

  2. Формируются гипотетические объяснения феномена.

  3. Исследуется один случай с целью определения, соответствует ли гипотеза фактам.

  4. Если гипотеза не соответствует фактам, то происходит либо пересмотр гипотезы, либо переосмысление феномена, либо исследуемый случай исключается, потом в определенном смысле уточняется.

  5. Достаточный уровень определенности модели достигнут после того, как проведены несколько случаев, но обнаружение фактов противоречит объяснению. Требуется пересмотр гипотезы.

  6. Установление универсальных временных связей.

  7. Случаи, не подлежащие описываемой определением области, проверяются на их соответствие конечной гипотезе.

- Обоснованная теория имеет солидную методологическую базу

Лекция 9. Выборочный метод

В социологии имеются давние традиции по применению методов статистического наблюдения. В настоящее время без них практически немыслимо проведение эмпирических социологических исследований.

Тема. Выборочный метод.

Выборки – часть, по которой можно судить о целом.

Различают: - вероятностные (случайные)

- целевые

I. Вероятностная связана с понятием выборка.

Вероятность=отношение числа ожидаемых событий к числу всех возможных.

1.Собственно – случайный отбор

случайно – бесповторный

случайно – повторный

2.Механическая. Все элементы генеральной совокупности сводят в список , из него отбирается соответствующее число респондентов

3.Метод серий ной выборки.

Где i – число серий, Ni – число единиц в серии.

4.Гнездовая выборка. Не отдельные респонденты, а группы

II. Целенаправленная .

1.стихийная – почтовый опрос

разновидность(снежный ком), когда ищут по подписке.

2.Метод основного массива (60-70%)

3.Квотная . Данные о том или ином признаке выступают в качестве квотного числа.

Выборка. Если < 5000 , то 500 теневая совокупность выборки. Если >5000 , то 10% от тен. совокупности значения в качестве квотн.

Репрезентативность – по выделенным параметрам она должна приближаться к соответствующим пропорциям в генеральной совокупности.

Целевые выборки.

Ошибка выборки.

Многоступенчатые

Одноступенчатые

Надежность (ошибка выб.)

  1. повышенная – до 30%

  2. обыкновенная 3-10%

  3. приближенная 10-20%

  4. ориентировочная 20-40%

  5. прикидочная >40%

Объем выборки зависит:

1.от меры однородности социального объекта.

2.от степени группировок анализа.

3.от требуемой надежности исследования.

В целом эти методы могут быть разделены на сплошные и несплошные. Сам по себе объект исследования может быть очень большим: десятки и сотни тысяч людей, составляющих население региона, области, города; тысячи работников промышленного предприятия, научного учреждения или учебного заведения и т. д. Естественно, исследователь заинтересован опросить каждого из них. Однако есть ли в этом необходимость? Например, если анкетному опросу подлежит группа студентов численность в 20-30 человек (и даже кино-аудитория в 200-500 человек), то опрос действительно может быть сплошным, то есть охватывать каждого.

Более затруднительно проведение сплошного опроса, если предметом исследования становится, например, изучение эффективности рекламной компании в городе, районе, области. Поскольку в таких случаях речь идет о многих тысячах человек, соответственно возрастает число работников, занятых сбором информации, проверкой годности анкет, тем, естественно, больше времени требуется на их обработку, больше тратится средств на исследование.

В связи с этим используются методы несплошного наблюдения, которые очень хорошо себе зарекомендовали в различных областях науки и техники.

Наиболее часто в социологии используются три метода несплошного наблюдения:

  1. Монографический.

  2. Метод основного массива.

3. Выборочный.

Монографический метод, строго говоря, выходит за рамки чисто статистического наблюдения, ибо наряду с фиксацией статистических данных предполагает детальное качественное описание массовых явлений. Выбираемая для монографического исследования часть объекта очень часто является типичной, в определенном смысле, для всего объекта или для важнейших его элементов. Также он оказывается весьма полезным при изучении объектов в социальном эксперименте, когда намечаются ростки прогрессивных явлений.

Методом основного массива, как правило, изучается большая часть объекта социологического исследования или его важнейшие элементы. Этот метод находит применение, например, в некоторых социологических исследованиях, проводимых с помощью контент - анализа.

Наиболее же широкое применение в социологических исследованиях получил выборочный метод. Социологические исследования обычно бывают выборочными, поскольку сплошной охват изучаемой совокупности требует недопустимо высоких материальных и временных затрат. Этому методу и посвящена наша сегодняшняя лекция. Теперь перейдем конкретно к ней и обозначим следующие пункты плана, которые нами будут подробно рассмотрены.

ПЛАН.

I. Выборочный метод: понятие и сущность.

II. Типы выборки.

III. Простой случайный отбор.

Итак, вопрос первыйвыборочный метод: понятие и сущность.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]