эксперты будут отвергать практику принятия решений, которая лишает их возможности «включать» свою интуицию. До тех пор пока алгоритмы далеко не идеальны – и пока во многих сферах объективная неосведомленность внушает, что они никогда не будут идеальны, – ничто не заменит человеческих суждений. Вот почему их так необходимо улучшить.
К разговору об объективной неосведомленности
«Где есть прогноз, там есть и неосведомленность, и, возможно, больше, чем мы думаем. Откуда нам знать, что эксперты, которым мы доверяем, чаще попадают в цель, чем шимпанзе, метающая дротики в дартс?»
«Когда вы доверяете интуиции, прислушиваясь к внутреннему голосу, вместо того чтобы анализировать факты, вы отрицаете объективную неосведомленность».
«Модели более совершенны, чем люди; однако их превосходство незначительно. Чаще всего мы сталкиваемся с экспертными оценками средней руки и лишь ненамного лучшими моделями. И все же надо стремиться к лучшему, а лучше все-таки модели».
«Возможно, нас никогда не удовлетворит модель, которая будет принимать решения, – ведь мы привыкли доверять лишь своей интуиции. Так давайте хотя бы постараемся усо-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
вершенствовать наш процесс принятия решений».
Глава 12 Долина правдоподобности
Зададимся более глобальным вопросом: как мы чувствуем себя в мире, в котором многие проблемы легко решаемы, а вот к другим не дает подступиться объективная неосведомленность? Прежде всего, там, где объективная неосведомленность непреодолима, мы должны со временем осознать бесполезность магического кристалла применительно к событиям в жизни людей. Однако жизнь ничему нас не учит. Наоборот, как показали предыдущие главы, мы демонстрируем постоянную готовность давать смелые прогнозы на будущее на основе лишь жалких крох полезной информации. В данной главе мы обратим внимание на распространенное заблуждение, что события, которые никак нельзя спрогнозировать, тем не менее можно понять.
Что означает в действительности такая уверенность? Мы обсудим этот вопрос в двух контекстах: социологическом и применительно к повседневной жизни.
Прогнозирование жизненного пути
В 2020 году группа из 112 исследователей под руководством Сары Макланахан и Мэтью Салганика, профессо-
ров социологии Принстонского университета, опубликова-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ла в журнале Pro-ceedings of the National Academy of Sciences
необычную статью 143. Исследователи задались целью разобраться, представляют ли в действительности социологи, как в будущем сложится жизнь социально уязвимых семей. Насколько успешно социологи могут предугадать события в жизни семьи, зная то, что они знают? В частности, какого уровня точности могут добиться эксперты в своих прогнозах, используя информацию, которую обычно собирают и затем применяют в своих исследованиях социологи? В рамках нашей терминологии целью исследования было измерить уровень объективной неосведомленности, который остается после того, как социологи сделали свою работу.
Авторы статьи воспользовались материалами программы FFCWS11 – широкомасштабного долгосрочного исследования, в ходе которого детей наблюдали с рождения до пятнадцати лет. Огромная база данных содержала несколько тысяч элементов информации о семьях, где росли почти пять тысяч детей из крупных городов США. Большинство детей воспитывались не состоящими в браке родителями. Эти данные включали в себя такие сведения, как уровень образования и род занятий бабушек и дедушек, состояние здоровья всех членов семьи, показатели экономического и социального положения, ответы на множество анкет и тесты на когни-
11 FFCWS (Fragile Families and Child Wellbeing Study) – «Исследование уязви-
мых семей и благополучия детей». Исследования в рамках программы проводились с 1998 по 2020 год.
тивные установки и личностные качества. Социологи сумели как нельзя лучше распорядиться таким обилием ценной информации: на основе полученных от FFCWS данных было написано более 750 научных статей. Во многих из этих документов анализировались социальные условия, в которых воспитывались дети, чтобы объяснить их последующие достижения и неудачи: например, успехи в средней школе или привлечение к уголовной ответственности.
Исследования принстонской команды сосредотачивались на прогнозируемости развития событий по шести различным категориям к тому времени, когда ребенку исполнится пятнадцать лет, таким как выселение из квартиры, средний балл в школе и общая оценка материального положения семьи. Организаторы использовали метод, названный ими «метод типовых задач». Они пригласили команды ученых для состязания в вынесении прогнозов по шести выбранным категориям с использованием доступного массива данных о каждой семье, участвовавшей в программе FFCWS. Подобный тип задач нестандартен для социологии, хотя вполне обычен для информатики, где команды часто приглашают для состязания, например, в машинном переводе стандартных текстов или в распознавании животных по большому набору фотографий. Достижения команды-победителя устанавливают планку для следующих состязаний. В социологических задачах прогнозирования, где невозможно ожидать быстрых улучшений, разумно использовать в качестве меры
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
предсказуемости развития событий наиболее точный прогноз из всех, участвовавших в состязании, – другими словами, остаточный уровень объективной неосведомленности.
Исследование вызвало заслуженный интерес среди специалистов. Последний доклад представил результаты 160 высококвалифицированных команд, выбранных из внушительного международного пула претендентов. Большинство из выбранных конкурентов использовали методы машинного обучения и позиционировали себя как специалистов по базам данных.
На первом этапе состязаний команды участников имели доступ ко всем данным на половинной выборке; данные включали варианты развития событий по шести категориям. Команды использовали эти «тренировочные данные» для обучения алгоритма. Затем алгоритмы применялись ко второй выборке, которая не участвовала в тренировке. В качестве единицы измерения точности использовали MSE: погрешность прогнозирования в каждом случае определялась как квадрат разности между реальным и прогнозируемым результатом.
Насколько хороши были модели победителей? Продвинутые алгоритмы на основе методов машинного обучения, прошедшие тренировку на больших массивах данных, конечно, обогнали простые линейные модели (и смогли бы оставить позади опытных экспертов, будь у них такая возможность). А вот превосходство моделей на основе ИИ над самой про-
стой моделью оказалось совсем незначительным, и точность их прогнозов осталась плачевно низкой. С прогнозированием случаев выселения из квартиры лучшая модель добилась корреляции 0,22144145 (ПС=57 %). Схожие результаты были выявлены для других однократных событий – например, был ли первый опекун уволен, имел ли он профессию или на сколько баллов ребенок оценил свою так называемую «хватку» – черту характера, которая сочетает в себе упорство и настойчивое стремление к конкретной цели. Здесь корреляция колебалась между 0,17 и 0,24 (ПС=55–58 %).
Две из шести категорий представляли из себя комплексные показатели и потому более подходили для прогнозирования. Корреляция по среднему баллу, полученному ребенком в школе, составила 0,44 (ПС=65 %), а корреляция по суммарному индексу материальных затруднений за предшествующие 12 месяцев – 0,48 (ПС=66 %). Этот индекс определялся ответами на 11 вопросов, таких как «Постоянно ли вы голодали?» и «Отключали ли вам телефон за неуплату?». Комплексные показатели зарекомендовали себя как более подходящие для прогнозирования и более предсказуемые в категориях разовых событий. Основной вывод по результатам исследований был следующим: большой объем предиктивной информации недостаточен для прогноза разовых событий в жизни людей, и даже прогноз комплексных показателей довольно серьезно ограничен.
Наблюдаемые здесь результаты типичны; во многих слу-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
чаях заявленная социологами корреляция попадает в этот диапазон. В более обширном обзоре по социальной психоло-
гии146, включающем в себя 25 тысяч исследований и 8 миллионов предметов обсуждения за период более ста лет, был сделан вывод, что «результативность прогнозов в социальной психологии довольно низка: коэффициент корреляции обычно не превосходит 0,21». Более высокая корреляция – например упомянутая ранее корреляция порядка 0,60 между ростом и размером стопы взрослого человека – обычна для физических параметров и крайне редко встречается в
социологии. Обзор 708 исследований147 на поведенческую и когнитивную тематику выявил, что всего в 3 % из них корреляция оказалась 0,50 и выше.
Настолько невысокий коэффициент корреляции может вас удивить, если вы начитались статей, в которых результаты заявлены как «статистически значимые» или даже «весьма значимые». Статистические термины зачастую вводят непрофессионалов в заблуждение, и «значимый» – наихудший тому пример. Когда результат объявляется «значимым», из этого не следует, что описываемый эффект устойчив. Это по сути всего лишь утверждение типа «маловероятно, что выявленная зависимость всего лишь игра случая». На достаточно большой выборке корреляция может быть одновременно и «очень значимой», и, наоборот, «слишком незначительной, чтобы ее обсуждать».
Ограниченная предсказуемость однократных событий в