книги / Управление большими системами. УБС-2017

13

Управление большими системами. Выпуск XX

1. ФУНДАМЕНТАЛЬНЫЕ МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ УПРАВЛЕНИЯ

УДК 519.816 + 330.42 ББК 22.18

МОДЕЛИ ПОВЕДЕНИЯ ИГРОКОВ В ЭКСПЕРИМЕНТАЛЬНОЙ ТЕОРИИ ИГР1

Корепанов В.О.2

(Институт проблем управления им. В.А. Трапезникова РАН, Москва)

В работе приводится краткий обзор используемых в экспериментальной теории игр моделей поведения людей. Основная модель игры в данной области – это повторяющаяся игра n лиц, которую по наличию истории можно разделить на первый шаг и последующие. Соответственно и модели разбиваются на те, которые используют только описание игры, и те, которые используют описание игры и историю.

Ключевые слова: модели поведения, модели стратегического поведения, стратегическая рефлексия, модели обучения, экспериментальная теория игр, экспериментальная экономика.

1. Введение

Экспериментальная экономика ставит целью анализ реального поведения людей в экономических ситуациях (ситуации, которые участник оценивает в том числе величиной своего выигрыша) на предмет соответствия их разумным, рациональным принципам поведения. В конечном итоге ставится задача построения модели поведения или принятия решений человеком.

1Работа выполнена при поддержке гранта РФФИ № 17-07-01550 А

2Всеволод Олегович Корепанов, кандидат технических наук,

(vkorepanov@ipu.ru).

14

Фундаментальные математические основы теории управления

Существуют два класса исследуемых моделей поведения: модели принятия индивидуальных решений и модели стратегического поведения [9]. В первом классе рассматривается ситуация выбора человеком одной альтернативы из множества заданных, возможны также динамические постановки, когда человеку нужно регулярно выбирать свои действия на протяжении определённого времени в динамически меняющейся обстановке. Второй случай принципиально отличается тем, что в данной ситуации действует не один человек, а одновременно несколько, т.е. принимая решения нужно учитывать возможности и принципы принятия решений других участников, что делает эти модели близкими к теории игр, поэтому этот раздел науки называют экспериментальной теорией игр(далеевместо«ситуация» употребляетсятермин«игра»).

Собственно термин «принятие решений» обычно употребляют в статических ситуациях первого класса, «модель поведения» употребляют в ситуации многократного выбора в динамической ситуации, а «модель стратегического поведения» – в статических и динамических играх второго класса.

Базовыми моделями стратегического поведения можно считать модели для повторяющихся игр, в которых:

♦задано количество шагов принятия решений (в том числе бесконечное),

♦выбор действий игроками происходит на каждом шаге,

♦каждый шаг имеет свой результат – выигрыш каждого игрока,

♦выигрыш игроков на шаге не зависит от шага игры (времени), а только от действий, выбранных игроками,

♦итоговый выигрыш игрока складывается из суммы выигрышей на каждом шаге игры.

Ясно, что такая игра – простейший случай перехода от статической игры к динамической.

Данная работа ставит целью краткий обзор современных моделей стратегического поведения (далее – просто «моделей поведения») для повторяющихся игр.

Стоит заметить, что хотя представленные модели поведения в основном применяются к повторяющимся играм, есть примеры их успешности и для более сложных динамических ситуаций [21].

15

15

Управление большими системами. Выпуск XX

2. Модели

Структуру повторяющейся игры можно разделить на две части: первый шаг и последующие.

На первом шаге у игроков ещё нет истории игры, и поэтому их принципы принятия решений не должны опираться на историю, модели такого плана могут основываться на трёх классах принципов:

1)равновесных принципах равных сторон – базовые решения теории игр: равновесие Нэша, рационализируемые действия, недоминируемые действия, эффективность по Парето, равновесие дрожащей руки и т.п.;

2)рефлексивных/стратегических принципах: как наиболее вероятно будут вести себя остальные при условии, что они менее разумны, чем размышляющий;

3)нестратегических принципах: случайно, оптимизм/пессимизм, осторожность, минимизация сожалений, максимизация суммарного выигрыша игроков, справедливость, доброжелательность и т.п. [24].

Модели 1-го класса являются классическими экономическими моделями, построенными на идеях рациональности игроков, модели же 2-го и 3-го (менее) класса – это так называемые модели ограниченной рациональности ([18]), которые представляют основной интерес экспериментальной экономики.

Для 2-го класса в [14, 19] предложена модель level-k (k-й уровень), в которой игрокам приписываются уровни размышлений – ранги рефлексии. Игроки 0-го уровня выбирают действия случайно равномерно или однократно удаляют доминируемые действия, игрок k ранга считает, что все его оппоненты имеют (k-1)-й ранг, и действует, выбирая наилучший ответ на предполагаемые действия оппонентов.

Далее была предложена модель Cognitive Hierarchy (когнитивная иерархия, CH) [5], в которой ранг игрока фиксирован и является реализацией случайной величины распределения Пуассона. Игрок k-го ранга считает, что ранг его оппонентов от 0 до (k-1) (нормализованное распределение Пуассона).

Параллельно с этим развивалась модель квантового наилучшего ответа QBR [15], идея которой в том, что люди совер-

16

Фундаментальные математические основы теории управления

шают ошибки тем больше, чем меньше эти ошибки стоят. Stahl и Whilson [20] совместили модели level-k и QBR: предложили в модели level-k вместо наилучшего ответа использовать QBR. В [22] была использована та же идея, только вместо модели level-k была взята CH, что дало эффект – модель QCH эффективнее описывает поведение людей в экспериментах. Далее работа [23] показывает, что небольшое смещение распределения Пуассона, лежащего в основе CH, также плодотворно, предложенная модель Spike-Poisson QCH (QCH со смещённым распределением Пуассона) показала большую эффективность.

Вподобных исследованиях модель игрока 0-го ранга была равномерным распределением над действиями (за редким исключением). В работе [24] было предложено изменить модель игроков 0-го ранга на модели 3-го класса, что дало значительный прирост описательной силы моделей.

В[13] была описана общая модель на основе параллельно развивавшейся идеи стратегической рефлексии [1], где принадлежность игроков к рангам является управляемым параметром модели. Акцент на управлении в данной модели объясняется, во-первых, её развитием как части теории управления организационными системами, во-вторых, из литературы по психологии и поведению известно (примеры есть в [1]), что на модель

стратегической рефлексии человека можно целенаправленно влиять сообщением определённой информации, поэтому возможны постановки задачи рефлексивного управления, а не только рефлексивной идентификации, как в других моделях этого класса.

Это ключевые модели стратегического поведения, с помощью которых описывают поведение игроков на первом шаге (с некоторым успехом на нескольких первых шагах).

При переходе к последующим шагам у игрока появляется история игры, которую можно использовать для корректировки поведения или обучения.

Исторически одной из первых моделей здесь была модель Курно [8], в которой предполагалось, что, выбирая своё действие на очередном шаге, игрок считает, что оппоненты не поменяют свои действия и выбирает наилучший ответ на действия

17

17

Управление большими системами. Выпуск XX

оппонентов в прошлом шаге, таким образом, это статическая модель ответа на динамическую ситуацию.

Следующая широко известная модель – модель фиктивной игры [3, 16] (Fictitious Play, FP). Здесь игрок формирует модель поведения оппонентов как случайную величину с эмпирической функцией распределения, наблюдая их действия на предыдущих шагах. Далее выбирается наилучший ответ – действие, приносящее максимальный ожидаемый выигрыш при данном поведении оппонента. Эта модель уже опирается на идею обучения, правда, остаётся некая «статичность» в понимании оппонентов – использование эмпирической функции распределения подразумевает, что оппонент не меняет своего поведения.

Две данные модели являются моделями на основе представлений (beliefs-based) – игроки формируют представления оповедении оппонентов и на основе этого выбирают своё поведение. Кроме перечисленных выше моделей к этому классу принадлежат также модели [10, 11, 7], которые являются различными обобщениями моделейКурноиFP дляпреодоленияихслабыхсторон.

Параллельно развивались модели, не основанные на представлениях, а развивавшиеся на идеях обучения с подкреплением (reinforcement learning, RL). Идея обучения с подкреплением в том, что игрок смотрит не на поведение других игроков, а на свой выигрыш от выбранных действий и более вероятно выберет такое действие, которое давало ему больший выигрыш в прошлом, – эта идея «выросла» в области принятия индивидуальных решений [21] и психологии [17].

Вданных моделях игроку не нужно знать информацию об остальных игроках, при достаточных предположениях знание только своего выигрыша от истории игры позволяет корректировать выбор действия на следующем шаге и находить оптимальную стратегию, по крайней мере, в пределе по шагам. Примеры моделей данного класса – [17, 6].

Вработе [4] построена гибридная модель поведения EWA (experience weighted attractions) с шестью свободными парамет-

рами, показаны значения параметров, при которых модель сводится к чисто belief-based или RL-моделям. Предложено обсуждение качественного значения свободных параметров модели.

18

Фундаментальные математические основы теории управления

В [12] в связи с критикой большого числа свободных переменных модели предложены фиксированные значения для трёх параметров модели и функциональные зависимости, определяющие значения двух свободных параметров от истории игры. Таким образом, количество свободных параметров сведено до одного. Показано тем не менее, что такая модель может хорошо описывать существующие данные поведения людей.

Наконец, одна из более новых моделей – модель IEL [2], предложена для отдельного случая континуума возможных действий игроков. В ней выбор происходит также из дискретного набора действий, элементы которого каждый шаг могут с заданной вероятностью быть заменены элементом из исходного континуального множества действий игрока. Накопление величины «подкрепления» происходит другим способом: выборка двух произвольных действий, дублирование более успешного действия и удаление менее успешного. Именно поэтому модель имеет в своём названии слово «эволюционная».

3. Заключение

Рассмотрены модели стратегического поведения, применяемые в экспериментальной экономике для описания поведения игроков в начале игры и в её продолжении для повторяющихся игр. Первые модели опираются на ограниченную рациональность игроков, вторые – на их обучение от истории игры. Для игр с континуумом действий у игроков найдена одна модель поведения, основанная на идеях эволюционных моделей, хотя было бы естественнее обнаружить расширение неэволюционных моделей поведения в конечных играх на случай континуума действий игроков. В свою очередь, для конечных игр эволюционные модели поведения не очень популярны (области их приложения см. в [2]).

Эффективность данных моделей для описания поведения людей в повторяющихся играх на настоящее время подтверждена экспериментально во многих работах. Эти модели продолжают служить объектом изучения и идентификации в экспериментальной экономике и инструментом анализа поведения людей в экономических ситуациях.

19

19

Управление большими системами. Выпуск XX

Литература

1.НОВИКОВ Д.А., ЧХАРТИШВИЛИ А.Г. Прикладные моде-

ли информационного управления. – М., 2004.

2.ARIFOVIC J., LEDYARD J. A behavioral model for mechanism design: Individual evolutionary learning // Journal of Economic Behavior & Organization. – 2011. – Т. 78. – № 3. – С. 374–395.

3.BROWN G.W. Iterative solution of games by fictitious play // Activity analysis of production and allocation. – 1951. – Т. 13. – № 1. – С. 374–376.

4.CAMERER C., HUA HO T. Experience-weighted attraction learning in normal form games // Econometrica. – 1999. –

Т. 67. – № 4. – С. 827–874.

5.CAMERER C.F., HO T.H., CHONG J.K. A cognitive hierarchy model of games // The Quarterly Journal of Economics. – 2004. – 119(3). – P. 861–898.

6.CHEN Y., TANG F.F. Learning and incentive-compatible

mechanisms for public goods provision: An experimental study // Journal of Political Economy. – 1998. – Т. 106. – № 3. – С. 633–662.

7.CHEUNG Y.W., FRIEDMAN D. Individual learning in normal form games: Some laboratory results // Games and Economic Behavior. – 1997. – Т. 19. – №. 1. – С. 46–76.

8.COURNOT A.A. Recherches sur les Principes Mathematiques de la Theorie de Richesses. 1838 / Translated by N.T. Bacon, Researches into the mathematical principles of the theory of wealth. – London: Hafner, 1960.

9.CRAWFORD V.P., COSTA-GOMES M.A., IRIBERRI N. Struc-

tural models of nonequilibrium strategic thinking: Theory, evidence, and applications // Journal of Economic Literature. – 2013. – Т. 51. – № 1. – С. 5–62.

10.FUDENBERG D., LEVINE D.K. The theory of learning in games // MIT press. – 1998. – Т. 2.

11.HEALY P.J. Learning dynamics for mechanism design: An experimental comparison of public goods mechanisms // Journal of Economic Theory. – 2006. – Т. 129. – № 1. – С. 114–149.

20