1.3 Профессиональный пакет вопросов

Итак, каждый вопрос турнира должен быть профессиональным - это необходимое условие. Для тренировок оно является и достаточным. На турнире же все обстоит немного сложнее. Поскольку для турнира требуется не вопрос сам по себе, а набор вопросов для конкретных команд, то к головной боли Автора добавляется еще несколько пунктов, которые никак нельзя упускать из виду.

• Оценка соответствия сложности вопросов уровню играющих команд.

• Наличие достаточно широкого выбора источников.

• Ограниченное количество однотипных вопросов (сюда примыкает вопрос об участии в составлении пакета нескольких авторов).

• Запрещенная тематика.

• Порядок вопросов.

1.3.1 Оценка сложности вопросов.

Исходя из ожидаемых команд, можно попробовать более-менее выдержать сложность вопросов. Как уже отмечалось, приличной точности при этом не получить. Да и имеющиеся в настоящий момент критерии довольно расплывчаты. В книге Бориса Бурды [5] приведено два утверждения по этому поводу.

• Во-первых, победитель должен набирать около 75 плюс-минус 5% очков.

• Во-вторых, правильный вопрос должен делить команды в отношении золотого сечения (из 13 команд на правильный вопрос должны отвечать 5, из 21 - 8 и т.д.).

Хорошо, что большинство знатоков с этими безответственными утверждениями не согласны! Все-таки для первого случая чаще знатоки устанавливают границы в 2/3 - 3/4 от возможных очков, то есть от 67 до 75 %. По второму вопросу более популярна точка зрения, что на вопрос может ответить любой процент команд, кроме 0 и 100%, то есть лишь бы были ответившие и не ответившие. И то, и другое ближе к истине. Но все-таки ею не является.

Взглянем на эти проблемы с помощью математики. К сожалению, строгие математические расчеты затрудняются сильной зависимостью ответов данной команды между собой (команда по ходу турнира приспосабливается к манере вопросов Ведущего) и зависимостью ответов на один вопрос между разными командами. Все же некоторую информацию к размышлению нижеследующие выкладки дают.

Результат победителя

Начнем с первого вопроса. Утверждение Бориса Бурды - результат победителя должен составлять "примерно 75% плюс-минус 5%" - заставит рассмеяться любого человека, знакомого с понятием дисперсии. Не буду приводить здесь вычислений, сообщу только, что практически можно утверждать лишь то, что стандартный доверительный интервал для результата победителя (при пакете из 12-16 вопросов) составит фактически 50-100%, что полностью опровергает приведенные выше 75 плюс-минус 5%.

К сожалению, более реалистичная модель турнира, учитывающая, например, зависимость ответов между собой, элементарно не просчитывается. Однако можно понять, что нижняя граница доверительного интервала немного поднимется (команда приспособилась к вопросам и у нее "покатило", что приводит к более высокому результату победителя, нежели в случае независимых ответов); верхняя же по той же причине останется 100%. Однако этот интервал все равно гораздо шире, чем указано в [5]. Между прочим, на реальных турнирах именно так и происходит. Например, на Кубке Городов - 99 победитель первого тура набрал 75%, второго - 100%, третьего - 83.3% возможных очков. На Кубке Физтеха - 99 для победы хватило 54% (13 ответов из 24).

Разумеется, при малых p (то есть наличии сложных вопросов) доверительный интервал сдвинется в сторону уменьшения победного итога; однако на реальных турнирах никто в здравом уме одними гробами не пользуется. Кроме того, нужно отметить борьбу двух тенденций: с одной стороны, при большем количестве вопросов в пакете понижается верхняя граница для доверительного интервала: увеличиваются шансы не ответить на какой-то вопрос. С другой стороны, при большем количестве команд границы доверительного интервала увеличиваются.

Золотое сечение

Перейдем к так называемому принципу золотого сечения. До чего же гуманитарии любят красивые слова! Не стоит искать в ЧГК то, чего там нет.

Во-первых, напомним, что золотым сечением обычно называют иррациональное число фи (корень из пяти минус 1) пополам = 0.6180... Вытекающие из утверждения Бориса Бурды числа 8/13 (8 не взявших вопрос команд из 13) и 13/21 (13 не взявших вопрос команд из 21) - это всего лишь первые рациональные приближения к числу фи.

Во-вторых, такие точные значения немедленно вызывают в памяти принцип Рэя: "Отмеряй микрометром, отмечай мелом, отрубай топором! ". Откуда такая точность? Посудите сами: если в турнире участвуют, например, 15 команд, то, согласно "правилу золотого сечения", в среднем на идеальный вопрос должно отвечать 15 x (1-0.6180...) = 15 x 0.3819... = 5.729... команд. Поскольку в реальности это число целое, а не дробное, то среди 15 команд на правильный вопрос должно отвечать 5 или 6 команд. Но 5 команд составляют 33 процента от 15, а 6 команд - 40 процентов от 15. Иными словами, в реальном турнире для 15 команд мы имеем среднее значение между 0.33 и 0.40. Так почему же в этом промежутке берется именно число 0.3819...? Почему бы не взять число 1/е = 0.3679... (где е - основание натуральных логарифмов; причем это в отличие от фи действительно фундаментальная константа)? Или 0.366 (потому что 36.6 - это нормальная температура человеческого тела)? Или 0.38 (потому что именно столько попугаев помещается на длине удава; можно добавить еще и попугайское крылышко)? Ведь и в этих случаях мы получим тот же практический результат! Не нужно только возражать, что при большом количестве турниров среднее значение будет как раз 0.3819... Если вы захотите экспериментально (статистически) отличить якобы правильное среднее 0.3819... от, например, числа 0.366, то вам придется произвести несколько тысяч экспериментов, то есть турниров. А столько турниров еще не сыграно, да и в обозримом будущем сыграно не будет.

Господа гуманитарии! Забудьте про золотое сечение!

Наконец, интересно то, что два вышеприведенных утверждения Бориса Бурды не слишком сочетаются между собой. Как показывает моделирование по методу Монте-Карло, при справедливости первого утверждения вероятность правильного ответа на вопрос должна быть порядка 0.5. При справедливости второго утверждения победитель будет набирать 50-60% возможных очков. Впрочем, это моделирование проводилось для независимых ответов.

Итак, на самом деле имеют место другие два утверждения:

• Во-первых, на профессиональный вопрос может ответить любое число команд.

• Во-вторых, победитель может набирать 50-100% очков.

Кстати, в связи с тем, что понятие профессионализма отбраковывает вопросы на знание и логические дуали, которыми частенько грешат Авторы, победитель при профессиональных вопросах набирает чуть больше очков, чем обычно. В принципе не так уж и важно, сколько он наберет очков. Плохо, если меньше половины; не лучше, если максимум. Все остальное находится в пределах разумного.

Детские и идиотские

Осталось только сказать несколько слов по поводу так называемых "детских" (ответили все команды) и "идиотских" (не ответила ни одна команда) вопросов. И тот, и другой термин явно неудачны. Действительно, если вы пишете вопрос, на который может ответить самая слабая команда, то вы должны быть готовы к тому, что на него ответят все команды. Аналогично, если ваш вопрос может не взять сильная команда, то с ненулевой вероятностью его не возьмут все играющие в турнире команды. Следовательно, и те, и другие вопросы являются неотъемлемой частью игры, и бороться за их исчезновение бессмысленно. Нужно стараться уменьшить вероятность их появления, но нулевой она не станет никогда.

Итак, и отсутствие правильных ответов на вопрос, и стопроцентный итог являются естественным результатом и вполне в турнире допустимы. Один гробовой (но профессиональный!) вопрос при общей длине тура в 15 вопросов не сократит турнирную дистанцию настолько, чтобы в распределение мест вмешалась случайность. Да, фактически он окажется ненужным. Но иногда и самые сильные команды должны хвататься за голову от собственной несообразительности. Что касается детского вопроса, то можно утверждать гораздо больше: такой вопрос (в виде шутки) просто необходим в начале турнира для создания хорошего настроения командам. Разумеется, при длине тура в 8-10 вопросов не стоит намеренно ставить гроб или тривиальность.

Однако борьба с детскими и идиотскими вопросами - только часть проблемы, о которой идет речь в следующем разделе.

Игровые вопросы

Формально любой вопрос, не являющийся детским или идиотским, является игровым в том смысле, что влияет на результат, показанный командами. Однако влияние влиянию рознь. С одной стороны, есть вопросы, которые не являются детскими, но разделяют между собой лишь аутсайдеров - такие вопросы (иногда называемые "обязательными") берутся всеми сильными командами (хотя, разумеется, проколы бывают и у них). Следовательно, они не помогают выяснению отношений между лидерами. С другой стороны, есть вопросы, которые разделяют между собой лидеров. Стало быть, именно они составляют наиболее интересную и важную часть пакета, которая предопределяет результат турнира. Поэтому игровыми вопросами в узком смысле стоит назвать те вопросы, которые влияют на взаимное расположение команд, на что-то претендующих. В этом смысле понятие расплывчато, но с этим приходится смириться. Уж слишком важна эта часть вопросов - ведь на оставшуюся часть вопросов команды отвечают одинаково (и в этом смысле они игровыми не являются).

При этом нужно отличать долю игровых вопросов для попарного сравнения команд-лидеров и долю игровых вопросов для всей совокупности команд-лидеров. Ясно, что первая величина для любой пары команд меньше, чем вторая (в случае, если за победу борются только две команды, оба понятия совпадают). Вообще же именно вторая величина дает представление о игровых качествах пакета, являясь важнейшей его характеристикой (которой, кстати, часто пренебрегают).

Хочется, чтобы в пакетах обе указанные доли в общем объеме пакета были побольше. Однако на самом деле первая из них не так уж и велика. В этом нет ничего удивительного - две сильные команды не будут сильно расходиться по показанным результатам. Анализ показывает, что обычно игровые вопросы для двух команд-лидеров составляют приблизительно двадцать процентов, хотя возможны и значительные уклонения.

Например, на Кубке России - 99 результаты двух первых призеров были практически идентичными - отличия были лишь для двух вопросов, которые и предопределили итоговую разницу в два балла. Конечно, это в значительной степени определялось спецификой турнира - необходимостью наличия в пакете множества вопросов для относительно слабых команд. Однако совершенно очевидна ненормальность ситуации, когда результат турнира из 48 вопросов фактически определяется только двумя. Не нужно думать, что это было исключением, характерным только для этих двух команд. Любопытная статистика получается, если рассмотреть команды, занявших первые четыре места - "Самсон", команду А.Друзя, команду М.Ли и "Афину". Вот попарные сравнения результатов.

• "Самсон" и А.Друзь - взятые вопросы идентичны за исключением двух вопросов.

• "Самсон" и "Афина" - разница в 3 вопросах.

• "Афина" и А.Друзь - разница в 5 вопросах.

• "Афина" и М.Ли - разница в 15 вопросах.

• "Самсон" и М.Ли - разница в 12 вопросах.

• А.Друзь и М.Ли - разница в 12 вопросах.

Обращает на себя внимание сходство трех команд во взятых вопросах. Получается, что игра идет фактически на крохотной доле продекларированного объема - и потому неизмеримо вырастает цена ошибки. Четвертая команда весьма экзотично провела игру, резко отличаясь от остальных. Но даже в этом случае доля игровых вопросов составляет меньше трети.

Что касается той части вопросов, которая является игровой для общей совокупности команд-лидеров, то она, разумеется, больше и обычно составляет не больше трети вопросов. Иными словами, две трети пакета практически не нужны - там команды или дают одинаковые правильные ответы, или хором ошибаются. Поэтому примитивно сводить увеличение игровых качеств пакета всего лишь к устранению из него детских и идиотских вопросов.

В нашем примере для указанных команд она составляет ровно треть - 16 вопросов из 48. Заметим, что для тройки "Самсон" - "Афина" - А.Друзь расхождение гораздо меньше, поскольку фактически все рассеяние для четверки было обеспечено как раз кельнской командой.

Итак, проблема уменьшения вероятности появления детских и идиотских вопросов является всего-навсего частным случаем проблемы увеличения доли игровых вопросов для команд-лидеров. Это не очень отчетливо сейчас осознается (и этому уделяется мало внимания). Но это гораздо более важная задача.