5.4. Методы разработки валидных и надежных моделей

В данной главе представлены практические методы разработки валидных и

надежных моделей. В конце названия каждой подглавы в квадратных скобках указаны

номера шагов, в которых (как минимум) должен быть применен рассматриваемый метод.

5.4.1. Точное формулирование задачи [шаг 1]

Необходимо точно сформулировать исследуемую проблему. Для этого необходимо

сформулировать все решаемые задачи, список специфических вопросов, на которые

должна ответить модель, а также критерии для оценки эффективности конфигураций

системы. Без окончательных формулировок специфических вопросов невозможно

выбрать необходимый уровень детализации модели. Критерии также должны быть четко

сформулированы, так как для различных критериев требуется различный уровень

детализации [58].

Когда лицо, принимающее решения, начинает исследование, решаемая задача еще

четко не сформулирована или даже не определена. Таким образом, во время

исследования, когда появляется более глубокое понимание проблемы, эта информация

должна передаваться лицу, принимающему решения. После этого он может

переформулировать проблему.

5.4.2. Проведение интервью с экспертом в данной предметной

области [1, 2]

Никогда не существует одного человека, знающего всю информацию, необходимую

для создания имитационной модели. Поэтому для глубокого понимания моделируемой

системы аналитику необходимо провести переговоры со многими различными экспертами

в данной предметной области. Заметим, что некоторые данные, предоставленные

экспертами, постоянно будут некорректными. Если какая-то часть системы особенно

важна, то необходимо провести интервью, по крайней мере, с двумя экспертами. В части

2.6 обсуждается методика, которая позволяет гарантировать, что допущения, принятые в

модели, верны. Эта методика также помогает разрешать противоречия между мнениями

разных экспертов.

5.4.3. Постоянное взаимодействие с лицом, принимающим

решения [1-7]

Один из основных принципов разработки валидной и надежной модели – постоянное

взаимодействие аналитика и лица, принимающего решения, и других членов проектной

группы. Этот подход имеет следующие основные преимущества:

− Он помогает обеспечить корректность решаемой проблемы.

− Необязательно изначально знать точную структуру системы.

− Во время исследования лицо, принимающее решение, может менять задачи.

− Необходимо поддерживается заинтересованность и вовлеченность в

исследование лица, принимающего решения.

− Так как лицо, принимающее решения, понимает и принимает допущения

модели, то сама модель получается более надежной.

Пример 2. Один военный аналитик работал над созданием имитационной модели в

течение нескольких месяцев без взаимодействия с генералом, заказавшим данную

разработку. После пяти минут предоставления окончательной формулировки задачи

в Пентагоне генерал вышел со словами: «Эта не та задача, которая меня интересует».

5.4.4. Использование количественных методов для валидации

компонентов модели [2]

Каждый раз, когда возможна проверка валидности различных компонентов всей

системы, аналитик должен использовать количественные методы. Далее приводятся

примеры таких методов.

Если данные наблюдения имеют какое-либо теоретическое распределение

вероятностей (например, экспоненциальное или нормальное), то адекватность их

представления может быть оценена с помощью графика и критерия согласия.

Как обсуждается ниже, для построения модели важно использовать

соответствующие данные. Однако также важно и тщательно структурировать эти данные.

Например, для исследования нескольких наборов данных на однородность распределения

при их объединении можно использовать тест Крускала-Валиса на однородность

популяции. Если наборы данных однородны, то их можно объединить и объединенные

набор данных можно использовать для построения имитационной модели.

Пример 3. Рассмотрим производственную систему. Предположим для нее были

собраны данные об отказах и восстановлении системы после отказов для двух

«идентичных» машин одного производителя. Тем не менее, тест Крускала-Валиса

показал, что распределения этих двух наборов данных различны. Поэтому в

имитационной модели для этих машин были использованы разные законы

распределения.