5.6.2. Препятствия для получения хороших данных

Ниже приводятся четыре препятствия, которые не позволяют получить хорошие

данные:

• Данные не отражают требуемых характеристик модели.

Пример 11. Данные, полученные при исследовании поля сражения, могут

отличаться от реальной ситуации из-за различий в поведении исследовательской

группы и войск, а так же из-за недостаточного учета каких-либо обстоятельств,

например, появления дыма во время сражения.

• Используются данные неверного (неподходящего) формата или типа.

Пример 12. При моделировании производственной системы случайный характер

носят простои машин. В идеальном случае нам необходимы данные о времени сбоев

и времени восстановления машин. Иногда эти данные собирают во время сбоев, но

зачастую они не представлены в требуемом формате. Например, время сбоя может

быть основано на физическом времени и включать в себя периоды простоя машины.

• Данные могут содержать ошибки измерений, записи или округления.

Пример 13. Данные, представляющие время выполнения некоторого задания, иногда

округляется до ближайших 5 или 10 минут. Так как данные дискретны, то

усложняется использование непрерывных теоретических законов распределения.

• Данные могут быть «приукрашены»

Пример 14. Административно-хозяйственный отдел автомобильного завода

намеренно предоставил преувеличенные данные о надежности машины.

Заключение

Необходима валидация всех имитационных моделей, иначе решения, принятые на

основе этих моделей, будут неверными. Ниже приводятся наиболее важные идей

разработки валидных и надежных моделей:

− Точная формулировка проблемы.

− Проведение интервью с экспертами в данной предметной области.

− Постоянное взаимодействие лица, принимающего решения с участниками

проекта, что гарантирует корректность решаемой задачи, а также увеличивает

надежность модели.

− Разработки письменной концептуальной модели.

− Структурированный просмотр концептуальной модели. Если не существует

реальной системы, то это может быть единственным методом валидации.

− Применение анализа чувствительности__

28. Адекватность имитационных моделей. Валидация выходных данных всей имитационной модели.

Адекватность – степень соответствия модели и исследуемой системы. Модель не может быть 100 % адекватна системе.

Валидация – процесс, позволяющий установить является ли имитационная модель точным представлением системы для конкретных целей исследования.

Валидация выходных данных всей имитационной модели:

Самая окончательная проверка адекватности имитационной модели подтверждается, если установлено, что ее выходные данные идентичны выходным данным от реальной системы.

Сам процесс сравнения модельных и системных выходных данных называется валидацией результатов.

#: Есть два станка в системе и по результатам сравнения модели с реальной системой получены отклонения:

0,4% 1,1% - производит

1,7% 11% - загрузка

По результатам было понятно, что модель адекватна. И применение 3-его станка нецелесообразно.

Если адекватность модели не подтверждена, то любые ее результаты имеют сомнительную ценность.

Необходимость разработки модели «as is» (то, как есть сейчас на данный момент)

1. Для проверки адекватности

2. Модель может «подсказать» слабые места и усовершенствования в системе.

Для проверки модели на адекватность можно использовать тест Тьюринга (подробнее еще есть инфа на http://ru.wikipedia.org/wiki/ Тест_Тьюринга):

Он заключается в том, что спецам хорошо знакомым с системой дают возможность изучить группы системных и модельных данных без указания, какие из них к чему относятся.

При этом все группы данных должны быть представлены на отдельных листах бумаги в одинаковом формате.

Если спецы могут отличить системные данные от модельных и объяснить, как они это сделали, их разъяснения помогут найти пути усовершенствования модели.

Если результаты моделирования согласуются с поведением системы, то считается, что модели свойственна внешняя адекватность.

Если решения, которые будут приниматься на основе имитационной модели будут иметь особые значения, то прибегают к испытаниям в полевых условиях, чтобы получить системные выходные данные.

Более точная проверка модели состоит в определении ее способности прогнозировать поведение будущей системы. Т.к. модели часто развиваются во времени, то существует возможность предполагаемой валидации. После того, как будет создана система и пройдет время для сбора ее выходных данных, эти данные можно сравнить с прогнозированными. Если есть разумное соответствие, то увеличивается доверие к модели.

Дополнительно (из инета):

Термин валидация (англ. Validation) используется в различных сферах деятельности человека в несколько различных смыслах. Ключевым моментом в валидации является сверка выставленных требований с необходимыми для достижения определённой (поставленной) цели требованиями. Если же эта цель и есть конечное требование, то возникает циклическая проблема (планирование плана или проблема инициализации). Сверка требований может происходить на их полноту и/или точность.

Валидацию не следует путать с верификацией.

В технике или в системе менеджмента качества валидация подтверждает, что требования внешнего потребителя или пользователя продукта, услуги или системы удовлетворены. Верификация — это обычно внутренний процесс управления качеством, обеспечивающий согласие с правилами, стандартами или спецификацией. Простой способ запомнить разницу между валидацией и верификацией заключается в том, что валидация подтверждает, что «вы создали правильный продукт», а верификация подтверждает, что «вы создали продукт так, как и намеревались это сделать».

В различных сферах деятельности человека под верификацией могут подразумеваться разные понятия. Например:

Верификация (от лат. verus — истинный, facere — делать) — проверка, проверяемость, способ подтверждения каких-либо теоретических положений, алгоритмов, программ и процедур путем их сопоставления с опытными (эталонными или эмпирическими) данными, алгоритмами и программами.

или

Верификация (от лат. verus — истинный, facere — делать) — это подтверждение соответствия конечного продукта предопределённым эталонным требованиям.

40