Тема 14. ТЕСТИРОВАНИЕ СИСТЕМ УПРАВЛЕНИЯ

14.1. Введение в тестирование

Тестирование представляет собой вид экспериментального исследования действующей системы (или другого вида «физической» реальности). В теории эксперимента тестирование именуется как пассивный эксперимент [64, 68], так как исследователь выступает только в роли наблюдателя или фиксатора параметров некоторого протекающего процесса.

Для определения понятия «тестирование системы управления» используем словарное толкование термина «тест». Тест (англ. test) – проба, пробное задание, испытание, исследование. Испытать – проверить в работе, изведать на опыте. Тестировать – это осуществлять тесты, иначе, проводить стандартизированные, ограниченные во времени испытания определенной физической реальности. В качестве основы определения «тестирование систем управления» остановимся на положении «проверить в работе, изведать на опыте», понимая под опытом воспроизведение какоголибо явления в определенных условиях.

Тестирование системы управления означает осуществление комплекса испытательных мероприятий с целью проверки и подтверждения эффективности принципов и функций, принятых при проектировании системы, полноты выполнения задач, ради которых она создавалась, и качества управления. Под испытательными мероприятиями понимаются способы познания объекта, позволяющие получить исходную информацию о результатах его функционирования в определенных условиях. В итоге, тестирование – это метод исследования системы управления, при котором объект изучается без вмешательства в него, а измеряются лишь его свойства и параметры и анализируется (устанавливается) характер их изменения.

Концептуально от тестирования ожидают решения таких задач, как:

1)оценка «правильности» функционирования отдельных элементов и системы в целом;

2)определение качества управления – эффективности, устойчивости, адаптивности и надежности и тех характеристик элементов и системы в целом, которые влияют на показатели перечисленных свойств системы;

3)определение отдельных второстепенных оценок, значимость которых выявляет в процессе анализа результатов решения первой и второй задач.

Понятие «правильность» функционирования является многоаспектным. Здесь следует выделить основные положения или принципы, согласно которым можно считать, что система функционирует «правильно».

1.Взаимодействие (стыковка) объектов (процессов, функций, видов деятельности) осуществляется правильно, если значения выходных и входных параметров взаимодействующих объектов согласованы и обмен информацией между ними происходит без каких-либо видимых или скрытых нарушений.

2.Процессы и задания выполняются согласно установленному стандартизированному алгоритму действия и нормам времени на их осуществление.

3.Личные качества управленческого персонала выражаются в стимулировании и мотивации труда, в предотвращении конфликтных ситуаций, в самоанализе и самосовершенствовании.

Приведенные выше положения отражают фундаментальные идеи научного управления (Ф. Тейлор, Д. Гибсон, Б. Мильнер): в первом – «исследование действия (труда)», во втором – «исследование времени труда», в третьем – оценка и измерение качеств личности с целью стимулирования и мотивации труда.

Всоциологии и психологии под тестированием понимается выполнение специального стандартизированного задания, результат которого позволяет измерить некоторые психофизиологические и личностные характеристики, установить скрытую истину, а также знания, умения и навыки испытуемого. В управлении персоналом такие характеристики человека рассматриваются как предпосылки, необходимые условия его трудовых достижений.

Путь для широкого использования тестирования в управлении организациями открывает процессный подход к структурированию внутренней среды организации. Основной его принцип: любой вид деятельности – это процесс, позволяет внутреннюю среду организации представлять как совокупность взаимосвязанных процессов, исключая такие категории, как подсистема и элемент (см. тему 4). Развитие аппарата тестирования происходит в маркетинге. Разработаны методология

126

тестирования товара и ряд научно обоснованных тестов, таких как тесты «ЕА-СА», «ЕВА», «ЕВАСВА», «Кривая сбыта», «Моделирование покупок» и др. (п. 13.5).

Отметим, что постановка тестирования системы управления должна быть ориентирована, вопервых, на изучение и оценку результатов процессов и их операций и решения задач; во-вторых, на оценку подготовленности персонала к возложенным на него обязанностям. Для первой стадии тестирования источником получения информации являются главным образом испытания процессов и системы в целом, для второй – тесты. В этой последовательности рассмотрим основные методологические аспекты тестирования.

14.2. Организация тестирования системы

Проверка и подтверждение функционального соответствия исследуемой системы или отдельной ее части основаны на измерении количественных и качественных ее характеристик и на последующей оценке или распознавании их соответствия некоторому множеству параметров и критериев. Измерение количественных характеристик – это процесс определения отношения измеряемой величины и величины, принятой за единицу измерения. Полученное в результате измерения число (выражающее такое отношение) называется числовым значением измеряемой величины.

Измерение качественных характеристик (как правило, в социологических исследованиях) – это способ упорядочения информации, при котором система чисел и отношений между ними ставится в соответствие ряду измеряемых социальных фактов, или это процесс приписывания количественной определенности изучаемым качественным признакам. Измерительные процедуры качественных признаков – опрос, тест, рейтинг, экспертные оценки, ранжирование, а инструмент – шкалы и эмпирические индикаторы (внешние признаки измеряемых свойств).

В исследовании систем выделяют автономное и комплексное тестирование, причем первое, как правило, предшествует второму. Автономное тестирование направлено на подробное обследование процессов и представляет собой необходимую стадию, без которой не могут быть успешно проведены комплексные испытания системы. Кроме того, автономное тестирование позволяет освободить комплексное от ненужных деталей, сделать их в необходимой степени обозримыми и наглядными, а также сократить объем информации, подлежащей регистрации и обработке.

Комплексное тестирование организационной системы предназначается в основном для оценки общесистемных параметров, характеризующих ее экономическую состоятельность. В то же время на стадии тестирования обычно приходится регистрировать и основные параметры процессов управления, несмотря на то, что они уже тестированы в процессе автономных испытаний. Это объясняется тем, что в процессе взаимодействия каждый из процессов под влиянием новой среды, согласно принципу целостности, утрачивает часть своего потенциала, своих возможностей.

Тестирование может проводиться непосредственно с действующей системой или ее процессами (объектами), тогда оно называется натурным тестированием, или с моделью системы и моделями ее процессов (объектов) – компьютерное тестирование (или вычислительная имитация).

Различают тестирование, в смысле серии испытаний, однофакторное (традиционное) и многофакторное. В первом случае в каждой точке тестирования системы измеряется один параметр, во втором – несколько параметров. Для того чтобы сократить число измеряемых параметров, используют методы дисперсионного и регрессионного анализов.

14.3. Методология тестирования системы

Разработанные теоретические основы по проведению эксперимента (см. тему 12) в равной степени относятся и к тестированию. Тестирование выступает и как самостоятельный вид исследований, и как этап эксперимента. В основу проведения любого эксперимента положена «методология эксперимента» – это общие принципы, структура эксперимента, его постановка и последовательность выполнения. Методологию тестирования можно представить в виде последовательности определенных этапов[64, 68].

Этап I. Разработка (или выбор) методики тестирования в виде комплекса приемов или способов экспериментального исследования включает:

а) цели и задачи тестирования; б) параметры и характеристики системы или ее элементов, подлежащих измерению, ре-

гистрации, опросу; в) построение модели изучаемого объекта (процесса, функции, системы в целом) тести-

рования;

127

г) последовательность автономных испытаний элементов и этапов комплексных испытаний системы;

д) обоснование способов, средств и методов измерения; е) обоснование необходимой точности и частоты регистрации данных (или количества ре-

спондентов в социальных исследованиях); ж) методы обработки и анализа данных, полученных при испытаниях.

Этап II. Составление плана-программы организации тестирования как самостоятельного этапа исследования.

Этап III. Разработка инструкции по исполнению тестирования.

Этап IV. Интерпретация результатов и подведение итогов тестирования.

Особое внимание при разработке методики уделяется методам сбора информации и математическим методам обработки и анализа опытных данных. Для сбора информации используют следующие методы:

1)натурные испытания – различного вида измерения на входе и выходе процессов и системы в целом, которые в большинстве случаев фиксируют скалярные переменные в заданные моменты времени с некоторыми ошибками;

2)генерирование опытных данных на основе вычислительного эксперимента функционирования процессов и системы;

3)интернирование учетной информации из баз данных (файлы);

4)сбор учетной информации из документов – носителей текстовой информации;

5)наблюдение – как метод прямой регистрации, фиксирование сигналов, событий очевидцем в процессе их протекания;

6)опрос – вопросно-ответный метод сбора данных, при котором источником информации выступает словесное сообщение людей на основе тестов. Разновидностями опроса являются:

y анкетирование – опосредованный, письменный опрос;

y интервью – метод получения информации по определенной теме путем непосредственного целенаправленного диалога интервьюера с респондентом;

y экспертный опрос – это опрос компетентных лиц;

y социометрический опрос – выявление социально-психологических проявлений межличностных отношений.

Особое внимание в тестировании уделяется таким методам, как:

1)оценка всех видов измерений (первичная обработка результатов);

2)математическая обработка и анализ данных (вторичная обработка результатов). Математическая обработка и анализ результатов тестирования (вторичная обработка)

сводятся к двум основным позициям:

1)определению характеристик эффективности, устойчивости, адаптивности и надежности элемента (агрегата) на основе преобразования некоторой выборки, состоящей из совокупности значений х1, х2, ..., хn измеряемой величины;

2)установлению или проверке математических моделей, описывающих связь между входными и выходными параметрами процесса или системы.

Обработка результатов тестирования в соответствии с концептуальным подходом к параметрическому исследованию систем управления состоит в основном в определении интервала, накрывающего истинное значение искомого параметра с заданной вероятностью. Так, доверительная оценка для математического ожидания в симметричном случае (наиболее распространенная гипотеза) может быть представлена в виде:

x * −ε ≤ x ≤ x * +ε

или

x − x * ≤ ε.

Доверительный интервал Iβ =(x −ε; x +ε) определяет область возможных значений при

обработке средней арифметической величины x для заданного параметра х. Причем попадание x в эту область гарантируется с заданной доверительной вероятностью, т.е.

P( x − x ≤εβ ) = β,

где εβ − заданная положительная величина, определяемая по доверительной вероятности (надежности оценки), принимаемой равной величине β .

128

14.4. Построение модели тестирования системы

Система управления организацией является сложной с позиции как построения, так и выполняемых видов деятельности и задач. Поэтому для тестирования системы потребуется сформировать ряд методических положений, позволяющих сложное решение свести к понятному, универсальному и эффективному инструменту исследования.

1.Система любой сложности расчленяется на агрегаты, представляющие простейшие модели процессов (рис. 14.1), позволяющие представить с использованием унифицированного формального языка процессную структуру системы.

2.Структурирование системы производится до такой степени детализации, чтобы каждый функциональный объект был доступен для достаточно полного описания математической моделью, на основе которой возможно, во-первых, рассчитать нормативные показатели и параметры, вовторых, осуществить имитацию функционирования объекта.

3.При представлении системы в виде композиции процессов исследуются выходы и входы каждого процесса, с последующим их интегрированием и представлением в виде системных результатов.

Рассмотрим особенности применения процессных моделей применительно к исследованию системы управления.

Процесс как унифицированный элемент системы характеризуется некоторым множеством состояния Z на множестве моментов времени T и множествами входных X, управляющих G и выходных Y сигналов. Сигнал – это информация, обязывающая элемент или систему начать действие.

Обозначим состояние процесса в момент t T как Z(t) Z и входные, управляющие и выходные сигналы соответственно как X (t) X , G (t) G и Y(t) Y .

На рис. 14.1 дается фрагмент процессной модели системы, которая позволяет без особого труда составить топологию точек наблюдения или измерения параметров функционирования системы.

Рис. 14.1. Фрагмент процессной модели системы: a, b, c, d, e, g – точки тестирования объектов системы

При тестировании для операторов задаются достаточно строгие алгоритмы действий по преобразованию входной информации (оператор V), по «технологии» переходного процесса Z (оператор U) и формированию выходной информации (оператор H). В ряде случаев задача тестирования сводится к наблюдению за состоянием выходов и входов агрегата или системы в целом с фиксированием их временной координаты. Такая организация тестирования распространена, когда исследования проводятся в производственных условиях.

Развитие процессного подхода открывает широкие возможности для применения теории массового обслуживания на этапах:

yобработки результатов тестирования;

yоценки эффективности управления;

yрационального конструирования систем управления и управляемых объектов.

129