15.3. Управление качеством данных

Одна из трудностей управления качеством данных заключается в том, что ожидания в отношении качества данных не всегда известны. Бывает, что потребители просто неспособны их сформулировать. А порой случается и так: люди, отвечающие за управление данными, не отдают себе отчета в том, что к этим данным могут быть применимы какие-то специфические требования.

Поскольку ни одна организация не может похвастаться безупречностью технологических и бизнес-процессов, а также практик управления данными, проблемы с качеством данных неизбежны. Однако в организациях, где реализована формальная система управления качеством данных, проблемы возникают реже и решаются проще, чем в организациях, где качество данных – дело случая.

15.3.1. Определение области знаний «Качество данных»

Термин качество данных (Data Quality, DQ) распространяется как на характеристики, связанные с высоким качеством данных, так и на процессы измерения или повышения качества данных.

Следует разделять эти два варианта использования термина и пояснять, что понимается под данными высокого качества.

Данные можно считать высококачественными в той мере, в которой они соответствуют потребностям и ожиданиям потребителей. То есть данные обладают высоким или низким качеством, если они, соответственно, пригодны или непригодны к использованию по назначению. Следовательно, качество данных зависит от контекста и потребностей потребителей данных.

Формальное управление качеством данных выстраивается по аналогии с непрерывным управлением качеством других продуктов. Качество данных контролируется на всех фазах их жизненного цикла посредством определения стандартов и встраивания механизмов обеспечения и контроля их соблюдения в процессы создания, преобразования и хранения данных, включая наборы измеримых показателей соответствия данных стандартам качества на всех этапах. Для внедрения комплексного подхода к обеспечению качества данных обычно требуется команда по реализации программы качества данных (data quality program team). Она отвечает за привлечение к участию и

координацию действий профессионалов в области управления данными со стороны бизнеса и технических подразделений при проведении работ, обеспечивающих последовательное применение методов, которые гарантировали бы пригодность любых данных для использования по назначению. Более того, команде программы качества данных, вероятно, потребуется принять участие в серии проектов, прежде чем она сможет внедрить в организации устойчивые процессы с использованием передовых практик непрерывного управления качеством данных. Параллельно должны приниматься экстренные меры по устранению неотложных проблем.

Поскольку управление качеством данных предполагает управление их жизненным циклом, программа качества данных неизбежно накладывает определенные требования и ограничения на использование данных и предусматривает ответственность за обеспечение их соблюдения при осуществлении операционной деятельности. В обязанности участников команды программы качества данных может входить, например, составление отчетности об уровнях качества данных; участие в анализе данных и сборе статистики; выявление и приоритизация проблем с данными.

Помимо этого, команда программы качества данных отвечает за взаимодействие с потребителями данных при решении вопросов, касающихся обеспечения их потребностей, а с теми, кто задействован в создании, обновлении или удалении данных, – вопросов обеспечения соблюдения правил обращения с данными. Качество данных зависит от всех, кто с ними работает, а не только от профессионалов в области управления данными.

Так же как руководство и управление данными в целом, управление качеством данных осуществляется именно как систематическая программа, а не разовый проект. При этом программа качества данных включает и работы, проводящиеся на проектной основе, и плановую деятельность по сопровождению информационных систем и ресурсов, а также обеспечение эффективных коммуникаций и обучение[511].

15.3.2. Цели и бизнес-драйверы

Программы качества данных преследуют следующие цели:

●выработка управляемого подхода к обеспечению соответствия данных нуждам их потребителей;

●определение стандартов и спецификаций механизмов контроля качества данных как составной части жизненного цикла данных;

●определение и внедрение процессов измерения, мониторинга и учета уровня качества данных;

●выявление и поддержка использования возможностей по повышению качества данных посредством внесения изменений в системы и процессы, а также осуществление деятельности по проведению измеримых улучшений качества данных на основе

требований их потребителей[512].

Бизнес-драйверы, обусловливающие необходимость наличия формализованной программы качества данных:

●повышение ценности данных и информационных ресурсов организации и реальной отдачи от их использования;

●снижение рисков и издержек, обусловленных низким качеством данных;

●повышение эффективности и производительности в масштабах организации;

●защиту и укрепление репутации организации.

Организации, стремящиеся получать полноценную отдачу от имеющихся данных, прекрасно понимают, что высококачественные данные ценнее данных низкого качества. К тому же некачественные данные чреваты ущербом репутации, штрафами, упущенной прибылью, оттоком клиентов и негативными отзывами в СМИ. Обеспечивать высокое качество данных нередко предписывают также нормативноправовые документы и отраслевые регламенты. Ну и наконец, некачественные данные влекут за собой и всевозможные прямые убытки. Приведем лишь некоторые примеры негативных последствий:

●ошибки в выставленных счетах;

●увеличение числа обращений в службу поддержки клиентов при одновременном снижении способности разрешать возникшие проблемы;

●упущенные возможности и, как следствие, падение оборота и выручки;

●задержка интеграции в процессе слияний и поглощений;

●повышенная уязвимость перед угрозой мошенничеств и злоупотреблений;

●убытки вследствие ошибочных бизнес-решений, сделанных на основе неверных данных;

●потеря бизнеса и/или клиентуры из-за неспособности подтвердить свою репутацию и/или кредитоспособность.

Однако высокое качество данных – не самоцель, а средство обеспечения организационного успеха. Достоверные данные не только снижают риски и издержки, но и повышают эффективность. Работая с надежными данными, сотрудники более оперативно и согласованно находят ответы на текущие вопросы и тратят меньше времени на поиск нужной информации и оценку ее пригодности, что оставляет им больше времени на глубокое осмысление данных с целью взвешенного

принятия решений и качественного обслуживания клиентов[513].

15.3.3. Измерения качества данных

Измерениями качества данных (data quality dimension) называют измеримые свойства или характеристики данных, находящиеся в прямой связи с их качеством. Термин «измерение» сразу же приводит к ассоциативной аналогии с мерами свойств физических тел (таких как длина, ширина, высота). Измерения качества данных служат также источником терминологии, используемой для определения требований к качеству данных. Их же можно использовать для описания результатов как первичной оценки, так и текущих измерений качества данных. Для оценки качества данных организации нужно определить такие измерения, которые одновременно важны и для бизнес-процессов (и потому заслуживают рассмотрения) и поддаются объективной оценке. Измерения также служат базисной системой координат при определении правил оценки, которые, в свою очередь, напрямую соотносятся с потенциальными рисками, присущими критически важным процессам.

Часто выделяют следующие шесть ключевых измерений качества данных.

1.Полнота: отношение фактически имеющегося в хранилище объема данных к потенциально доступному (0–100 %).

2.Уникальность: ни одному реально существующему экземпляру предмета описания (объекта) не должно соответствовать более одной

записи в рамках идентификации описываемых предметов/объектов.

3.Актуальность: степень отражения данными реального положения вещей на текущий момент.

4.Годность: определяется синтаксическим соответствием данных определениям (по формату, типу или диапазонам значений).

5.Соответствие: Степень соответствия данных реальным объектам или событиям, которые ими описываются.

6.Согласованность: отсутствие противоречий между различными представлениями одного и того же (согласно определениям) предмета или сущности.

Иногда рассматриваются и другие важные характеристики, влияющие на качество данных.

●Полезность: насколько понятны, доходчивы, релевантно определены, доступны и точны данные?

●Своевременность реагирования (в дополнение к актуальности): поддерживается ли возможность оперативного изменения данных без потери стабильности?

●Гибкость: насколько данные совместимы и сопоставимы с другими данными? Допускают ли группировку, классификацию и перепрофилирование? Достаточно ли просты в обращении?

●Надежность: организованы ли процессы руководства данными и обеспечения безопасности данных? Какова репутация данных, чем или как она подтверждается или удостоверяется?

●Ценность: имеется ли экономическое обоснование с анализом рентабельности или окупаемости затрат на управление данными? Оптимально ли используются данные? Все ли в порядке с защитой персональных, личных и конфиденциальных данных? Не допускается ли предприятием каких-то неправомерных действий или нарушений? Соответствует ли его деятельность корпоративному имиджу?

Единой универсальной классификации измерений качества данных до сих пор не выработано, однако вышеописанные формулировки содержат общие идеи. Измерения включают часть характеристик, оцениваемых по вполне объективно измеримым показателям (например, полнота, действительность, соответствие формату), и часть, которая в значительной степени зависит от контекста или субъективной интерпретации (полезность, надежность источника, репутация). Какие

бы названия измерений ни использовались, основными аспектами качества данных являются: полнота (отсутствие недостающих данных); правильность (корректность, точность, достоверность); непротиворечивость (согласованность, целостность, уникальность), актуальность (своевременность обновления или реагирования); доступность; возможность использования (годность); безопасность

(защищенность)[514],[515],[516],[517].

15.3.4. Жизненный цикл повышения качества данных

Большинство методологических подходов к повышению качества данных позаимствованы из теории управления качеством на производстве. В рамках такой парадигмы любые данные считаются конечным продуктом комплекса технологических процессов по переработке информационного сырья. Процесс создания данных может быть простым и одношаговым (сбор или получение), а может быть многоэтапным и включать целый ряд последовательных информационно-технологических операций: сбор данных, включение и накопление в хранилище, обобщение в витрине данных. На каждом этапе данные и их качество подвергаются риску: при сборе возможны ошибки; при передаче из системы в систему – потери, дублирования или искажения; при интеграции и накоплении, анализе или обобщении – методологические ошибки и технические проблемы. Для повышения качества данных необходимо располагать возможностью оценки соответствия выходных данных ожиданиям, которые определяются, с одной стороны, фактическим содержанием входных данных, а с другой – требованиями к технологическим процессам. Поскольку выходные данные отдельно взятого процесса служат исходными данными для других процессов, требования по обеспечению качества данных должны определяться на уровне всей цепочки передачи данных и согласованным образом предъявляться ко всем ИТ-процессам, задействованным в их переработке.

Общий подход к повышению качества данных должен предусматривать реализацию классического цикла Шухарта – Деминга (рис. 15.9) в той или иной вариации. Будучи основанным на методологии точных наук, этот четырехфазный цикл задает модель решения задачи методом последовательных приближений:

планирование – реализация – проверка – корректировка – планирование – …

Усовершенствования внедряются через строго определенную последовательность шагов. Применительно к программе качества данных это подразумевает следующий алгоритм действий: состояние данных подлежит контролю на предмет соответствия стандартам; если стандарты не соблюдены, требуется доработка, которая начинается с поиска и выявления корневых причин несоответствия данных стандартам с переходом на фазы планирования и реализации мер по устранению первопричин несоответствий, которые могут быть обусловлены технологическими, методологическими, организационными и человеческим факторами. После внесения всех необходимых исправлений и работы над ошибками система управления качеством данных продолжает функционировать в режиме мониторинга систем и контроля текущих данных на предмет выявления возможных новых нарушений стандартов.

Внедрение цикла управления качеством данных для набора данных, который ранее не отслеживался в рамках вышеописанной модели непрерывного совершенствования, начинается с выявления данных, не соответствующих стандартам или нуждам потребителей, и проблемных данных или процессов, препятствующих успешному решению стоящих перед бизнесом задач. Таким образом, данные нужно проверять на соответствие не только стандартам качества по всем ключевым параметрам, но и всем известным бизнес-требованиям. Далее нужно устанавливать корневые причины несоответствий, чтобы все заинтересованные стороны могли объективно и взвешенно оценить затратность устранения недоработок и уровень риска в случае их сохранения. Эта часть работы обычно осуществляется совместно с распорядителями данных и иными заинтересованными лицами.

На стадии планирования команда качества данных составляет список текущих задач и проблем, сортирует их по масштабности и приоритетности, оценивает и сравнивает различные варианты решений. План должен строиться на прочном фундаменте анализа корневых причин. Без знания первопричин и последствий имеющихся проблем невозможны ни анализ полезности или эффективности затрат, ни определение приоритетов, а без этого ни о каком планировании говорить не приходится.

На стадии реализации команда качества данных руководит работами по устранению корневых причин имеющихся проблем, параллельно планируя показатели и средства последующего контрольного мониторинга данных. Если корневые причины носят нетехнический характер, команда качества данных совместно с владельцами процессов прорабатывают возможные процедурные изменения и порядок их осуществления. В случае проблем технического характера команда качества данных совместно с соответствующими инженерно-техническими службами обеспечивает надлежащую реализацию требуемых технических изменений и проверяет полученные результаты на предмет возможных ошибок.

На стадии проверки осуществляется активный мониторинг качества данных по заданным параметрам соответствия требованиям. Пока данные стабильно укладываются в контрольные допуски, дополнительных действий не требуется, а процессы считаются контролируемыми и соответствующими бизнес-требованиям. Но как

только качество данных опускается ниже допустимого порогового уровня, необходимо принимать дополнительные меры по возвращению ситуации к норме.

Стадия корректировки включает работы по оперативному устранению текущих проблем с данными по мере их выявления системами контроля качества. Как только объем или характер текущих проблем выходят за рамки таких возможностей, цикл возобновляется и начинается поиск первопричин, а затем – проработка возможных решений.

Непрерывность обеспечения качества данных достигается за счет перезапуска цикла управления качеством данных в случае возникновения любой из перечисленных ниже ситуаций:

●выход текущих результатов измерений контрольных показателей за пределы допусков;

●появление новых наборов данных;

●изменение действующих или появление дополнительных требований к имеющимся наборам данных;

●изменение бизнес-правил, стандартов или ожиданий.

Сделать наборы данных правильными изначально – дешевле, чем исправлять неправильные наборы данных. Встроить процессы управления качеством данных в процессы оперативного управления данными с самого начала – на порядок дешевле, чем последующее исправление. Обеспечивать стабильно высокое качество данных на протяжении всего их жизненного цикла – менее рискованно, чем пытаться повышать качество данных в рамках существующих процессов. Перестройки на ходу достаточно тяжело бьют по организации. Определение критериев качества данных до начала планирования нового процесса или системы – признак зрелости организации в области управления данными и отличное средство укрепления административной дисциплины и налаживания плодотворного сотрудничества между функциональными подразделениями[518],[519].