5 курс / Госпитальная педиатрия / Принципы_клинической_практики,_основанной_на_доказанном,_Г_Гайятт

Таблица 2. Рекомендуемый подход к отбору публикаций, результаты которых могут быть наиболее достоверными [3]

Наличие систематической ошибки, связанной с отбором публикаций, характерно как для систематических обзоров, так и для отчетов об исследованиях (в которых раздел, посвященный обсуждению полученных результатов, часто содержит сравнение с результатами других исследований). Р.С. Gotzsche, например, проанализировал библиографические списки в отчетах об испытаниях новых нестероидных противовоспалительных средств при ревматоидном артрите [13]. Из 77 отчетов, в которых авторы ссылались на результаты других испытаний определенного препарата, примерно в 44 (60%) случаях преимущественно упоминались испытания с положительными результатами (т.е. подтверждающие эффективность и безопасность нового препарата). В 22 отчетах о контролируемых испытаниях гипохолестеринемических препаратов U. Ravnskov выявил наличие той же систематической ошибки, обусловленной преимущественным цитированием исследований с положительными результатами [14]. При анализе 26 отчетов об РКИ, опубликованных в ведущих медицинских журналах, М. Clarke и I. Chalmers нашли только Две статьи, в которых обсуждение результатов проводилось в контексте

недавно обновленного систематического обзора [15]. Читатель должен проявлять осторожность при интерпретации результатов исследования, не включенного в систематический обзор.

ПРОВЕДЕН ЛИ ДЕТАЛЬНЫЙ И ИСЧЕРПЫВАЮЩИЙ ПОИСК ИССЛЕДОВАНИИ

ПО ДАННОЙ ТЕМАТИКЕ?

Авторы систематического обзора должны провести детальный и исчерпывающий поиск исследований, соответствующих критериям включения. Для этого следует использовать библиографические базы данных, такие как MEDLINE и EMBASE, Кокрановский реестр контролируемых испытаний (Cochrane Controlled Trials Register; содержит данные более чем о 250 000 РКИ) и базы данных исследований, проводимых на момент поиска [16]. Следует также изучить библиографические списки в найденных статьях и установить личные контакты со специалистами в интересующей области медицины. Важным может оказаться ознакомление с недавно опубликованными материалами научных конгрессов, а также поиск в редко используемых базах данных (содержащих, например, тезисы докторских диссертаций или материалы исследований, которые финансируются фармацевтическими компаниями). При перечислении этих источников информации становится очевидной недостаточность поиска только в базе данных MEDLINE. Если авторы обзора не указали способы поиска данных, читателю сложно будет оценить вероятность того, что некоторые исследования, содержащие важную информацию, не были найдены.

Существуют две причины, по которым желателен личный контакт авторов обзора со специалистами в определенных областях медицины. Во-первых, это позволяет выявить опубликованные материалы исследований, которые могли быть пропущены при первичном поиске (включая сданные в печать статьи и материалы, которые еще не прошли индексацию). Во-вторых, такой контакт помогает найти неопубликованные материалы исследований и включить их в обзор для предотвраще-

ния систематической ошибки, связанной с преимущественной публикацией положительных результатов.

Такая систематическая ошибка возникает, когда решение о публикации статьи зависит от результатов исследования или от их статистической значимости. В ряде случаев отчеты об исследованиях, в которых эффективность вмешательства не подтвердилась, не публикуются. Если при проведении систематического обзора такие исследования не будут учитываться, оценка эффекта вмешательства может оказаться завышенной [17—21] (см. главу 2Е на компакт-диске).

При включении неопубликованных материалов в обзор авторам следует получить полный текст отчета, а затем провести такую же оценку достоверности, как и при рассмотрении опубликованных материалов. Авторы обзора могут также использовать статистические методы для определения вероятности наличия систематической ошибки, связанной

спредпочтительной публикацией положительных результатов исследований и систематических ошибок других типов, хотя чувствительность этих методов ограничена [22]. При проведении систематических обзоров, включающих ограниченное число исследований с небольшими выборками, наиболее высока вероятностьвозникновения систематической ошибки, связанной с предпочтительной публикацией положительных результатов исследований; применять результаты таких обзоров следует

состорожностью. Результаты, которые выглядят слишком хорошими, могут на самом деле оказаться ошибочными.

Составители обзора могут пойти дальше обычных контактов с авторами оригинальных исследований и пригласить этих исследователей к сотрудничеству; в этом случае появляется возможность получить данные об отдельных участниках. Это повышает статистическую мощность обзора и достоверность его выводов.

ХАРАКТЕРИЗОВАЛИСЬ ЛИ ОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯ, ВКЛЮЧЕННЫЕ 8 ОБЗОР, ВЫСОКИМ МЕТОДОЛОГИЧЕСКИМ КАЧЕСТВОМ?

Даже если в обзор включались только РКИ, следует располагать информацией о их методологическом качестве. К сожалению, достоверность результатов исследования не может быть гарантирована одним только фактом внешнего рецензирования его материалов (см. главу 4

Исследования, посвященные эффективности лечения) [23]. В предыдущих

главах уже было показано, что при оценке отчетов об оригинальных исследованиях врач должен в первую очередь выяснить достоверность представленных результатов; по этой же причине при рассмотрении систематического обзора необходимо сначала убедиться в достоверности включенных в него первичных исследований.

Различия в методах исследований могут стать причиной существенных различий в их результатах [24—26]. Например, в исследованиях с использованием менее строгих методов отмечена тенденция к завышению оценки эффективности лечения или профилактики [27]. Но даже при схожести результатов первичных исследований важно убедиться в их достоверности. Сходные результаты выглядят менее убедительно, если они получены в ходе исследований низкого, а не высокого методологического качества.

Особенно подозрительны сходные результаты обсервационных исследований. Врачи могут систематически отбирать больных с хорошим прогнозом для проведения изучаемой терапии; такая практика весьма распространена и не зависит от времени или места проведения исследования. Например, во всех обсервационных исследованиях, включенных в систематический обзор [28], сообщалось о том, что на фоне заместительной гормональной терапии относительный риск развития тяжелых сердечно-сосудистых осложнений снижается в среднем на 50% Однако уже при проведении первого крупного РКИ было выявлено отсутствие подобного эффекта заместительной гормональной терапии [29].

Точных способов оценки методологического качества исследований не существует, однако читатель должен помнить, что при рассмотрении любого систематического обзора основное внимание следует уделить оценке достоверности результатов первичных исследований; при этом надо с осторожностью относиться к использованию специальных шкал [30, 31]. Некоторые исследователи используют длинные списки параметров, по которым оценивается методологическое качество, другие анализируют 3 или 4 ключевых аспекта. При решении вопроса о том, можно ли доверять результатам обзора, вам надо проверить, совпадают ли критерии, применявшиеся авторами обзора, с критериями, представленными в других главах этой книги (см. главы 4 Исследования, посвя-

щенные эффективности лечения, 6 Диагностика, 5 Оценка риска и 9 Про-

гноз). Авторы обзора должны применять эти критерии как при отборе исследований, так и при оценке достоверности результатов включенных исследований (см. рисунок и табл. 2).

ВОСПРОИЗВОДИМЫ ЛИ РЕЗУЛЬТАТЫ ОЦЕНКИ ОРИГИНАЛЬНЫХ ИССЛЕДОВАНИЙ?

Как уже упоминалось, при составлении систематического обзора необходимо определить, какие исследования в него включать, насколько достоверны их результаты и какие данные следует отбирать. Принятие таких решений требует экспертной оценки, при этом также не исключено возникновение случайных и систематических ошибок. Участие нескольких экспертов в принятии каждого решения предотвращает появление ошибок; если степень согласованности мнений экспертов была высокой, врач может с большей уверенностью доверять результатам обзора (см. главу 2С на компакт-диске).

ИСПОЛЬЗОВАНИЕ РЕКОМЕНДУЕМОГО ПОДХОДА ПРИ ОЦЕНКЕ ОБЗОРА

Вернемся к нашему основному примеру. В найденный вами Кокрановский систематический обзор включались испытания, в которых у участников был диагностирован ишемический инсульт (наличие геморрагического инсульта исключали с помощью компьютерной томографии) [1]. Все участники рандомизированно распределялись в группы тромболитической терапии или ее отсутствия; во всех испытаниях анализ данных, проводимый в зависимости от назначенного лечения, либо точно проводился, либо мог быть проведен (см. главу 2В1 на ком- пакт-диске). Такой анализ подразумевает, что данные обо всех участниках рассматриваются в соответствии с первоначальным отнесением к той или иной группе, независимо от реально полученного лечения. Вы предполагаете, что результаты лечения могут существенно различаться при начале лечения в ранние или более поздние сроки, при более выраженных или незначительных неврологических нарушениях, на фоне применения разных тромболитических препаратов, при использовании различных способов оценки функционального статуса и при разной длительности наблюдения. Однако вы не знаете, в какой степени указанные факторы влияют на клинические исходы, и полагаете, что обобщение данных обо всех больных, вмешательствах и клинических исходах может оказаться информативным.

Составители обзора проводили поиск в Кокрановском реестре контролируемых испытаний и базе данных EMBASE. Дополнительно они осуществляли ручной поиск в ряде журналов на японском языке, лично обращались к представителям 321 фармацевтической компании и к ведущим исследователям из Европы, США, Японии и Китая; посетили несколько международных симпозиумов по лечению инсульта; изучили библиографические ссылки из найденных статей. Похоже, им удалось выявить все исследования по данной тематике.

В 7 из 17 включенных в обзор исследований для сокрытия порядка отнесения больных к группе лечения или контроля использовался метод централизованной рандомизации. В 13 исследованиях слепой метод применялся в отношении больных и медицинского персонала; для этого тромболитические препараты и плацебо заранее расфасовывались в одинаковые внешне флаконы, которые затем были запечатаны. Однако из-за возможного развития геморрагических осложнений, связанных с использованием тромболитических препаратов, сокрытие информации от больных и врачей могло оказаться неэффективным, что повышало важность применения слепого метода в отношении лиц,

оценивающих клинические исходы. Тем не менее это было сделано лишь в 4 исследованиях. В обзоре не сообщалось о числе участников, которые не наблюдались до конца каждого из исследований.

Один из авторов обзора принимал решение о соответствии найденных исследований критериям включения; другой отбирал необходимые данные, затем уточнял их с помощью руководителей первичных исследований и исправлял все выявленные ошибки В 10 исследованиях авторы обзора смогли оценить функциональный статус отдельных больных (в баллах по шкале Рэнкина). Если этот показатель составляет менее 2 баллов из 5 возможных, больной не нуждается в постороннем уходе [32], поэтому оценку, составлявшую от 3 до 5 баллов, исследователи считали признаком неблагоприятного клинического исхода. В двух других исследованиях не удалось получить данных об отдельных больных, там в качестве такого признака была выбрана оценка, равная 2 баллам и более.

В целом методологическое качество найденного вами систематического обзора (и включенных в него исследований) можно считать достаточно высоким.

КАКОВЫ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ?

БЫЛИ ЛИ СХОДНЫМИ РЕЗУЛЬТАТЫ РАЗНЫХ ПЕРВИЧНЫХ ИССЛЕДОВАНИЙ?

В большинстве систематических обзоров указываются важные различия между включенными первичными исследованиями в характеристиках больных, вмешательствах, критериях оценки клинических исходов и методах. Поэтому, как правило, нельзя ответить определенно на предварительный вопрос о том, будет ли эффективность лечения одинаковой у всех больных, при любых применявшихся вмешательствах и при рассмотрении любых клинических исходов.

К счастью, существует решение этой проблемы. По завершении обзора исследователи должны представить результаты в таком виде, чтобы можно было проверить обоснованность исходного допущения о схожести результатов отдельных исследований.

Прежде чем сделать вывод о схожести результатов, достаточной для расчета общих показателей эффективности лечения, которые будут применимы у участников всех исследований, при всех применявшихся вмешательствах и при любых клинических исходах, необходимо оценить два важных момента (см главу 2Е на компакт-диске) Во-первых, насколь-

ко сходны значения размера эффекта при его точечной оценке в ходе отдельных исследований? Чем больше различаются эти значения, тем больше сомнений должно вызывать у врача решение авторов обзора обобщить результаты.

Во-вторых, насколько выявленные различия между результатами отдельных исследований превосходят те, которые можно было бы ожидать при влиянии фактора случайности? Читатель может провести предварительную оценку, исследуя степень, в которой доверительные интервалы перекрывают друг друга. Чем она выше, тем большее доверие вызывает решение авторов обзора обобщить результаты этих исследований. Если доверительные интервалы вообще не перекрываются, то это свидетельствует о наличии существенных различий в результатах, требующих дополнительного разъяснения (см. главу 2Е на компактдиске).

Практикующие врачи могут также обратиться к формальному статистическому анализу (тесты на гетерогенность), с помощью которого оценивается степень различия между разными выборками, группами или популяциями. Если при проведении теста на гетерогенность значение р низкое (например, <0,05), наблюдаемые различия в размере эффекта скорее всего нельзя объяснить лишь влиянием фактора случайности (см. главу 2В2 на компакт-диске). К сожалению, при более высоких значениях/? (0,1 или даже 0,3) нельзя однозначно исключить наличие важной гетерогенности, поскольку тест обладает недостаточной статистической мощностью в тех случаях, когда число включенных в обзор исследований и размер выборки в каждом из них были небольшими. Поэтому при наличии существенных различий между отдельными исследованиями в величине лечебного эффекта следует крайне осторожно относиться к общему показателю, рассчитанному авторами обзора (даже если результаты теста на гетерогенность оказались статистически незначимыми). И наоборот, если различия между результатами отдельных исследований клинически незначимы, выявленная гетерогенность (даже статистически значимая) не имеет большого значения (см. главу 2Е на ком- пакт-диске).

Авторы обзоров всегда должны пытаться объяснить различия в результатах включенных в обзор исследований. Возможными объяснениями могут быть различия в характеристиках больных (так, тромболитическая терапия при остром инфаркте миокарда может оказаться гораздо более эффективной у больных, поступивших в стационар вскоре после возникновения болей в грудной клетке, по сравнению с больными, госпитализированными позднее), вмешательствах (например, ТАП может

быть эффективнее стрептокиназы), методах оценки клинических исходов (например, размер эффекта может существенно различаться при оценке клинического исхода через месяц или через год после инфаркта миокарда) или методах исследования (например, размер эффекта может быть меньше в тех случаях, когда применяется слепой метод или до конца исследования наблюдается большее число участников). Но даже тщательный поиск причин неоднородности результатов, будучи желательным и даже необходимым, может дезинформировать читателя (см. главу 2Е на компакт-диске). Что же должен делать врач, если эти причины не вполне ясны? Мы рассмотрим этот вопрос при обсуждении применимости результатов систематического анализа на практике.

КАКОВЫ ОБЩИЕ РЕЗУЛЬТАТЫ ОБЗОРА?

В ходе клинических исследований собираются данные об отдельных больных. Из-за ограниченных возможностей человеческого мозга при обработке большого объема информации исследователи пользуются статистическими методами для ее обобщения и анализа. Авторы систематических обзоров собирают данные об отдельных исследованиях и также должны обобщить информацию, причем все чаще применяют для этого количественные методы.

Простое сопоставление числа исследований с отрицательными и положительными результатами недостаточно для их обобщения. При таком подходе крупные и небольшие исследования будут иметь одинаковый вес; и (пусть это выглядит неправдоподобно) результаты какого-либо определенного исследования один автор обзора может счесть положительными, а другой — отрицательными [33]. Например, небольшой и статистически незначимый эффект вмешательства можно расценить как положительный (с точки зрения его клинической значимости) и как отрицательный (по причине его статистической незначимости). Отмечается тенденция к игнорированию небольших, но важных с клинической точки зрения эффектов вмешательств, если результаты исследования (статистически незначимые, но важные с клинической точки зрения) рассматриваются как отрицательные [34]. Более того, читатель не может судить о размере эффекта при простом сопоставлении числа исследований с положительными и отрицательными результатами, даже если эти результаты классифицированы правильно с использованием дополнительных критериев.

Обычно при проведении мета-анализа отдельным исследованиям присваивают определенный вес (более крупные исследования характеризуются при этом большим весом). Таким образом, обобщенный ре-

зультат отражает средневзвешенное значение результатов индивидуальных исследований (см. главу 2Е на компакт-диске). Иногда больший или меньший вес исследования определяется его качеством, тогда исследования самого низкого методологического качества могут иметь нулевой вес и исключаться либо на этапе первичного анализа данных, либо при проведении вторичного анализа, в ходе которого оценивается степень зависимости между разными исходными допущениями и соответствующими результатами (анализ чувствительности).

Подход к рассмотрению общих результатов систематического обзора должен быть таким же, как и при оценке результатов первичных исследований. В систематическом обзоре, посвященном методам лечения, важно обратить внимание на такие показатели, как относительный риск и снижение относительного риска или отношение шансов (см. главу 2В2 на компакт-диске). В систематических обзорах, посвященных вопросам диагностики, следует обращать внимание на итоговую оценку отношенияправдоподобия(см.главу&Диагностическиеметоды).

Иногда критерии оценки клинических исходов, применявшиеся в разных исследованиях, похожи, но не идентичны. Например, для оценки функционального статуса могли быть использованы разные шкалы. Если характеристики больных и вмешательств в достаточной мере схожи, расчет среднего эффекта вмешательства (его влияния на функциональный статус) может быть оправданным. В частности, это можно сделать, если выразить результаты каждого из исследований в виде такого показателя, как размер эффекта [35]. Размер эффекта рассчитывается как разница между величиной изучаемого клинического исхода в основной и контрольной группе, деленная на стандартное отклонение. Расчет размера эффекта для каждого исследования позволяет выразить это различие в единицах стандартного отклонения, после чего авторы обзора могут подсчитать средневзвешенный размер эффекта даже в тех случаях, когда в разных исследованиях использовались разные критерии оценки клинического исхода.

Однако по размеру эффекта не всегда легко судить о его клинической значимости. Например, вы узнаете, что средневзвешенное значение размера эффекта составляет половину стандартного отклонения. Можно ли считать такой эффект клинически важным? Для ответа на подобный вопрос необходимо выразить результаты в другой форме, более пригодной для оценки клинической значимости (например, снова перевести размер эффекта в первичные показатели клинического исхоДа) [36]. Так, врачи могут хорошо представлять себе клиническую значимость различий в результатах теста с ходьбой, выявляемых при хро-

нических заболеваниях легких. Исследователи или авторы обзораЪогут рассчитать размер эффекта на основании целого ряда показателей, позволяющих судить о функциональном статусе (например, объединив результаты не только теста с ходьбой, но и лестничной пробы); однако для удобства врачей размер эффекта можно выразить только в виде результатов теста с ходьбой [37].

Хотя количественное обобщение результатов весьма желательно, оно не всегда возможно. В таких случаях авторы обзора должны представить таблицы или диаграммы, в которых сопоставляются результаты первичных исследований.

НАСКОЛЬКО ТОЧНЫ РЕЗУЛЬТАТЫ ОБЗОРА?

При анализе результатов нескольких первичных исследований можно рассчитать не только средний размер эффекта, но и его доверительный интервал, т.е. диапазон значений, которые с заранее определенной вероятностью (обычно равной 95%) включают в себя истинный размер эффекта (см. главу 2В2 на компакт-диске).

ИСПОЛЬЗОВАНИЕ РЕКОМЕНДУЕМОГО ПОДХОДА ПРИ ОЦЕНКЕ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ

Снова вернемся к нашему основному примеру. В 4 включенных в обзор РКИ применяласьстрептокиназа, в3 РКИ —урокиназа, в2 РКИ

— проурокиназа, в 8 РКИ — ТАП. В 6 РКИ смертность в течение первых 7—10дней после инсульта составила 16,6% среди больных, получавших тромболитические препараты, и 9,8% в контрольной группе (ОШ=1,85 при 95% ДИ от 1,48 до 2,32). При проведении теста на гетерогенностьзначениерприближалоськуровнюстатистическойзначимости; при включении в анализ только РКИ, в которых применялся ТАП, его значение было ниже и не достигало уровня статистической значимости (ОШ=1,24 при 95% ДИ от 0,85 до 1,81). При анализе данных, полученных в ходе 11 РКИ, авторы обзора показали, чтотромболитическаятерапия повышает частоту развития смертельных внутричерепных кровоизлияний с 1,0 до 5,4% (ОШ=4,15 при 95% ДИ от 2,96 до 5,84; результаты всех РКИ были достаточно сходными).

При итоговой оценке клинических исходов (в 6 РКИ — через 1 мес после инсульта, в 9 РКИ — через 3 мес, в 2 РКИ — через 6 мес) было выявлено повышениесмертностис 15,9до 19% (ОШ=1,31 при 95%ДИ от 1,13 до 1,52). Результаты разных РКИ оказались весьма неоднородными (р<0,01).