81
|
[69,1; 93,7] |
[72,3; 97,9] |
|
|
Отношение правдоподобия |
3,0 |
3,0 |
|
|
положительного результата |
0,793 |
|||
[2,0; 5,9] |
[1,9; 5,2] |
|||
(ед.) |
|
|||
|
|
|
||
Отношение правдоподобия |
0,5 |
0,5 |
|
|
отрицательного результата |
0,038 |
|||
[0,3; 0,7] |
[0,2; 0,7] |
|||
(ед.) |
|
|||
|
|
|
||
Прогностическая ценность |
16,7 |
18,5 |
|
|
положительного результата |
0,007 |
|||
[11,6; 28,6] |
[12,1; 50,0] |
|||
(%) |
|
|||
|
|
|
||
Прогностическая ценность |
96,8 |
97,2 |
|
|
отрицательного результата |
0,028 |
|||
[95,7; 98,3] |
[95,8; 98,8] |
|||
(%) |
|
|||
|
|
|
||
Точность (%) |
82,0 |
85,0 |
0,014 |
|
[69,8; 91,0] |
[72,0; 94,0] |
|||
|
|
В отличие от результатов тестирования на предыдущей выборке (75
специалистов), врачи-рентгенологи с опытом работы в торакальной радиологии не показали преимущества в анализе рентгенограмм перед своими коллегами без указанного опыта, а скорее наоборот, уступили им в некоторых показателях диагностической эффективности (Рисунок 25). Так, показатель чувствительности у врачей с опытом работы в торакальной радиологии составил 57,8%, тогда как у врачей без указанного опыта – 64,9% (Таблица 10). Показатель специфичности также был выше у врачей без опыта работы в торакальной радиологии и составил
82,1%. Согласно результатам, специалисты с опытом работы в торакальной радиологии в 42,2% случаев пропускали имеющуюся патологию на цифровой рентгенограмме и в 20,9% ошибочно интерпретировали снимок без патологических изменений как рентгенограмму с патологией в легких. Их коллеги без указанного опыта работы получили показатель гиподиагностики – 35%,
гипердиагностики – 17,9%.
82
Рисунок 25 – Площадь под кривой для врачей рентгенологов с наличием опыта работы в торакальной радиологии (а), без указанного опыта (б)
Таблица 11 – Сводные данные по показателям правильных ответов среди результатов очного и онлайн-тестирования врачей-рентгенологов
Процент |
|
|
|
Без опыта |
С опытом |
|
правильных |
Общий |
до 10 лет |
более 10 лет |
|||
работы |
работы |
|||||
ответов |
|
|
|
|||
|
|
|
|
|
||
Очное |
73,3 |
73,1 |
72,5 |
72,5 |
75 |
|
тестирование |
||||||
|
|
|
|
|
||
Онлайн- |
80,2 |
80,0 |
82,4 |
81,1 |
77,8 |
|
тестирование |
||||||
|
|
|
|
|
Рекомендовано к изучению разделом по лучевой диагностике сайта https://meduniver.com/
83
84
По результатам анализа интерпретации случаев с наличием разных округлых образований в легких врачами-рентгенологами было выяснено, что наибольшие затруднения вызвала рентгенограмма со случаем N4 (Рисунок 26) с
локализацией солидного образования в апикальном отделе верхней доли левого легкого согласно данным компьютерной томографии и визуализируемого за тенью ключицы на цифровой рентгенограмме в передней прямой проекции.
Процент ошибочных интерпретации рентгенограммы с данным случаем составил
48,4%, при этом 56,2% врачей-рентгенологи с наличием опыта работы в торакальной радиологии ошиблись в интерпретации данного случая, тогда как среди врачей без указанного опыта допустили ошибку 45,9% специалистов
(Таблица 12). Большее количество врачей-рентгенологов, неверно интерпретировавших рентгенограмму со случаем N4, было среди специалистов со стажем работы более 10 лет и составило 54,9% против 46,8% врачей-
рентгенологов со стажем менее 10 лет.
Рисунок 26 – Данные лучевого обследования, Случай N4, пациент с саркомой в С1+2 левого легкого
Наряду с этим, затруднения вызывали рентгенограммы с локализацией патологических изменений за тенью 1 ребра и частично за тенью средостения
(случаи N1 и N2), при которых процент ошибок врачей-рентгенологов составил
43,8% и 46,5% соответственно. Наибольшее количество ошибок в интерпретации рентгенограмм с указанными двумя случаями были среди врачей со стажем
Рекомендовано к изучению разделом по лучевой диагностике сайта https://meduniver.com/
85
работы более 10 лет, среди которых ошибку допустили 56,9% врачей при анализе случая N1 и 58,8% врачей при анализе случая N2.
Наибольший процент правильных ответов был получен при анализе цифровых рентгенограмм с наличием образований солидной структуры и локализацией их в проекции межреберий, как в случаях N5 и N6 и составил 83,3%
и 92,6% соответственно среди полученных результатов анализа рентгенограмм врачами-рентгенологами, существенно не отличаясь в зависимости от стажа работы и наличия опыта работы в торакальной радиологии.
86
ГЛАВА 4. СРАВНИТЕЛЬНЫЙ АНАЛИЗ ВОЗМОЖНОСТЕЙ РАЗЛИЧНЫХ
СИСТЕМ АВТОМАТИЧЕСКОГО АНАЛИЗА РЕНТГЕНОЛОГИЧЕСКИХ
ИЗОБРАЖЕНИЙ У ПАЦИЕНТОВ С ПОДОЗРЕНИЕМ НА ОКРУГЛОЕ
ОБРАЗОВАНИЕ
Для изучения возможности применения систем автоматического анализа рентгенологических изображений в передней проекции для выявления округлых образований в легких была проведена аналитическая валидация четырех программ (A, B, C, D) для анализа рентгенограмм грудной клетки, которые позиционируют себя как системы, способные автоматически выявлять и размечать патологические изменения на рентгенограммах органов грудной клетки в передней проекции.
Аналитическая валидация проводилась на трех сформированных выборках с различной частотой встречаемости патологических изменений:
Выборка 1 (5150 рентгенограмм, из которых 150 (3%) рентгенограммы с различными патологическими состояниями, проявляющимися синдромом округлого образования);
Выборка 2 (100 рентгенограмм, из которых 6 (6%) рентгенограммы с различными патологическими состояниями, проявляющимися синдромом округлого образования);
Выборка 3 (300 рентгенограмм, из которых 150 (50%) рентгенограммы с различными патологическими состояниями, проявляющимися синдромом
округлого образования).
Показатели диагностической эффективности первой из тестируемых
программ (программа А) представлены в таблице 13 и на рисунке 27.
Рекомендовано к изучению разделом по лучевой диагностике сайта https://meduniver.com/
87
Таблица 13 – Показатели диагностической эффективности программы A при
выявлении округлых образований в легких на обзорных рентгенограммах в
передней проекции
Показатель диагностической |
Выборка 1 |
Выборка 2 |
Выборка 3 |
|
эффективности |
||||
|
|
|
||
Чувствительность |
55% |
83,3% |
55% |
|
Специфичность |
96% |
99% |
99% |
|
Отношение правдоподобия |
12,633 |
78,333 |
83,000 |
|
положительного результата |
||||
|
|
|
||
Отношение правдоподобия |
0,467 |
0,168 |
0,450 |
|
отрицательного результата |
||||
|
|
|
||
Прогностическая ценность |
0,275 |
0,833 |
0,988 |
|
положительного результата |
||||
|
|
|
||
Прогностическая ценность |
0,986 |
0,989 |
0,690 |
|
отрицательного результата |
||||
|
|
|
||
Точность |
94% |
98% |
77% |
Рисунок 27 – ROC-кривые по результатам анализа программой А выборки 1 (а),
выборки 2 (б), выборки 3 (в)
88
Согласно клиническим рекомендациям по испытаниям программного обеспечения на основе технологий искусственного интеллекта [18], программа A,
получив AUC – 0,825 при анализе выборки 1, могла бы быть допущена к дальнейшей клинической валидации. Показав высокую специфичность (96%) и
невысокую чувствительность (55%), программа А получила высокое значение показателя отношения правдоподобия положительного результата – 12,633 [44].
При анализе выборки 2 с более высоким показателем распространенности патологии, программа А также может быть допущена к клинической валидации
(AUC – 0,911), при этом следует отметить, что показатель площади под кривой увеличился по сравнению с результатами исследования на предыдущей выборке 1
(AUC - 0,825) [44]. Как и при анализе выборки 1 был получен высокий показатель специфичности (99%), что в свою очередь находит свое отражение и в значении показателя прогностической ценности отрицательного результата 0,989.
Показатель чувствительности стал выше – 83,3%, при этом показатель прогностической ценности положительного результата составил 0,833. Как и при анализе выборки 1, было получено высокое значение отношения правдоподобия положительного результата (78,3).
Следующим этапом тестирования программы А было испытание ее диагностической эффективности на выборке 3, распространенность патологии в которой составила 50%. И по результатам этого этапа исследования программа не прошла пороговое значение допуска к клинической валидации, получив значение
AUC – 0,770 [44]. Вместе с тем показатель специфичности остается на высоком уровне – 99%. Значение показателя чувствительности же оказалось довольно низким – 55%.
Это может служить основанием для вывода о том, что использование данной программы в условиях диагностического пульмонологического центра с преобладанием пациентов с патологическими изменениями в легких не будет эффективным. В то же время следует обратить внимание на возможность прохождения клинической валидации с целью ее применения при скрининговых исследованиях органов грудной клетки [44].
Рекомендовано к изучению разделом по лучевой диагностике сайта https://meduniver.com/
89
По результатам более детального анализа полученных результатов при тестировании программы A на выборке 3 было пропущено 40% всех случаев туберкулеза и 43% всех случаев рака легкого.
Программа B также была протестирована на всех трех выборках (Таблица
14, Рисунок 28).
Таблица 14 – Показатели диагностической эффективности программы B при выявлении округлых образований в легких на обзорных рентгенограммах в передней проекции
Показатель диагностической |
Выборка 1 |
Выборка 2 |
Выборка 3 |
|
эффективности |
||||
|
|
|
||
Чувствительность |
54% |
50,0% |
54% |
|
Специфичность |
91% |
100% |
100% |
|
Отношение правдоподобия |
5,732 |
|
- |
|
положительного результата |
|
|||
|
|
|
||
Отношение правдоподобия |
0,508 |
0,500 |
0,460 |
|
отрицательного результата |
||||
|
|
|
||
Прогностическая ценность |
0,147 |
1,000 |
1,000 |
|
положительного результата |
||||
|
|
|
||
Прогностическая ценность |
0,985 |
0,969 |
0,685 |
|
отрицательного результата |
||||
|
|
|
||
Точность |
90% |
97% |
77% |
90
Рисунок 28 – ROC-кривые по результатам анализа программой B выборки 1 (а),
выборки 2 (б), выборки 3 (в)
По результатам анализа выборки 1 программа В получила значение AUC – 0,723, не преодолев допустимый порог AUC - 0,810, необходимый для дальнейшей рекомендации к продолжению клинической валидации продукта.
Наряду с этим программа B имеет довольно высокий показатель специфичности
(91%) и аналогично программе А невысокий показатель чувствительности (54%).
Показатель же отношения правдоподобия положительного результата составил
5,732.
При тестировании программы B на выборке 2 с более высоким показателем распространенности (6%) система показала себя несколько лучше, получив более высокое значение AUC – 0,750, но допуск к клинической валидации также получен не был. Наряду с этим был получен максимальный показатель
Рекомендовано к изучению разделом по лучевой диагностике сайта https://meduniver.com/