Введение
Ранее неоднократно описана практическая ценность компьютерной томографии (КТ) органов грудной клетки для диагностики пациентов с подозрением на коронавирусную инфекцию (COVID-19) [1]. Несмотря на то что «золотым стандартом» для клинической диагностики COVID-19 является полимеразная цепная реакция с обратной транскрипцией (ОТ-ПЦР), у КТ есть одно несомненное преимущество перед ОТ-ПЦР: скорость выполнения (до 15 мин) [2]. При этом ключевым фактором является правильная интерпретация результатов КТ-исследования.
В условиях пандемии в ГБУЗ «НПКЦ ДиТ ДЗМ» Москвы при участии экспертного профессионального сообщества разработаны методические рекомендации по организации, проведению и интерпретации результатов лучевой диагностики при COVID-19 [3]. Для стандартизации была внедрена упрощенная система оценок степени тяжести поражения легочной ткани по шкале «КТ 0—4». Также проведены исследования, оценивающие специфичность КТ для диагностики пневмонии при COVID-19 по сравнению с другими заболеваниями легких и диагностическую точность этого метода для определения необходимости госпитализации пациентов с COVID-19 [4, 5]. Дополнительно разработаны методические рекомендации по дифференциальной диагностике COVID-19 от других патологических изменений легких у госпитализированных пациентов [6].
В 2020 г. проведена целостная мобилизация службы лучевой диагностики Москвы, включающая Эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и его дальнейшего применения в системе здравоохранения города Москвы (далее — Эксперимент) [7]. В связи с эпидемией новой коронавирусной инфекции в Эксперимент была включена отдельная задача по анализу КТ органов грудной клетки для диагностики поражений легких при COVID-19 [8]. До запуска Эксперимента была проведена подготовительная работа по разработке методологии проведения клинических испытаний технологий искусственного интеллекта (ИИ) [9]. Поскольку в начале 2020 г. компании — разработчики алгоритмов ИИ, способные участвовать в Эксперименте, остро нуждались в КТ-данных с проявлениями COVID-19 для обучения и валидации сервисов ИИ, ГБУЗ «НПКЦ ДиТ ДЗМ» Москвы подготовил и опубликовал в открытом доступе один из наиболее крупных в мире наборов данных КТ грудной клетки с изменениями в легких при COVID-19 [10]. Алгоритмы ИИ, основанные на использовании этого набора, способны проводить дифференциальную диагностику COVID-19, бактериальной пневмонии и злокачественных новообразований по данным КТ [11].
В ходе реализации Эксперимента были подведены промежуточные итоги внедрения сервисов ИИ для диагностики COVID-19, однако оригинальное исследование по оценке влияния ИИ на время работы врача-рентгенолога в стационарных медицинских организациях не выполнялись [12].
Цель исследования — оценить влияние алгоритма ИИ на скорость описания результатов КТ органов грудной клетки при подозрении на COVID-19 в стационарном звене городского здравоохранения.
Материал и методы
Дизайн исследования. Ретроспективное исследование выполнено на материалах Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и его дальнейшего применения в системе здравоохранения города Москвы (протокол зарегистрирован в международной базе данных ClinicalTrials.gov, NCT04489992). Проведение Эксперимента было одобрено независимым этическим комитетом МРО РОРР.
Материалы исследования. В период с 08.04.20 по 01.12.20 в медицинских организациях Москвы были выполнены КТ-исследования органов грудной клетки пациентов с подозрением на COVID-19 в соответствии с действующей нормативно-правовой базой. В рамках Эксперимента часть автоматизированных рабочих мест врачей-рентгенологов была оснащена технологиями ИИ — так называемыми ИИ-сервисами, интегрированными в Единый радиологический информационный сервис в составе Единой медицинской информационно-аналитической системы Москвы (ЕРИС ЕМИАС). При формировании протоколов врачи-рентгенологи могли использовать данные автоматизированного анализа результатов лучевых исследований. В любом случае оценка степени поражения легочной ткани при COVID-19 проводилась по шкале «КТ 0—4». В соответствии с планом маршрутизации результатов лучевых исследований в рамках Эксперимента 390 врачей-рентгенологов могли применять ИИ-сервисы при интерпретации результатов КТ пациентов с COVID-19. Контрольную группу составили 57 врачей-рентгенологов, проводивших аналогичные описания, но без автоматизации.
Анализ длительности описаний результатов КТ выполняли с учетом принципов аналитического (поэлементного) метода нормирования труда. Определяли вид работ в соответствии с действующей номенклатурой: описание и интерпретацию компьютерных томограмм. Способом получения информации являлась выгрузка данных отчетности в информационной системе в сфере здравоохранения субъекта Российской Федерации. Данные получали по сформированному запросу из ЕРИС ЕМИАС при содействии сотрудников Департамента информационных технологий Москвы. Временем подготовки описания считали период от момента регистрации исследования в системе ЕРИС ЕМИАС до момента визирования заключения врачом-рентгенологом.
В исследование были включены данные о длительности описаний результатов КТ органов грудной клетки без внутривенного контрастирования, которые были выполнены в 105 медицинских организациях стационарного звена здравоохранения Москвы. Всего для анализа были отобраны 66 512 исследований. Использовали следующие критерии включения и исключения данных.
Критерии включения: КТ-исследования органов грудной клетки мужчин и женщин, направленные на исследование с подозрением на пневмонию COVID-19; КТ-исследования, проведенные в стационарных медицинских организациях; оценка поражения легочной ткани проведена по шкале КТ 0—4 [3]; формирование протоколов описания КТ выполнено в ЕРИС ЕМИАС; возраст пациентов от 18 до 90 лет.
Критерии исключения: КТ-исследования, в заключении которых указаны прочие изменения, не связанные с вирусной пневмонией.
Оборудование и КТ протокол. КТ-исследования проводили на компьютерных томографах (Toshiba Aquilion 64, Canon Medical Systems, Япония; HiSpeed GE, США; Optima CT 660, GE, США; Somatom Emotion 16, Siemens, Германия; Somatom Sensation 40, Siemens, Германия) по стандартным протоколам сканирования органов грудной клетки, рекомендуемым производителями.
Программное обеспечение на основе технологий искусственного интеллекта. Для анализа КТ-исследований использовали программное обеспечение «Гамма Мультивокс Ковирус» (номер свидетельства о государственной регистрации программы для ЭВМ RU 2020615776, eLibrary ID: 43885466), предназначенное для врачей-рентгенологов и анестезиологов-реаниматологов (рис. 1). Алгоритм в автоматическом режиме позволяет получить качественные и количественные данные о патологических областях легких, что является основой для тактики ведения пациентов с COVID-19.
Рис. 1. КТ-изображение с автоматической обработкой алгоритмом «Гамма Мультивокс Ковирус» (а), c дополнительной суммарной информацией о поражении легких (б) и информацией в формате DICOM SR, доступной рентгенологу во время формирования заключения (в).
Программа обеспечивает выполнение следующих функций:
— регистрацию изображений легких в стандарте DICOM после проведения КТ, построение трехмерных (3D) изображений легких;
— обработку изображений с целью сегментации патологических изменений («матовое стекло», плотное «матовое стекло», уплотнения/консолидация, сосуды) и вычисление их объемов с последующей цветной маркировкой;
— представление результатов вычисления объемов поражений легких в виде таблицы для оценки при динамических обследованиях и принятия лечебных решений в процессе ведения пациентов с коронавирусной инфекцией.
Методы статистического анализа. В статистический анализ были включены все имеющиеся данные по длительности интерпретации КТ органов грудной клетки в стационарном звене при использовании системы ИИ и без нее. Для представления результатов использовали методы описательной статистики с указанием следующих характеристик: число непропущенных значений (N), минимальное значение (min), максимальное значение (max), арифметическое среднее (M), стандартное отклонение (SD), 95% доверительный интервал (ДИ) для среднего, медиана (Me), первый (Q1) и третий (Q3) квартили. С учетом отличного от нормального распределения, медиана и среднее являлись взаимодополняемыми характеристиками. В связи с этим представлялось целесообразным давать обе эти характеристики центральной тенденции. В силу центральной предельной теоремы (CLT) любая статистическая характеристика выборки будет иметь нормальное распределение вне зависимости от распределения исходной величины. В связи с этим, учитывая очень большой размер выборки, правомерно использовать параметрические методы анализа. Таким образом, сравнение данных между группами врачей проводили с помощью t-теста. За уровень статистической значимости принимали значение 0,05 (двустороннее). Статистическую обработку данных выполняли с помощью программы Stata14.
Результаты
В исследование были включены 3133 исследования с признаками пневмонии COVID-19 для обработки врачом без системы ИИ (1-я группа) и 63 379 исследований для обработки с использованием ИИ (2-я группа). Детальная информация о длительности описаний в обеих группах представлена в (см. таблицу).
Описательная статистика данных по длительности интерпретации компьютерной томографии органов грудной клетки в стационарном звене (мин)
| Параметр | Врач-рентгенолог без ИИ | Врач-рентгенолог с ИИ |
| N | 3133 | 63 379 |
| Me | 184,6 | 130,3 |
| SD | 197,4 | 216,0 |
| 95% ДИ | 177,7—191,5 | 128,6—132,0 |
| Min | 0 | 0 |
| Max | 1420 | 1440 |
| Me | 103 | 46 |
| Q1 | 42 | 22 |
| Q3 | 278 | 130 |
| p (t-test) | <0,0001 | |
| Difference (95% ДИ) | 54,3 (46,6—62,0) | |
Медианная длительность описания в 1-й и 2-й группах составила 103,0 и 46,0 мин соответственно. Гистограмма длительности описания исследования в зависимости от группы представлена на рис. 2. Продолжительность интерпретации результатов КТ органов грудной клетки при использовании технологий ИИ была меньше, различия оказались статистически значимы (p<0,0001). Средняя длительность обработки исследования КТ органов грудной клетки при применении ИИ уменьшилась на 29,4%, медианная — на 55,3%.
Рис. 2. Медианная длительность описания КТ органов грудной клетки в группах «врач-рентгенолог с ИИ» (красные столбцы), «врач-рентгенолог без ИИ» (синие столбцы).
По оси абсцисс — длительность описания в минутах; по оси ординат — доля исследований в процентах.
Обсуждение
Результаты проведенного исследования показали, что алгоритм ИИ «Гамма Мультивокс Ковирус» снижает время обработки КТ органов грудной клетки пациентов с признаками COVID-19.
Результаты настоящей работы соответствуют данным, полученным в ретроспективном исследовании C. Jin и соавт. [13], в котором система ИИ превзошла врачей-рентгенологов по скорости описания компьютерных томограмм органов грудной клетки более чем на 90% (среднее время интерпретации составило 2,73 с против 6,5 мин). Преимуществом исследования C. Jin и соавт. являлась оценка системы ИИ на большом наборе данных, разделенном на несколько групп: исследования томограмм с признаками пневмонии COVID-19, гриппа, невирусной внебольничной пневмонии и другой патологии органов грудной клетки. Наряду с этим ограничением данной работы было сравнение системы ИИ только с 5 врачами-рентгенологами. В настоящем исследовании принимали участие более 300 рентгенологов стационарного звена Москвы.
В исследовании Q. Ni и соавт. [14] также была проведена оценка эффективности использования ИИ в рамках сокращения времени на интерпретацию компьютерных томограмм органов грудной клетки пациентов при пневмонии COVID-19: в среднем на обработку исследования системой ИИ уходило в 4 раза меньше времени, чем врачом. Тем не менее в этой работе оценка КТ органов грудной клетки проводилась 3 молодыми врачами-ординаторами на выборке из 96 пациентов, причем 87,5% компьютерных томограмм были сделаны в одном медицинском учреждении, что вводит определенные ограничения в воспроизводимости результатов.
Схожие результаты представлены и в исследовании J. Yao и соавт. [15], в котором система ИИ проводила оценку изображений примерно в 300 раз быстрее врача-рентгенолога. Несмотря на то, что, помимо молодых врачей, в сравнении участвовали специалисты с опытом более 10 лет, все равно система ИИ показала лучшую производительность. Таким образом, в очередной раз подтверждается эффективность использования систем ИИ в рамках большого потока исследований и высокой нагрузки на специалистов разного уровня.
Ранее были опубликованы данные, свидетельствующие о повышении эффективности работы рентгенологов в дифференции пневмонии COVID-19 от пневмонии другой этиологии с помощью ИИ-сервисов [16]. Так, в работе H. Bai и соавт. [16] было продемонстрировано, что рентгенологи с помощью системы ИИ достигали более высоких диагностических показателей, чем без нее, в том числе средней точности (90% против 85%), чувствительности (88% против 79%) и специфичности (91% против 88%). В работе Y. Yang и соавт. [17] было описано повышение при использовании ИИ средней точности и чувствительности исследований с 0,941 до 0,951 и с 0,895 до 0,942 соответственно, по сравнению с работой врачей-рентгенологов без участия ИИ. Однако, в отличие от настоящего исследования, в вышеуказанных работах авторы не проводили оценку скорости обработки исследований.
K. Zhang и соавт. [18] проводили исследование, где также сравнивали эффективность алгоритма ИИ и работы рентгенологов в диагностике пневмонии COVID-19, однако по системе взвешенных ошибок. В исследовании K. Zhang и соавт. рентгенологи были распределены по группам: младшая (с опытом работы от 5 до 15 лет), старшая (с опытом работы от 15 до 25 лет) и контрольная (с опытом работы более 25 лет). Было доказано, что система ИИ дает возможность повышения эффективности работы младших радиологов до уровня старших.
В проведенном Эксперименте в Москве сравнивали распределение категорий КТ 0—4 в заключениях врачей-рентгенологов, которые использовали результаты работы ИИ, и врачами, которые работали без ИИ [19]. По результатам проведенного исследования выяснилось, что врачи с помощью ИИ реже выставляли КТ0 и тяжелые степени поражения легких — КТ3—4. Таким образом, использование ИИ может позволить точнее определять степень поражения легких, что, в свою очередь, улучшит оценку для прогнозирования летальных исходов среди пациентов, которым выполнена КТ органов грудной клетки [20].
Приоритезация исследований в рабочем списке врача представляется другим способом повышения эффективности работы врача-рентгенолога с помощью ИИ. Так, на примере анализа КТ головного мозга при подозрении на внутричерепное кровоизлияние сортировка исследований с помощью систем ИИ на исследования с наличием или отсутствием патологии позволяет значительно сократить время, что критически важно в неотложных ситуациях [21, 22]. В рамках Эксперимента одним из базовых функциональных требования является наличие сообщений в единой системе уведомлений о наличии целевых патологических изменений как одного из результатов обработки исследований ИИ-сервисом [23].
Ограничение исследования. Настоящее исследование имеет ряд ограничений. Во-первых, это ретроспективный дизайн. Кроме того, оценку степени согласия рентгенологов осуществляли с одним алгоритмом ИИ «Гамма Мультивокс Ковирус», что не может гарантировать высокую эффективность остальных сервисов. Также, поскольку анализ диагностических показателей данного алгоритма регулярно выполняется в рамках Эксперимента [24], была рассмотрена только скорость интерпретации исследований.
Заключение
Применение технологий ИИ при интерпретации результатов КТ органов грудной клетки у пациентов с подозрением на COVID-19 сокращает медианную длительность описания (формирования протокола) в стационарном звене здравоохранения на 55,3%.
Увеличение производительности работы врачей-рентгенологов может повлиять на тактику ведения пациентов, оптимизируя скорость маршрутизации, улучшая прогноз заболевания и тем самым оказывая положительный эффект на систему здравоохранения в целом.
Участие авторов: концепция и дизайн исследования — С.П. Морозов, А.В. Владзимирский, В.А. Гомболевский; сбор и обработка материала — И.В. Архипов, Д.Д. Долотова, Т.А. Логунова, К.Б. Евтеева, А.Е. Андрейченко, О.В. Омелянская; статистическая обработка данных — И.А. Блохин, А.Е. Андрейченко; написание текста — Т.А. Корб, А.П. Гончар, И.А. Блохин, В.А. Гомболевский; редактирование — С.П. Морозов, А.В. Гаврилов, С.В. Царенко, М.А. Лысенко, В.Н. Сморщок, В.В. Паршин, А.В. Владзимирский.
Авторы заявляют об отсутствии конфликтов интересов.