Список сокращений

REDCap — информационная система управления данными (Research Electronic Data Capture)

TF-IDF — TF — характеристики частоты встречаемости слов для совокупности документов (Term Frequency Inverse Document Frequency)

MAE — средняя абсолютная ошибка прогноза (Mean Absolute Error)

ИИ — искусственный интеллект

Введение

Внедрение искусственного интеллекта (ИИ) в систему здравоохранения сегодня считают одним из самых перспективных направлений. Машинное обучение и другие технологии ИИ обладают большим потенциалом для научного обоснования, персонализации и повышения качества медицинской помощи вне зависимости от региона и страны ее оказания. Одна и та же информация, накопленная в электронных медицинских информационных системах, может применяться как для построения клинических алгоритмов, применимых в практической медицине, так и для эффективного управления. Для анализа этой информации, как правило, представленной в неструктурированном виде, целесообразно использовать технологии ИИ, важность развития которых определена в национальной стратегии развития ИИ в Российской Федерации до 2030 г., утвержденной Указом Президента Российской Федерации в 2019 г. [1].

В современном научном мире тема математического анализа для принятия решений в нейрохирургии становится все более актуальной. Об этом свидетельствует увеличение числа соответствующих публикаций, начиная с 1996 г. [2—6]. Общее количество научных исследований с использованием ИИ в нейрохирургии превышает несколько сотен [6, 7]. Однако этот вид математического анализа недостаточно применяется с целью рационирования нейрохирургической помощи и находится на стадии разработки.

Высокое качество оказания медицинской помощи подразумевает доверие пациента врачу и системе здравоохранения. Научно обоснованный прогноз длительности пребывания больного в стационаре после нейрохирургической операции важен для пациента и его родственников, но также может быть использован как инструмент планирования госпитализации внутри медицинской организации, что способствует развитию эксплицитного рационирования нейрохирургической помощи. Исследование, проведенное нами в 2020 г., показало, что сложившаяся с годами практика рационирования нейрохирургической помощи в федеральных центрах направлена на сокращение длительности госпитального периода [8]. В настоящее время в нейрохирургии не разработаны надежные модели прогноза продолжительности госпитализации и послеоперационного периода, извлекающие максимальное количество информации из неструктурированных медицинских данных.

Цель настоящего пилотного исследования — оценка качества прогностического моделирования длительности пребывания пациента в нейрохирургическом стационаре с использованием технологий ИИ и неструктурированных медицинских записей в сравнении с ожиданиями больного и врача.

Материал и методы

Пилотное исследование проводилось в трех временных точках (этапах исследования), которые схематично изображены на рис. 1.

Рис. 1. Схема исследования прогнозирования длительности госпитализации.

— Визит 0 соответствовал первому дню госпитализации пациента.

— Визит 1 соответствовал первому дню послеоперационного периода.

— Визит 2 соответствовал дню выписки.

1-м этапом (Визит 0) выполняли анкетирование пациента, который готовился к плановому нейрохирургическому лечению. Цель анкетирования — регистрация ожиданий больного в отношении длительности послеоперационного периода. На этом же этапе оперирующий нейрохирург давал экспертную оценку предполагаемого срока пребывания опрошенного пациента в стационаре. Производился расчет прогноза длительности госпитализации по неструктурированным текстовым данным первичного осмотра с помощью линейной регрессионной модели.

На 2-м этапе (Визит 1) у нейрохирурга, опрошенного ранее, уточняли ожидания длительности послеоперационного периода с учетом информации, полученной во время операции. Выполняли расчеты прогноза срока послеоперационного периода с помощью линейной регрессионной модели и искусственной нейронной сети с использованием данных первичного осмотра и протокола хирургического вмешательства.

На финальном этапе (Визит 2) проводили оценку точности экспертного и машинного прогноза, соответствие ожиданий пациента истинной длительности госпитализации, сравнение точности прогнозов врача, больного и математических моделей.

В соответствии со схемой исследования опрашивали 2 группы респондентов (пациентов и врачей).

Первая группа респондентов («Пациенты»)

Критериями отбора были:

— Возраст 18 лет и старше.

— Наличие нейрохирургической патологии: внутричерепной опухоли, экстракраниальной и интракраниальной сосудистой патологии или другой.

— Плановая госпитализация в ФГАУ «НМИЦ нейрохирургии им. акад. Н.Н. Бурденко» Минздрава России.

Опрос первой группы респондентов проводился только на 1-м этапе исследования (Визит 0).

Вторая группа респондентов («Врачи»)

Вторую группу составили врачи-нейрохирурги, участвующие в нейрохирургической операции (ассистент, оперирующий нейрохирург). Возраст, пол, нейрохирургический опыт, занимаемая должность, ученые степень и звания не учитывались. Опрос проводили на 1-м и 2-м этапах исследования с целью экспертной оценки продолжительности госпитализации у респондентов первой группы (Визит 0, Визит 1).

Сбор данных по результатам анкетирования выполняли с помощью информационной системы управления клиническими данными Research Electronic Data Capture (REDCap) через веб-браузер [9].

В качестве целевой переменной для машинного обучения рассматривали число койко-дней для законченного случая госпитализации. Модели обучали по неструктурированным текстовым данным НМИЦ нейрохирургии им. акад. Н.Н. Бурденко, накопленным в медицинской информационной системе «e-Med» за период с 2000 по 2017 г. Общее число законченных случаев нейрохирургического лечения за этот период составило 90 688.

На 1-м этапе (Визит 0) модель линейной регрессии [10] обучали с использованием текстовых записей первичного осмотра пациента:

— диагноз при поступлении;

— диагноз при первичном осмотре;

— жалобы пациента при первичном осмотре;

— анамнез жизни пациента;

— анамнез настоящего заболевания;

— соматический статус пациента при первичном осмотре;

— психический статус при первичном осмотре;

— неврологический статус пациента при первичном осмотре;

— осложнения, отмеченные при первичном осмотре;

— сопутствующие заболевания пациента;

— аллергостатус;

— данные первичного сестринского осмотра.

При подготовке к обучению линейной модели все тексты приводили к нижнему регистру, удаляли дополнительные пробелы. Логарифмировали значения целевой переменной.

При формировании признакового пространства для обучения линейной регрессии использовали концепцию «мешка слов» (bag of words). Тексты токенизировали по словам, выбирая из 2 или более буквенно-цифровых символов. Словарь ограничили наиболее часто встречающимися 150 тыс. словами. При его построении игнорировали понятия, которые встречались больше, чем в 80% документов, а также термины, которые находили во всем объеме текстов реже, чем 2 раза. Частоту употребления слов умножали на статистику TF-IDF (Term Frequency Inverse Document Frequency), сглаживая IDF-компонент за счет добавления l к частоте по документам. Каждый полученный вектор в признаковом пространстве имел единичную l2-норму.

Качество модели оценивали с помощью среднего абсолютного значения ошибки (MAE — Mean Absolute Error). Для корректного расчета метрики качества проводилась операция, обратная логарифмированию. Для оценки качества и подбора гиперпараметров модели использовали случайную кросс-валидацию по 5 фрагментам данных, а также отложенную выборку как 25% случайно взятых исходных текстов.

На 2-м этапе исследования (Визит 1), помимо линейной регрессии, использовали искусственную нейронную сеть rugpt3small_based_on_gpt2, предварительно обученную аналитиками Сбербанка России на большом количестве текстовых данных [11]. Для обучения линейной регрессии и дообучения нейросетевой модели использовали все вышеописанные текстовые данные первичного осмотра с добавлением названий и текстовых протоколов хирургических вмешательств. Использовали протоколы исключительно первой (за эпизод госпитализации) операции.

Процесс подготовки данных к обучению линейной регрессионной модели на 2-м этапе (Визит 1) не отличался от аналогичного процесса 1-го этапа (Визит 0). Для обучения нейросетевой модели была произведена иная предобработка текстовых данных. Пропуски в записях были заменены на пустые строки. Тексты одного законченного случая из отдельных полей конкатенировали через символ «\n» в одно единое поле, которое подавали на вход в модель. Тексты приводили к нижнему регистру. Значение целевой переменной логарифмировали. При токенизации символы приводили к нижнему регистру. Размер словаря составил 50 257 токенов. Модель и токенизатор, использованные в работе, приведены на сайте Hugging Face [12]. Для упрощения восприятия методологии исследования читателями-клиницистами мы опускаем технические детали обучения нейронной сети. Более подробно с этой методологией можно познакомиться в публикации G. Danilov и соавт. [14].

После обучения на наборах текстовых данных для 90 688 случаев нейрохирургического лечения, все модели были протестированы на данных пациентов настоящего проспективного исследования.

Программы для машинного обучения были написаны с помощью языка программирования Python (версия 3.6) в программной среде Jupyter Notebook (версия). Обучение моделей выполняли на суперкомпьютере NVIDIA DGX A100 НМИЦ нейрохирургии им. акад. Н.Н. Бурденко. Статистический анализ результатов тестирования выполнен с помощью языка статистического программирования R в IDE RStudio (версия 1.3.1093) [13]. Для сравнения точности прогноза математических моделей, врачей и пациентов в проспективном исследовании сравнивали распределения абсолютной ошибки прогноза (AE — absolute error), рассчитанной как модуль разности прогнозного и фактического значения длительности госпитализации в днях. Распределения абсолютной ошибки прогноза описывали с помощью медианы (MAE — Mean Absolute Error) и межквартильного размаха (IQR — Interquantile Range), представленного в виде интервала [25% квартиль распределения AE; 75% квартиль распределения AE]. Различия в распределениях количественных величин в нескольких группах проверяли с помощью критерия Краскела-Уоллиса, при попарном сравнении использовали критерий Манна-Уитни. Категориальные переменные в независимых группах сравнивали с помощью критерия Хи-квадрат и точного теста Фишера. Корреляционный анализ проводили с использованием коэффициента корреляции Спирмена. Нулевую гипотезу в статистических тестах отклоняли на уровне значимости p<0,05.

Результаты

В проспективном исследовании были получены данные 111 пациентов, госпитализированных для планового нейрохирургического лечения в НМИЦ нейрохирургии им. акад. Н.Н. Бурденко в период с 28 апреля по 14 мая 2021 г. Среди опрошенных пациентов были 62 (55,9%) женщины и 49 (44,1%) мужчин. Возраст респондентов варьировал от 18 лет до 81 года; средний возраст составил 53±15 лет (медиана — 54 [45;64] года) (рис. 2).

Рис. 2. Распределение респондентов (пациентов) по возрасту.

Красной пунктирной линией показана медиана возраста.

У 75 (67,6%) пациентов имелись сопутствующие заболевания, 69 (62,2%) получали постоянную лекарственную терапию. Все включенные в исследование больные были выписаны из стационара к моменту анализа данных. Средняя длительность госпитализации пациентов в выборке составила 7,5±2,8 койко-дней (медиана — 7 [6;9] койко-дней).

Распределение нейрохирургической патологии (основного заболевания) у опрошенных пациентов было следующим: интракраниальные опухоли — у 78 (70,3%); интракраниальная сосудистая патология — у 7 (6,3%); экстракраниальная сосудистая патология — у 5 (4,5%); гидроцефалия — у 5 (4,5%); другая нейрохирургическая патология (функциональные расстройства, реконструктивные операции и др.) — у 16 (14, 4%) больных.

Информированность пациентов об основном заболевании и предполагаемой длительности госпитализаци была следующей: 104 (93,7%) пациента отвечали, что получили разъяснения по поводу своего заболевания и тактики лечения от врача; 7 (6,3%) утверждали, что доктор не беседовал с ними об их заболевании; 80 (72,1%) сообщили, что информированы врачом-нейрохирургом о предполагаемой длительности госпитализации; 31 (27,9%) указал, что не обладает предварительной информацией о длительности госпитализации.

По результатам статистического анализа не было установлено значимой взаимосвязи длительности госпитализации пациента с его возрастом (p=0,201) и полом (p=0,708), наличием сопутствующих заболеваний (p=0,522), лекарственной терапией (p=0,683).

Предположения врача о длительности госпитализации пациента на дооперационном этапе (Визит 0, медиана ожиданий 7 [5;8] койко-дней) статистически значимо не отличались от фактической продолжительности госпитализации (p=0,169). При этом ожидания пациентов (Визит 0, медиана 7 [6, 10] койко-дней) практически совпадали с ожиданиями врачей на дооперационном этапе (p=0,106) и соответствовали фактической продолжительности госпитализации (p=0,888). У 92 (82,8%) пациентов расхождение в прогнозе с врачом на дооперационном этапе не превышало 3 дней.

В послеоперационном периоде (Визит 1) прогноз врача (медиана 7 [5;7]) статистически значимо (p=0,001) сместился в сторону меньших значений. При этом их распределение стало статистически значимо отличаться от фактической продолжительности госпитализации (p<0,001).

Распределения значений длительности госпитализации, ожидаемых пациентами и врачами до и после операции показаны на рис. 3.

Рис. 3. Распределение фактической и ожидаемой пациентом и врачом (до и после операции) длительности госпитализации в днях.

NS — отсутствие статистически значимых различий; *** — различия статистически значимы на уровне p<0,001; ** — различия статистически значимы на уровне p<0,01.

Машинный прогноз с использованием линейной регрессии на 1-м (медиана 12 [11;13]) и 2-м (медиана 11 [10;11]) этапах исследования имел относительно узкий диапазон значений и оказывался далек от истинной длительности госпитализации (p<0,001, рис. 4).

Рис. 4. Распределение значений машинного прогноза и общего числа койко-дней на графике «ящик с усами» (а) и графике плотностей распределений (б).

ЛР 1 — ridge-регрессионная модель, обученная на данных первичного осмотра; ЛР 2 — ridge-регрессионная модель, обученная на данных первичного осмотра и протоколов нейрохирургического вмешательства; *** — различия статистически значимы на уровне p<0,001.

Прогноз нейросетевой модели ruGPT3 на 2-м этапе исследования (Визит 1, медиана 8 [7;10]) был ближе к истинному распределению длительности госпитализации (рис. 5, б) по сравнению с линейной регрессионной моделью (p<0,001, рис. 5, а). Однако прогнозные значения нейросетевой модели статистически значимо отличались от фактических (p=0,03).

Рис. 5. Распределения результатов прогноза линейной и нейросетевой моделей и фактической длительности госпитализации в днях на графике «ящик с усами» (а) и графике плотностей распределений (б).

Минимальное количество ошибок в прогнозе было сделано врачами на послеоперационном этапе исследования (Визит 1). Так, ошибка прогноза не превышала 3 дня в 84 (75,7%) случаях для пациента и модели ruGPT3, в 90 (81,1%) — для врачей на дооперационном этапе и в 93 (83,8%) — для врачей на послеоперационном этапе.

На рис. 6 и в таблице представлены параметры распределения ошибок прогноза врача (до и после операции), пациента и нейросетевой модели ruGPT3. Распределение ошибок прогноза нейросетевой модели значимо не отличалось от такового для ошибки прогноза пациента. При этом медиана ошибок прогноза врача до операции была меньше на 1 день, чем у нейросетевой модели, и после операции врач делал более точный прогноз, чем модель (p=0,046).

Рис. 6. Распределение прогнозов пациентов, врачей и нейросетевой модели.

NS — отсутствие статистически значимых различий; * — различия статистически значимы на уровне p<0,05.

Таблица. Параметры распределений ошибок прогноза врача, пациента и нейросетевой модели

Обсуждение

Результаты проведенного исследования показали, что для наблюдаемой выборки пациентов экспертный прогноз срока госпитализации нейрохирургов в большинстве случаев соответствует фактической длительности плановой нейрохирургической госпитализации пациента с медианой абсолютной ошибки в 1 день. Нейрохирурги склонны уменьшать количество койко-дней при опросе после операции, что, возможно, связано с оправданным желанием выписать пациента в максимально короткий срок. Несмотря на то, что распределение ожиданий длительности госпитализации врача после операции статистически значимо отличается от распределения фактической продолжительности стационарного лечения, послеоперационный прогноз врача становится более точным по сравнению с дооперационным.

Персональные ожидания пациентов на дооперационном этапе соответствуют фактическому сроку госпитализации с медианой абсолютной ошибки в 2 дня, мало отличаются от ожиданий врача, что свидетельствует о хорошей информированности пациентов и об отсутствии асимметрии информации между врачом и пациентом на дооперационном этапе. В исследовании, проведенном нашей группой в 2020 г., показано, что по мнению нейрохирургов со стажем работы более 10 лет, информированность и осознанная готовность больного к операции с пониманием хода лечения и возможных осложнений является важным дополнительным фактором рационирования нейрохирургической помощи (p<0,039) [8]. Результаты, полученные во время социологического опроса нейрохирургов в 2020 г., согласуются с результатами данного исследования.

В настоящей работе модели линейной регрессии, обученные на текстовых данных, показали недостаточные прогностические свойства. Применение современной нейросетевой модели позволило приблизить машинный прогноз по точности к уровню врача и пациента — с медианой ошибки в 2 дня.

Новизна исследования заключается в формировании автоматизированного прогноза длительности госпитализации по первичным неструктурированным, текстовым клиническим данным и протоколам оперативного лечения. Аналогов такой работы в мировой литературе мы не обнаружили. При обучении нейросети был использован уникальный в мировом масштабе архив текстовых данных для 90 688 случаев законченного нейрохирургического лечения. Успешное обучение математической модели исключительно на текстовых параметрах имеет важное фундаментальное значение для исследований технологий ИИ в нейрохирургии. Работа демонстрирует:

1. высокую информативность большого числа текстов, созданных клиницистами, что позволяет переосмыслить ценность этого типа данных для вторичного использования в научных исследованиях;

2. возможность решения сложных прикладных задач с использованием текстовых данных и технологий ИИ;

3. основания для развития методов исследования клинических текстов большого объема для извлечения полезной информации.

Ограничения работы связаны с использованием исключительно текстовых данных для формирования прогноза, большим временным периодом сбора тестовых данных (два десятилетия), на протяжении которого менялась клиническая практика и экономические стандарты, потенциальными недостатками самих текстовых данных (отсутствием информации, опечатками, шаблонным заполнением истории болезни и т.д.).

Математическая модель, полученная в настоящей работе, не является самостоятельным и законченным решением для задачи прогноза длительности стационарного лечения в нейрохирургии. Целесообразно продолжить анализ с использованием структурированных данных, а также увеличить объем и репрезентативность выборки в проспективном исследовании. При этом в силу сопоставимости текущих результатов машинного прогноза с прогнозом экспертов, предложенные технологии уже могут применяться как методы ИИ для поддержки научно обоснованного прогноза длительности госпитализации в нейрохирургии. Представленную модель можно также использовать с целью администрирования внутренних ресурсов медицинской организации. Предложенный подход к прогнозированию длительности госпитализации может быть масштабирован и использован медицинскими учреждениями, в которых имеются большие цифровые архивы неструктурированных текстовых данных. Для каждого медицинского учреждения потребуется индивидуальное машинное обучение и настройка моделей. Описанное решение также может быть использовано для косвенной оценки рисков нейрохирургического лечения и составления алгоритмов для систем поддержки принятия врачебных решений. Интерес к подобным технологиям могут иметь как лечебные учреждения, так и страховые компании.

Выводы

Ожидания длительности госпитализации пациентов и врачей в подавляющем большинстве случаев соответствуют фактическому сроку пребывания с ошибкой в 1—3 дня. Больные, участвовавшие в исследовании, получили достаточно информации для формирования обоснованных ожиданий продолжительности стационарного лечения. Современные языковые математические модели на основе нейронных сетей, обученные с использованием клинических архивов большого масштаба, способны демонстрировать высокое качество решения задач клинического прогноза.

Работа поддержана грантами Российского Фонда Фундаментальных Исследований №18-29-01052 (извлечение информации) и №18-29-22085 (предсказательное моделирование).

Участие авторов:

Концепция и дизайн исследования — Шевченко Е.В., Данилов Г.В., Усачев Д.Ю.

Сбор и обработка материала — Шевченко Е.В., Данилов Г.В., Котик К.В., Ишанкулов Т.А., Лукшин В.А.

Статистический анализ данных — Котик К.В., Данилов Г.В.

Написание текста — Шевченко Е.В., Данилов Г.В.

Редактирование — Данилов Г.В., Шевченко Е.В., Усачев Д.Ю., Лукшин В.А.

Авторы заявляют об отсутствии конфликта интересов.

Комментарий

Представленная статья — интересное мультидисциплинарное исследование, выполненное на стыке нейрохирургии, организации здравоохранения и компьютерных наук. Работа посвящена моделированию длительности пребывания пациента в нейрохирургическом стационаре с использованием машинного обучения на неструктурированных медицинских текстах в сравнении с ожиданиями пациента и врача. Работа, безусловно, оригинальна и продолжает серию исследований данного коллектива авторов.

На первый взгляд, выбор авторами задачи может вызвать удивление: почему для моделирования использованы не привычные структурированные данные, а медицинские тексты, написанные в произвольной форме, не всегда подробно, с опечатками и прочими недостатками? Однако нельзя забывать, что именно первичные медицинские тексты — основной источник информации для многих исследований во врачебной сфере. Текстовое изложение много богаче по содержанию, чем структурированная таблица. Поэтому в текстовой форме могут быть описаны те комплексные признаки, которые эксперты не привыкли рассматривать в качестве факторов рисков. Современные технологии искусственного интеллекта способны извлекать эти информативные признаки из текстовых данных. Это значит, что проверка способности моделей машинного обучения распознавать ценную для прогноза информацию напрямую в текстах истории болезни — очень важная задача, решение которой открывает новые возможности вторичного использования первичной медицинской документации для научных исследований.

Авторы применяют передовые решения в области анализа текстов — так называемую «языковую» модель — нейронную сеть, хорошо понимающую синтаксические особенности русского языка и настроенную на анализ семантики текстов в нейрохирургии. Такая модель способна различать контексты употребления разных терминов, превращая текст в числовое представление, отражающее смысл написанного. Таким образом, нейронная сеть может проводить над «смыслами» математические операции. В частности, за счет математических действий — находить текстовые фрагменты, значимые для прогнозирования длительности пребывания пациента в стационаре. Фактически, прогнозируя удлинение срока госпитализации, модель предвидит риск неблагоприятных событий.

Авторы показали, что нейронная сеть способна неслучайно прогнозировать длительность госпитализации на уровне, сопоставимом с врачом. Есть ли практическое применение у подобных математических моделей? Вероятно, при усовершенствовании технологии появится возможность использовать эти разработки для управления рисками осложнений в нейрохирургическом стационаре. Однако в настоящий момент ценность решения в том, что оно демонстрирует высокую информативность медицинских текстов. А это значит, что для успешного применения искусственного интеллекта к данным текстам на первый план выходит качество и информативность написанного. Казалось бы, парадоксальный итог: развитие математических моделей должно стимулировать повышение гуманитарной культуры. И пусть этот вывод не прозвучал явно в работе Е.В. Шевченко и соавт., но понятное, полное и грамотное оформление медицинской документации — основа для ее успешного использования в исследованиях. С помощью самых новых технологий спираль развития науки вновь привела нас к этому старому как мир тезису.

А.В. Гусев (Москва)