Сайт издательства «Медиа Сфера»
содержит материалы, предназначенные исключительно для работников здравоохранения. Закрывая это сообщение, Вы подтверждаете, что являетесь дипломированным медицинским работником или студентом медицинского образовательного учреждения.

Плаксин С.А.

ФГБУ ВО «Пермский государственный медицинский университет им. акад. Е.А. Вагнера» Минздрава России, Пермь, Россия

Фаршатова Л.И.

ФБГОУ ВО «Пермский государственный медицинский университет им. акад. Е.А. Вагнера» Минздрава России, Пермь, Россия

Веселов И.В.

НИУ «Высшая школа экономики в Перми», Пермь, Россия

Замятина Е.Б.

НИУ «Высшая школа экономики в Перми», Пермь, Россия

Диагностика злокачественных плевральных выпотов с помощью сверточных нейронных сетей путем морфометрического анализа изображений фаций плеврального экссудата

Авторы:

Плаксин С.А., Фаршатова Л.И., Веселов И.В., Замятина Е.Б.

Подробнее об авторах

Просмотров: 1379

Загрузок: 27


Как цитировать:

Плаксин С.А., Фаршатова Л.И., Веселов И.В., Замятина Е.Б. Диагностика злокачественных плевральных выпотов с помощью сверточных нейронных сетей путем морфометрического анализа изображений фаций плеврального экссудата. Хирургия. Журнал им. Н.И. Пирогова. 2020;(5):42‑48.
Plaksin SA, Farshatova LI, Veselov IV, Zamyatina EB. Diagnosis of malignant pleural effusions using convolutional neural networks by the morphometric image analysis of facies of pleural exudate. Pirogov Russian Journal of Surgery. 2020;(5):42‑48. (In Russ.)
https://doi.org/10.17116/hirurgia202005142

Рекомендуем статьи по данной теме:
Воз­мож­нос­ти оцен­ки ин­во­лю­ци­он­ных из­ме­не­ний ко­жи в эс­те­ти­чес­кой ме­ди­ци­не. Роль ультраз­ву­ко­вой ди­аг­нос­ти­ки. Кли­ни­чес­кая дер­ма­то­ло­гия и ве­не­ро­ло­гия. 2023;(1):92-98
Хро­ни­чес­кий вер­хне­че­люс­тной ате­лек­таз, или син­дром мол­ча­ще­го си­ну­са. Рос­сий­ская ри­но­ло­гия. 2023;(1):60-65
Диаг­нос­ти­ка и ле­че­ние нев­ро­ло­ги­чес­ких оро­фа­ци­аль­ных бо­ле­вых син­дро­мов. Рос­сий­ский жур­нал бо­ли. 2023;(1):5-12
Спек­траль­ный ана­лиз ро­то­вой жид­кос­ти па­ци­ен­тов с хро­ни­чес­ки­ми фор­ма­ми на­ру­ше­ния моз­го­во­го кро­во­об­ра­ще­ния. Рос­сий­ская сто­ма­то­ло­гия. 2023;(1):3-6
Ци­то­ло­ги­чес­кий ме­тод в ран­ней ди­аг­нос­ти­ке ра­ка шей­ки мат­ки: эво­лю­ция, прин­ци­пы, тех­но­ло­гии, пер­спек­ти­вы. Он­ко­ло­гия. Жур­нал им. П.А. Гер­це­на. 2023;(2):49-55
Де­ся­ти­лет­ний опыт ди­аг­нос­ти­ки и ле­че­ния зак­ры­тых травм под­же­лу­доч­ной же­ле­зы. Эн­дос­ко­пи­чес­кая хи­рур­гия. 2023;(2):34-38
Па­то­ло­гия эн­до­мет­рия и кли­ни­ко-ди­аг­нос­ти­чес­кое зна­че­ние гли­ко­де­ли­на. Рос­сий­ский вес­тник аку­ше­ра-ги­не­ко­ло­га. 2023;(2):53-62
Ке­ра­то­ко­нус: ос­нов­ные нап­рав­ле­ния ис­сле­до­ва­ний. Вес­тник оф­таль­мо­ло­гии. 2023;(3):11-20
Ги­пер­сом­ния при пси­хи­чес­ких расстройствах. Жур­нал нев­ро­ло­гии и пси­хи­ат­рии им. С.С. Кор­са­ко­ва. Спец­вы­пус­ки. 2023;(5-2):63-68
Спо­соб мо­де­ли­ро­ва­ния и ле­че­ния аб­сцес­са брюш­ной по­лос­ти в хи­рур­ги­чес­ком эк­спе­ри­мен­те. Опе­ра­тив­ная хи­рур­гия и кли­ни­чес­кая ана­то­мия. 2023;(2):5-12

Введение

Плевральный выпот — патологический процесс, в генезе которого кроме заболевания легких имеют значение многие экзо- и эндогенные факторы, обусловленные особенностями морфологии плевры, плевральной полости, а также большим количеством болезней системного и инфекционного характера [1, 2]. Основными методами диагностики плеврального выпота являются рентгенологическое и ультразвуковое исследования, позволяющие уточнить наличие и локализацию выпота, а также состояние органов грудной полости [3, 7]. Примерно у 20% больных не удается установить диагноз даже по результатам исследования плеврального выпота [4, 8]. Видеоторакоскопия с биопсией обеспечивает наиболее высокую эффективность дифференциальной диагностики плеврального выпота различной этиологии [9]. Описанные выше специальные методы исследования часто технически трудновыполнимы и не исключают возможности развития осложнений. Имеются единичные исследования, посвященные кристаллографии плеврального выпота [10, 11]. Предметом изучения в этом случае служат фации — тонкие пленки, полученные методом клиновидной дегидратации и образующиеся в результате медленного высыхания капли биологической жидкости на предметном стекле. Большинство методов анализа фации являются полуколичественными и с этой позиции нуждаются в математической объективизации [12].

Цель исследования — оценить возможности диагностики злокачественного плеврального выпота путем анализа с помощью сверточных нейронных сетей изображений фаций плеврального экссудата, полученных методом клиновидной дегидратации.

Материал и методы

У 163 пациентов с плевральным выпотом различной этиологии, которые лечились в торакальных отделениях Пермской краевой клинической больницы и городской клинической больницы №4 г. Перми, методом клиновидной дегидратации были получены пленки плевральной жидкости — фации. На обезжиренное предметное стекло, распложенное строго горизонтально, с помощью полуавтоматической пипетки-дозатора наносили 5 капель плеврального выпота в объеме 10 µl. Диаметр капель составлял 3—6 мм. Капли высушивали при температуре 20—25°С и относительной влажности воздуха 65—70%. Продолжительность периода высыхания до момента фотофиксации изображения составляла 8—12 часов. Для получения изображения образца фации плевральной жидкости проводили его съемку на предметном стекле фотоаппаратом Canon EOS 650 с адаптером для макросъемки через объектив с увеличением ×4 микроскопа Levenhuk Rainbow 2L Plus. С карты памяти фотоаппарата цифровое изображение переносили в память компьютера. Диагноз окончательно устанавливали после видеоторакоскопии с биопсией плевры.

В качестве основной технологии распознавания и анализа изображений была выбрана сверточная нейронная сеть [5]. Самообучаемая нейронная сеть анализирует изображение фации самостоятельно: выделяет фрагменты, состоящие из черных и белых точек, и сравнивает их между собой (основной принцип работы сверхточной нейронной сети — выявление признаков). Процесс предварительной обработки данных для распознавания фаций плевральной жидкости включал в себя: ручной отбор фото без явных дефектов; перевод изображения в черно-белый формат (grey-scale); очистку изображений от шумов; обрезку каждого изображения по границе капли; увеличение числа изображений путем жестких компьютерных преобразований.

При переводе в черно-белый формат изображения с техническими дефектами исключали из дальнейшего процесса распознавания. После преобразований на этапе предварительной обработки было увеличено количество изображений для обучения и тестирования сети, а также все фото стандартизировали. В результате анализа изображения фации плеврального экссудата нейронной сетью на экран выводили результат распознавания в виде процентов.

Результаты: были получены 163 цветных изображения фации плевральной жидкости в формате JPG. Все изображения были разделены на 10 групп, каждая из которых соответствовала определенной нозологической причине выпота (табл. 1).

Таблица 1. Количество образцов изображений фаций плевральной жидкости, полученных у больных с плевральным выпотом различной этиологии


Пример изображения фации пациента с онкологическим заболеванием представлен на рис. 1, изображения фации пациента с заболеванием почек — на рис. 2.

Рис. 1. Изображение фации плевральной жидкости пациента со злокачественным плевральным выпотом, ув. ×10.


Рис. 2. Изображение фации плевральной жидкости пациента с плевральным выпотом, обусловленным хронической болезнью почек, ув. ×10.


Особенностью нейронных сетей является возможность обучения, а именно — нахождения коэффициентов связей между нейронами. В процессе своего обучения нейронные сети выявляют сложные взаимосвязи между входными и выходными данными, а также выполняют функции пересечения, обобщения и исключения, позволяющие находить закономерности, которые не удается заметить даже экспертам в исследуемой области.

В качестве метода распознавания была использована сверточная нейронная сеть (convolutional neural network, CNN), использование которой позволило добиться наибольшего прогресса при анализе изображений [6]. Сверточная нейронная сеть представляет собой специальную архитектуру, состоящую из чередующихся сверхточных слоев (convolution layers) и субдискретизирующих слоев (pooling layers). При вычислении сети каждый нейрон выполняет свертку некоторой области предыдущего слоя.

У нейронных сетей в целом нет ограничений к исходным данным изображений. В то же время их качество и технические характеристики непосредственно влияют на процесс обучения и итоговый результат. Так, например, сети при распознавании образов на изображениях часто могут формировать карту признаков, основываясь на цветах. И если тот же (или похожий) образ будет окрашен в другие цвета, то нейронная сеть может идентифицировать это изображение как другой класс. Человек при этом распознает изображения правильно.

Первоначально вручную были исключены из исследования изображения с явными искажениями (засветы, шумы) и нечеткие фотографии. После перевода изображения в черно-белый формат дополнительно были удалены изображения с другими дефектами, которые могли исказить результат исследования. После предварительного отбора для дальнейшего исследования было оставлено 131 фото.

Малое количество изображений ограничило возможность попытки идентификации каждой нозологической формы как причины выпота, поэтому было решено разделить их всего на две категории: онкологические и остальные, которые включили в себя оставшиеся группы заболеваний. Такой подход был обусловлен двумя причинами: выявление онкологических заболеваний является одним из приоритетных направлений диагностики; алгоритм распознавания, разработанный для одной группы болезней, будет работать и для других при должном количестве наблюдений и обучающих примеров.

Характеристики окончательной группы из 131 изображения формата JPG включали в себя: размеры исходных снимков от 1200×1000 до 1600×1200 пикселей; фон на изображениях в основном однородный, однако с присутствием дефектов и шума; изображения разделены на две категории: онкологические и другие.

Перевод изображения в черно-белый формат необходим для стандартизации цвета изображения. Фотографии могут быть сделаны с помощью различных технических средств при разном освещении, поэтому необходимо привести изображения к одной цветовой палитре, чтобы избежать ошибок при анализе. В результате данного преобразования все изображения переходят в черно-белый формат (рис. 3).

Рис. 3. Результат преобразования в черно-белый формат.


Очистка изображений от шумов. На большинстве изображений, подвергнутых анализу, присутствовал шум. На данном этапе фон изображения переводится в бесцветный (рис. 4).

Рис. 4. Результат преобразования очистки от шума.


Обрезка каждого изображения по границе фации. Чтобы нейронная сеть анализировала только фацию, производится обрезка каждого изображения по границе фации.

Вращение изображения. На данном этапе происходит изменение изображения путем жесткого преобразования, а именно вращение. Каждое изображение вращается последовательно на 10 градусов. Таким образом, каждое начальное изображение имело в результате 35 вариантов. В итоге финальная выборка для анализа содержала в себе 4585 изображений, разделенных на две группы.

Пример изображения фации плевральной жидкости после предобработки представлен на рис. 5.

Рис. 5. Пример изображения фации плевральной жидкости после предобработки.


В результате преобразований на этапе предварительной обработки все фото были стандартизированы, количество изображений для обучения и тестирования увеличилось в 35 раз. Интерфейс пользователя программы интуитивно понятен (рис. 6). Исходные данные представляют фотоизображения фации плеврального выпота в формате JPG или PNG. В процессе анализа они проходят процесс предобработки и распознавания. Итоговый результат представлен числом (в процентах вероятности распознавания).

Рис. 6. Пользовательский интерфейс.


Изначально были сформированы четыре варианта построения сверточных нейронных сетей, обозначенные как CNN_0, CNN_1, CNN_2 и CNN_3. Для самообучения и тренировки каждой нейронной сети были произвольно взяты 80% изображений начальной выборки. После самообучения для оценки возможностей распознавания причины выпота в качестве контрольной выборки были использованы оставшиеся 20% изображений. В результате тестирования четырех разных архитектур нейронных сетей точность распознавания онкологических заболеваний находилась в пределах 82—95,6% (табл. 2). В конечном итоге как наиболее достоверная была выбрана нейронная сеть CNN_1, которая позволила получить статистически достоверный результат 95,6% для онкологических заболеваний и 90% — для других.

Таблица 2. Результаты тестирования нейронных сетей


Обсуждение

Исследований, посвященных кристаллографии плеврального выпота, в настоящее время крайне мало, чтобы оценить диагностические возможности методики. Т.В. Маринич и соавт. (2012) сообщили о первом опыте применения метода клиновидной дегидратации у больных с малыми плевральными выпотами неясного генеза [10]. При обследовании 48 пациентов было выявлено, что при разных выпотах имеются различия в кристаллографической картине фаций, позволяющие провести дифференциальную диагностику транссудата и экссудата, а также клеточного осадка: преобладание нейтрофилов или лимфоцитов. А.В. Борсуков и соавт. (2006) получили и изучили методом клиновидной дегидратации фации плевральной жидкости при метастатическом, туберкулезном, параметапневмоническом и кардиогенном выпотах.

Имеется патент на изобретение способа дифференциальной диагностики экссудативных плевритов туберкулезной этиологии с использованием клиновидной дегидратации плевральной жидкости путем измерения общего диаметра кристаллической фации, толщины периферической зоны и радиуса центральной зоны фации, степени ветвления кристаллов, по которым рассчитывали интегральный коэффициент пробы плевральной жидкости [11]. Однако по данному исследованию отсутствуют публикации, и неясно, каким образом происходил расчет радиуса фации и толщины периферической зоны, если высохшая на стекле капля не имеет идеальной круглой формы и неоднородна на различных участках в зависимости от удаленности от центра фации. Попытка оценки структуры кристаллограмм не макроскопически — по числу центров кристаллизации и характеру рисунка, а микроскопически — по структуре и изменению кристаллов носит откровенно субъективный характер [13].

С целью автоматической морфометрии фации А.А. Абдуманонов и соавт. (2014) разработали компьютерную программу, в которой определили параметры зон фации, формы и структуры кристаллов, позволяющие в дальнейшем проводить автоматическое распознавание маркеров [14]. Существует исследование по изучению фаций крови при экспериментальном сахарном диабете путем морфометрического анализа фаций с помощью программного пакета, позволяющего оценить радиальные градиенты тинкториальной плотности по степени яркости фаций сывороток от периферии фации к центру [12].

В качестве основной технологии распознавания и анализа изображений фаций плеврального выпота была выбрана сверточная нейронная сеть. Преимуществом самообучаемой нейронной сети является способность анализировать изображения фации самостоятельно путем выявления признаков, не воспринимаемых экспертами. Использование нейронной сети позволило достичь точности результатов в дифференциальной диагностике причин выпотного плеврита: 95,6% — для класса злокачественного плеврального выпота и 90% — для класса других видов заболеваний. Метод является простым, не требующим дорогостоящего оборудования, оперативным, дешевым, безреагентным. Искусственная нейронная сеть относится к математической модели, построенной по принципу организации биологических нейронных сетей.

Однако полученные результаты являются предварительными в связи с малым количеством проанализированных данных и не всегда высоким их качеством. Дальнейшие исследования в этом направлении с увеличением количества обследованных пациентов и совершенствованием методики получения изображений представляются весьма перспективными для совершенствования дифференциальной диагностики плевральных выпотов неинвазивным, дающим быстрый результат, высокоэффективным способом.

Таким образом, цифровое фотоизображение фации плевральной жидкости дает возможность получить материал для последующего количественного и качественного морфометрического анализа. Для стандартизации и увеличения количества анализируемых изображений необходима предобработка, включающая в себя: ручной отбор фото без явных дефектов; перевод изображения в черно-белый формат; очистку изображений от шумов; обрезку каждого изображения по границе фации; увеличение числа изображений путем жестких преобразований.

Автоматизированная система анализа изображений фаций плеврального выпота с помощью сверточной нейронной сети позволяет с высокой степенью достоверности дифференцировать онкологические заболевания. Для совершенствования методики необходимо улучшение качества и увеличение количества изображений фаций для анализа нейронными сетями.

Авторы заявляют об отсутствии конфликта интересов.

Подтверждение e-mail

На test@yandex.ru отправлено письмо со ссылкой для подтверждения e-mail. Перейдите по ссылке из письма, чтобы завершить регистрацию на сайте.

Подтверждение e-mail



Мы используем файлы cооkies для улучшения работы сайта. Оставаясь на нашем сайте, вы соглашаетесь с условиями использования файлов cооkies. Чтобы ознакомиться с нашими Положениями о конфиденциальности и об использовании файлов cookie, нажмите здесь.