Введение

Современная медицина находится на пороге захватывающей новой эры, связанной с появлением новых технологий, таких как виртуальная реальность, геномное прогнозирование заболеваний, анализ данных персонализированной медицины, терапия стволовыми клетками, 3D-печать, применение робототехники. Практика дерматовенерологии быстро развивается, с появлением новых технологий и изобретений подход к диагностике и лечению также значительно изменился. Компьютерные алгоритмы нашли свое применение в оказании помощи дерматовенерологам в диагностике различных заболеваний, в том числе злокачественной меланомы кожи [1]. Перспективным направлением является внедрение в клиническую практику машинного обучения — подмножества искусственного интеллекта (ИИ), в котором компьютерные программы автоматически учатся на опыте без явных инструкций для работы. Наиболее перспективным является применение глубокого обучения искусственных нейронных сетей (ИНС).

Разработка метода дерматоскопии позволила значительно улучшить качество диагностики доброкачественных и злокачественных новообразований кожи (по сравнению с обследованием невооруженным глазом) [2]. Дерматоскопические изображения можно использовать и для обучения ИНС. В прошлом предпринимались многообещающие попытки использовать ИНС для классификации заболеваний кожи. Однако отсутствие данных и вычислительных мощностей ограничивало применение этого метода.

Оценка преимуществ и ограничений клинического применения ИИ имеет первостепенное значение для его будущего развития в дерматовенерологии [3].

Внедрение ИИ по-прежнему сталкивается со значительными проблемами, но, несомненно, превращается в важный инструмент современной медицины [4]. В то время как некоторые новые методы диагностики и лечения уже включают компоненты ИИ, у врачей существует пробел в знаниях о текущих и разрабатываемых продуктах с использованием ИИ [5].

В настоящее время активно ведется разработка ИИ с применением различных нейронных сетей, однако не известно, какая сеть обеспечивает наиболее хорошие результаты. Вместе с тем следует отметить, что одну из основополагающих ролей играет наличие качественного набора данных с описанием по нозологиям дерматологических заболеваний.

ИНС представляют собой систему соединенных и взаимодействующих между собой простых процессоров (искусственных нейронов). Эти процессоры обычно довольно просты (особенно по сравнению с процессорами, используемыми в персональных компьютерах). Каждый процессор такой сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. Будучи соединенными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи [6]. Одним из перспективных направлений применения нейронных сетей является трансферное обучение, его цель — применение знаний, полученных благодаря решению одной задачи, к другой, но схожей задаче. Таким образом, трансферное обучение позволяет создать предобученную нейронную сеть. Эта технология является популярным методом компьютерного зрения, обеспечивающим получение точной модели с экономией времени и денег. При переносе обучения используются признаки, усвоенные при решении другой задачи, вместо того чтобы тренировать модели с нуля [7].

В настоящей работе проведено сравнительное исследование возможности применения перспективных моделей нейронных сетей для диагностики меланомы кожи. Для подбора равных условий мы рассматривали работы только с набором данных HAM10000.

Цель работы — изучить возможность использования моделей ИНС для ранней диагностики меланомы кожи путем построения предиктивной системы на основе применения трансферного обучения нейронной сети при обработке дерматоскопических изображений новообразований кожи.

Материал и методы

Проведен сравнительный анализ эффективности использования для диагностики меланомы кожи ряда моделей сверточных нейронных сетей, предобученных нейронных сетей с трансферным обучением и применением механизма «мягкого внимания»: Xception, ResNet50, RAN50, SEnet50, ARL-CNN50, Inception Resnet V2 — IRv2 12x12+SA, IRv2 5x5+SA. Для сравнения использован набор данных HAM10000 [8], состоявший из 10 тыс. дерматоскопических изображений новообразований кожи человека. В наборе данных выделены 7 классов (некоторые диагнозы объединены в один класс для простоты работы). По каждому изображению имелась информация о возрасте пациента, поле, локализации поражения и диагнозе.

Набор данных включал примеры изображений следующих новообразований кожи (рис. 1):

Рис. 1. Примеры изображений из набора данных HAM10000.

— актинический кератоз (akiec) (солнечный кератоз) — рассматривается как предшественник плоскоклеточного и базально-клеточного рака кожи; болезнь Боуэна (внутриэпителиальная карцинома) считается вариантом плоскоклеточного рака кожи in situ;

— базально-клеточная карцинома (bcc) — опухоль, развивающаяся из базальных кератиноцитов межфолликулярного эпителия и/или эпителия волосяных фолликулов, которая редко дает метастазы, но при отсутствии лечения может приводить к значительной деструкции кожи и подлежащих тканей. В клинической практике встречаются различные варианты базально-клеточной карциномы: поверхностный (пигментный), нодулярный (узелковый), склеродермоподобный;

— доброкачественный кератоз (bkl) — включал такие новообразования, как себорейный кератоз и солнечное лентиго. Себорейный кератоз (синонимы: сенильная бородавка, себорейная бородавка) представляет собой доброкачественное внутриэпидермальное новообразование, чаще возникающее в пожилом возрасте. Себорейные кератомы могут быть плоскими или возвышающимися, беспигментными и пигментированными;

— солнечное лентиго (синонимы: актиническое лентиго, сенильное лентиго) — развивается в результате доброкачественной пролиферации меланоцитов под действием солнечного света. Клиническая картина солнечного лентиго характеризуется наличием отграниченных пятен светло-желтого или коричневого цвета с различными оттенкам, диаметром от нескольких миллиметров до 1–2 см;

— дерматофиброма (df) (синоним: фиброзная гистиоцитома) — часто встречаемое доброкачественное образование кожи, представленное плотной папулой или узлом, образованным главным образом скоплением соединительнотканных волокон и фибробластов;

— приобретенные меланоцитарные невусы (nv) — пигментные образования кожи, сформированные скоплениями доброкачественных невусных клеток (являющихся производными меланоцитов) и возникающие обычно после первого года жизни. Меланоцитарные невусы доминируют в наборе данных (67%);

— меланома (mel) — злокачественное новообразование кожи, происходящее из меланоцитов, которое может проявляться в различных вариантах. Хирургическое удаление меланомы на ранней стадии может обеспечить излечение;

— сосудистые поражения кожи (vasc) (синоним — вишневая ангиома, сенильная ангиома) — доброкачественные новообразования, сформированные из сосудов. В наборе данных имелись образцы вишневых ангиом, ангиокератом и пиогенных гранулем (см. рис. 1).

Наиболее важным при проведении анализа указанных изображений является определение злокачественности новообразования на ранней стадии заболевания.

Подготовка данных

Подготовка данных состояла из добавления изображений в набор данных, разделения его на изображения и классифицирующие их метки и создания обучающих и тестовых наборов с процентным соотношением 80/20. После этого осуществляли нормализацию входных данных, которая должна выполняться с использованием данных обучающего набора в качестве ориентира. Тестовые данные не подвергали нормализации, так как они должны были оставаться неизвестными. Имевшиеся изображения были преобразованы в 3 измерения (высота 75px, ширина 100px, каналы 3).

Модели нейронных сетей

Сверточная нейронная сеть (CNN) является специализированным типом нейронной сети, идеально подходящим для данных, которые могут быть представлены в виде матрицы. CNN чаще всего используется для задач распознавания изображений, поскольку вход может восприниматься как 2D-сетка пикселей. Как описано I. Goodfellow и соавт., CNN является нейронной сетью, которая использует в своей структуре по крайней мере один из своих слоев для выполнения операции свертки [9]. Для задач классификации изображений также чаще всего используется CNN.

Идея применения предобученных сетей (ResNet) является попыткой преодолеть проблему, с которой сталкиваются многие исследователи при работе с более глубокими моделями, где ошибка обучения начинает увеличиваться по мере добавления большого количества слоев в сеть. Одна из гипотез заключается в том, что снижение точности происходит в более глубоких моделях, потому что их труднее оптимизировать.

Внедрение в практику предобученных ИНС осуществлено в 2015 г. K. He и соавт. [10]. В том же году эта предложенная архитектура заняла первое место в самых престижных конкурсах по распознаванию изображений ILSVRC 2015 (ImageNet) и COCO 2015.

Архитектуры Inception впервые представлены C. Szegedy и соавт. в 2014 г. [11] как GoogLeNet, и с тех пор они являются наиболее эффективными архитектурами в наборе данных ImageNet.

По словам Франсуа Шолле, архитектура модели XCeption опирается на уроки, извлеченные из модели VGG-16 и предыдущих моделей Inception [7]. Кроме того, она использует остаточные соединения (концепция, представленная в ResNet) и разветвления. В общей сложности модель XCeption использует 39 сверточных слоев.

При работе с изображениями поражений кожи только небольшая доля пикселей имеет значение, поскольку остальная часть изображения заполнена различными нерелевантными артефактами, такими как вены и волосы. Чтобы больше сосредоточиться на этих актуальных особенностях изображения, может быть реализован так называемый механизм Soft-Attention, или «мягкое внимание», предложенный K. Xu и соавт. для генерации подписей к изображениям [12]. Этот механизм улучшен в работе M.A. Shaikh и соавт. [13], в которой использован механизм внимания на изображениях для проверки почерка. «Мягкое внимание» подходит и для классификации рака кожи. Soft-Attention — это механизм концентрации внимания при обработке изображения на определенных его фрагментах. Таким образом веса признаков (числовые выражения связи между видимым проявлением и наличием или отсутствием патологии), извлеченных из пикселей в зоне внимания, будут выше, чем веса пикселей вне этой зоны.

Метрики оценки качества классификации

В работе использованы несколько показателей качества классификации.

Точность (Accuracy) в задачах классификации — количество правильных прогнозов, сделанных моделью, среди всех сделанных прогнозов.

Точность (Precision) — доля объектов, названных классификатором положительными и при этом действительно являющимися положительными.

Отзыв (Recall) — доля правильно классифицированных экземпляров от общего числа классифицированных экземпляров.

Матрица путаницы (confusion matrix) — сводка прогнозируемых результатов в виде таблицы, которая позволяет визуализировать показатель производительности модели машинного обучения для задачи бинарной классификации (2 класса) или задачи многоклассовой классификации (более 2 классов).

Результаты и обсуждение

В качестве результатов проведенной работы в статье представлено сравнение нескольких моделей нейронных сетей, показавших наилучшие результаты, поскольку подбор оптимальной модели нейронной сети во многом является эмпирической задачей, требующей многократного выполнения вычислений.

Сверточная нейронная сеть

Для тестирования пригодности сверточных нейронных сетей взята модель из 25 слоев, показавшая хорошие результаты. На рис. 2 представлена структура модели.

Рис. 2. Структура модели сверточной нейронной сети.

Полученные результаты при использовании данной модели оказались следующими:

Обучение: точность 0,825104.

Проверка: точность 0,807980.

Тест: точность 0,779331.

Значения точности оказались недостаточно высокими для прогнозирования рака кожи. Тем не менее разница между обучающими и оценочными наборами небольшая, что является хорошим показателем того, что модель не переобучена.

Применение предобученных сетей

Модель ResNet-50 использует 50 сверточных слоев. Наилучшая производительность достигнута путем обучения всех слоев модели ResNet50 и использования начальных весов набора данных Imagenet.

Обучение ResNet50: точность 0,814147.

Проверка ResNet50: точность 0,775561.

Тест ResNet50: точность 0,768847.

Хотя результаты варьируют в зависимости от случайности, модель ResNet50 обычно работает лучше, чем модель CNN, представленная ранее. Результаты теста варьируют в пределах 76–77% точности, аналогично модели CNN. Однако при анализе после 5 запусков модель ResNet50 имеет меньшее стандартное отклонение по сравнению с моделью CNN.

Обучение XCeption: точность 0,862275.

Проверка XCeption: точность 0,812968.

XCeption Test: точность 0,808288.

Из 3 различных архитектур, использованных в этом исследовании, модель XCeption имела лучшую точность в тестовом наборе по сравнению с другими моделями. Несмотря на большие различия в значениях точности у тренировочного и тестового наборов, модель XCeption не продемонстрировала серьезных проблем с переобучением. Как и ожидалось, тестовый набор имел несколько более низкие значения точности для всех сетей.

Набор данных был несбалансированным, причем меланоцитарные невусы составляли большинство образцов. В таких случаях метрика точности может дать нам ложное представление о надежности модели. Другие метрические баллы (F1-Score, Precision, Recall) могут дать лучшее представление о поведении модели.

На рис. 3 представлена матрица спутывания, она позволяет оценить, как классифицируются образцы меланомы. Большое число образцов было ошибочно классифицировано как меланоцитарные невусы, их количество оказалось почти таким же, как и количество правильно классифицированных образцов. К сожалению, довольно много образцов злокачественных новообразований классифицировано как доброкачественные новообразования. По этой причине критерий «точность» является недостаточно хорошим показателем для этой технологии.

Рис. 3. Матрица спутывания.

Оценка F1 учитывает метрики Precision и Recall, что больше подходит для несбалансированных наборов данных. Значения F1-Score показаны на рис. 4.

Рис. 4. Значения F1-Score.

Для классов с большим количеством образцов результаты были лучше. Классы невусов и сосудистых поражений — именно те классы, которые позволили точности модели достичь значений выше 80%. Для классов с меньшим количеством образцов (особенно для меланомы кожи) показатель F1-Score оказался неудовлетворительным.

Модели на основе Soft-Attention

На рис. 5 показано, что области с более высоким вниманием имеют красный цвет. Это связано с тем, что «мягкое внимание» дискредитирует нерелевантные области изображения путем умножения соответствующих признаков карт с низкими весами. Таким образом, районы с низким уровнем внимания имеют вес ближе к 0. С более целенаправленной информацией модель работает лучше. В модуле «мягкого внимания», как обсуждается в работах [13, 14], в качестве входных данных используется тензор признаков (t), который течет вниз по глубокой нейронной сети.

Рис. 5. Локализация внимания на дерматоскопических изображениях.

В модели ResNet34 [10] слой «мягкого внимания» добавляется после блока 3-й свертки, где размер карты объектов составляет 28×28, тогда как в модели ResNet50 [10] слой «мягкого внимания» добавляется после 5-го блока свертки, где размер карты объектов равен 7×7. В обоих случаях за слоем Soft-Attention следует слой maxpool с размером пула 2×2, который затем объединяется со стандартным слоем max-pool архитектуры. Затем за объединяющим слоем следует блок активации relu. Чтобы упорядочить выход уровня внимания, за блоком активации следует слой Dropout 0,5 [15]. Помимо этого, модуль «мягкого внимания» был интегрирован с архитектурой модели Inception ResNet V2 [16].

В модели VGG16 [17] слой «мягкого внимания» добавляется после 4-го сверточного слоя архитектуры, где размер карты признаков составляет 28×28. Как и в предыдущей модели, уровень внимания интегрирован с той же процедурой, что и в архитектуре моделей ResNet и Inception ResNetV2.

При тестировании модели с различным разделением на наборе данных HAM10000 обнаружено, что модель с 85% обучающих данных превосходит модель с 80 и 70% обучающих данных (табл. 1). Следовательно, для выполнения классификации целесообразно выбирать 85%/15% разделения обучения и тестирования. Кроме того, эти результаты свидетельствуют о том, что для повышения точности целесообразно увеличение размера обучающего набора данных и увеличение в процентном соотношении количества образцов с меланоцитарными образованиями.

Таблица 1. Количество обучающих данных в наборе (85, 80 и 75% использовано как обучающие данные)

Примечание. AUC (англ. Area Under Curve, площадь под кривой), akiec — актинический кератоз, bcc — базально-клеточная карцинома, bkl — доброкачественный кератоз, df — дерматофиброма, mel — меланома, nv — меланоцитарные невусы, vasc — сосудистые поражения кожи.

Подход, основанный на применении в модели Soft-Attention, превосходил базовый уровень точности на 4,7%. При сравнении показателей AUC эффективность подхода, основанного на использовании Soft-Attention, явно превосходила эффективность других моделей на 0,5–4,3%.

В исследовании изучены перечисленные модели как с добавлением Soft-Attention (+SA), так и без него (табл. 2). По данным табл. 2 можно заметить, что IRv2 (Inception ResNetV2) в сочетании с SA (IRv2 + SA) показал более высокие результаты с точностью и показателем AUC — 93,7 и 98,4% соответственно (это самые высокие показатели среди всех моделей). Кроме того, Soft-Attention повышает производительность IRv2 на 3,2% с точки зрения точности по сравнению с оригинальной моделью IRv2. Это явление справедливо для других моделей: Soft-Attention повышало точность моделей DenseNet201, ResNet34, ResNet50 и VGG16 соответственно на 0,5, 0,8, 1,2 и 2%. При интеграции блоков Soft-Attention в сети ResNet50 и ResNet34 показатели AUC выросли на 0,6 и 1,5% соответственно, а производительность моделей DenseNet201 и VGG16 находилась на одном уровне с оригинальными моделями. Хотя модель IRv2 + SA работала лучше всего с точки зрения средневзвешенного значения (W.Avg), при оценке классовой производительности Soft-Attention значительно повышало эффективность классификации akiec, bcc, df и nv оригинального варианта модели IRv2 с точки зрения точности соответственно на 17, 3, 33 и 4%. Кроме того, при сравнении показателей AUC применение модели IRv2 + SA повышало эффективность анализа bkl и mel на 1,2 и 0,9% соответственно, в то время как при анализе bcc, nv и vasc ее эффективность была аналогична эффективности оригинальной модели. Таким образом, согласно полученным результатам, наиболее эффективной моделью нейронной сети являлась модель IRv2 в сочетании с SA (IRv2 + SA).

Таблица 2. Сравнение показателей различных моделей ИНС

В табл. 2 производительность предлагаемого подхода с использованием модели Inception Resnet V2 (IRv2 5×5+SA и IRv2 12×12+SA) с «мягким вниманием» представлена в виде набора данных по показателям AUC, точности, чувствительности и специфичности.

Как следует из табл. 2, в моделях IRv2 5×5+SA и в IRv2 12×12+SA слой внимания был добавлен, когда размер карты объектов составлял 5×5 и 12×12 соответственно. При сравнении двух моделей с «мягким вниманием» модель IRv2 5×5 + SA превосходила модель IRv2 12×12 + SA по показателям AUC, точности и специфичности (на 2,4, 0,6 и 12,2% соответственно), тогда как модель IRv2 12×12 + SA превосходила модель IRv2 5×5 + SA по чувствительности (на 2,9%). При сравнении модели IRv2 5×5+SA с моделью ARL-CNN50 [18] (базовой моделью) их эффективность по показателю AUC была одинаковой. Однако выбранная нами модель превосходила модель ARL-CNN50 по точности и специфичности (на 3,6 и 3,8% соответственно), хотя чувствительность последней была выше (на 3,4%). Исходя из того, что чувствительность отображает долю правильно идентифицированных положительных результатов, а специфичность определяет долю правильно идентифицированных отрицательных результатов, целесообразно отдать предпочтение чувствительности, поскольку идентификация пациента с меланомой как не имеющего заболевания более рискованна, чем идентификация наоборот.

Заключение

В статье представлены результаты изучения потенциала и эффективности применения архитектуры глубокого обучения на основе «мягкого внимания» (Soft-Attention) в анализе изображений. Применение механизма Soft-Attention устраняет необходимость использования внешних механизмов, таких как GradCAM [19] и внутренне обеспечивает местоположение, на котором фокусируется модель при категоризации заболевания, одновременно повышая производительность основной сети. Использование Soft-Attention имеет дополнительное преимущество, заключающееся в естественной внутренней работе с шумом изображения. В будущем эта модель может быть внедрена в системы дерматоскопии для оценки изображений заболеваний кожи. Этот механизм может быть легко реализован для классификации показателей из других медицинских баз данных. Согласно полученным результатам, наиболее перспективной моделью является модель Inception Resnet V2 с добавлением механизма «мягкого внимания».

Участие авторов:

Концепция и дизайн исследования — Потекаев Н.Н., Игнатьев А.А.

Сбор материала и статистическая обработка — Кошечкин К.А., Кочетков М.А.

Написание текста, анализ данных — Кошечкин К.А., Игнатьев А.А.

Редактирование — Потекаев Н.Н., Доля О.В., Фриго Н.В.

Авторы заявляют об отсутствии конфликта интересов.

Authors’ contributions:

The concept and design of the study — Ignat’ev A.A., Potekaev N.N.

Collecting and interpreting the data — Koshechkin K.A., Kochetkov M.A.

Statistical analysis — Koshechkin K.A., Kochetkov M.A.

Drafting the manuscript — Koshechkin K.A., Ignat’ev A.A.

Revising the manuscript — Potekaev N.N., Dolya O.V., Frigo N.V.