Введение
Лечение пациентов с любыми кожными поражениями (трофические язвы, раны, пигментные или сосудистые образования) зачастую требует предварительного определения площади наблюдаемого образования, а также оценки динамики площади в процессе наблюдения. На сегодняшний день существует большое количество различных методов измерения площади кожных ран и образований [1]. Использование большинства методов трудоемко и сопряжено со значительными сложностями. Методы цифровой планиметрии давно используются в медицине и продемонстрировали высокую точность в сравнении с другими методами измерения повреждений кожи [2, 3]. Модификации таких методов, разработанные для удобного использования с помощью современных электронных устройств, требуют проверки для применения в научных целях и в реальной клинической практике [4]. Точность и воспроизводимость являются ключевыми параметрами методов измерения [5, 6].
Цель настоящего исследования — оценка точности и воспроизводимости измерений площади фантомных поражений кожи неправильной формы на поверхности, имеющей кривизну, с помощью мобильного приложения LesionMeter.
Материал и методы
Описание тестируемого приложения. Мобильное приложение для измерения поражений кожи неправильной формы LesionMeter (далее — приложение) предназначено для использования на смартфонах и планшетах под управлением операционных систем Android и iOS [7]. С 2019 г. приложение распространяется бесплатно при поддержке МОО «Ассоциация флебологов» [8]. Для измерения площади рядом с объектом измерения укладывают эталонный объект (пластиковую карту размером со стандартную банковскую или дисконтную карту (54×85,6 мм); далее — карта), проводят съемку измеряемого и эталонного объектов на встроенную в мобильное устройство камеру. Происходят автоматическое распознавание и обводка контура эталонного объекта (с помощью библиотеки OpenCV в системе Android и набора Core Image в системе iOS), а также ручная обводка контура объекта измерения, автоматический подсчет количества пикселей обведенных фигур и расчет площади объекта измерения по пропорции.
Дизайн исследования. Проведено экспериментальное сравнительное исследование измерения площади неправильных фигур на кривой поверхности с помощью приложения и с использованием контрольного метода. В качестве контрольного выбран метод измерения с помощью палетки (прозрачная пленка с нанесенной лазерным принтером сеткой квадратов со стороной 1 мм). Фантомные поражения кожи (далее — фантомные раны) для измерения рисовали на нелинейчатой кривой поверхности (передняя поверхность бедра).
Исследование состояло из двух частей.
1. Определение основных показателей точности приложения путем сравнения результатов однократного измерения приложением и палеткой 120 фантомных ран различной площади и конфигурации. Для определения требуемого объема выборки (количества измерений) предварительно проведено сравнение результатов однократного измерения приложением и палеткой 40 фантомных ран различной площади и конфигурации.
2. Оценка воспроизводимости измерений приложением путем анализа результатов многократного измерения приложением 4 фантомных ран различной площади и конфигурации.
Описание экспериментов. На коже передней поверхности бедра шариковой ручкой рисовали фигуры неправильной формы (фантомные раны) различной площади и конфигурации (рис. 1).
Рис. 1. Общий вид фантомных ран.
Измерительную палетку прикладывали к поверхности с фантомными ранами так, чтобы все края плотно прилегали к коже, после чего производили фотографирование и печать увеличенного изображения на принтере. Подсчет площади осуществляли путем сложения квадратных миллиметров, полностью попавших в контур фигуры, и всех квадратных миллиметров, частично вошедших в контур фигуры с коэффициентом, равным 0,5. Мобильное приложение LesionMeter было установлено на два смартфона — с диагональю экрана 147 мм (5,8") и 158,0 мм (6,2"). Рядом с фантомной раной в произвольном положении укладывали эталонную карту. Фотографирование фантомной раны и пластиковой карты в одном поле проводили в нормальных условиях при искусственном освещении с расстояния, при котором происходит четкое распознавание и подсвечивание контуров пластиковой карты приложением (20—25 см). Оптическая ось камеры была ориентирована перпендикулярно центру исследуемой фигуры. Для точного позиционирования курсора при обведении контура измеряемого объекта в настройках приложения использовали инструмент «Курсор» (по умолчанию установлен «Палец»). Палец устанавливали в любое место экрана рядом с раной, после появления курсора его подводили к краю раны и обводили ее контур. Подсчет площади обведенной фигуры осуществляли приложением в автоматическом режиме.
Изучаемые параметры и статистические методы
Расчет объема выборки определяли в программе G*Power (z-test: Correlation — inequality of two independent Pearson r’s) [9]. Для обработки данных применяли язык статистического программирования R. В основном исследовании для определения параметров выборки проведен разведочный анализ данных [10]. Для очистки выборки от выбросов применен метод Тьюки, выбросами считались значения, выходящие за пределы интервала:
(Q1–1,5·IQR)–(Q3+1,5·IQR),
где Q1 и Q3 — первый и третий квартили, IQR — интерквартильный размах.
Изучаемые параметры:
1. Коэффициент корреляции Пирсона для измерений приложением и палеткой; дополнительная оценка соответствия измерений: диаграмма рассеяния и линейная регрессионная модель; оценка качества линейной регрессионной модели по систематическому смещению: угловой коэффициент и свободный член; статистическая значимость регрессионной модели: тест Фишера; нормальность распределения остатков (остатки — разность площади, измеренной палеткой, и площади, соответствующей линейной регрессионной модели): диаграмма квантиль-квантиль; зависимость остатков от площади фантомной раны: диаграмма рассеяния остатков в зависимости от средней площади исследуемых пар измерений.
2. Абсолютная погрешность в парных измерениях площади. В качестве абсолютной погрешности в каждой паре измерений исследовали bias (смещение), которое вычисляется по формуле bias=Sп–Sc. При анализе абсолютной погрешности оценивали нормальность распределения bias (тест Шапиро—Уилка, диаграмма квантиль-квантиль), направление смещения (диаграмма распределения на фоне кривой Гаусса), согласованность результатов измерений мобильным приложением и палеткой (диаграмма Бленда—Альтмана) [11, 12]. Средняя абсолютная ошибка (Mean Absolute Error — MAE) абсолютной погрешности по модулю bias, средняя абсолютная процентная ошибка (Mean Absolute Percentage Error — MAPE) по модулю bias.
3. В качестве относительной погрешности в каждой паре измерений исследовали bias relative (относительное смещение), которое вычисляется по формуле:
,
где Sп — площадь, измеренная приложением; Sc — площадь, измеренная разлинованной пленкой. При анализе относительной погрешности оценивали нормальность распределения bias relative (тест Шапиро—Уилка, диаграмма квантиль-квантиль); зависимость относительной погрешности измерения (bias relative) от площади фантомной раны (диаграмма рассеяния с графиком средних значений, график линейной зависимости модуля bias relative от площади); состоятельность линейной модели зависимости модуля bias relative от площади (угловой коэффициент и свободный член); статистическую значимость линейной модели (тест Фишера).
4. При оценке воспроизводимости измерений приложением использованы методы описательной статистики с расчетом медианы, первого и третьего квартилей, интерквартильного размаха, абсолютной и относительной погрешности результатов повторных измерений приложением.
Для дополнительного анализа согласованности измерений приложением и палеткой использованы критерий эффективности Нэша—Сатклиффа (NSE), RMSE-observations standard deviation ratio (RSR), percent bias (PBIAS) [13, 14].
Результаты
Для расчета объема выборки провели однократное измерение 40 фантомных ран различной площади и конфигурации палеткой и приложением. Коэффициент корреляции Пирсона между двумя группами составил 0,992 (ДИ 95% 0,99; 1), p→0. При эмпирически выбранном ожидаемом коэффициенте корреляции, равном 0,996, ошибке первого рода α=0,05 и ошибке второго рода β=0,1 требуемый объем выборки составил 111 измерений, что обеспечивает мощность исследования 90% по коэффициенту корреляции Пирсона.
Часть 1. Однократное измерение 120 фантомных ран различной площади и конфигурации. Медиана площадей фигур составила 2,15 см2, интерквартильный размах — IQR=0,30–3,62 см2, минимальная площадь — 0,08 см2, максимальная площадь — 12,29 см2. С целью устранения возможных статистических выбросов полученных смещений применен метод Тьюки. На рис. 2 в виде точек представлены 8 пар измерений со смещением, отнесенным к выбросам, которые исключены из дальнейшего анализа.
Рис.2 Диаграмма размаха для bias relative.
Красными линиями обозначен интервал, за пределами которого точки соответствуют выбросам (по методу Тьюки).
Корреляционный анализ. Для выборок, полученных при измерении 120 фигур палеткой и приложением, коэффициент корреляции Пирсона составил 0,990 (95% ДИ 0,985; 0,993), p<2.2e-16, что свидетельствует об отличном соответствии измерений палеткой и приложением. При приближении количества измерений к расчетному значение коэффициента корреляции стало уменьшаться, не достигнув 0,996 (χ2=11,51; p=0,001). Для дополнительной оценки соответствия измерений палеткой и приложением была построена диаграмма рассеяния и линейная регрессионная модель (рис. 3).
Рис. 3. Диаграмма рассеяния и линейная регрессионная модель для результатов измерения палеткой и приложением.
Параметры полученной модели были следующими: угловой коэффициент — 1,001 (95% ДИ 0,974; 1,028), p<2e-16, свободный член –0,098 (95% ДИ –0,197; 0,000), p=0,051. Учитывая приближение углового коэффициента к 1 и его статистическую значимость, а также приближение свободного члена к 0 и его статистическую незначимость, можно сделать вывод об отсутствии систематического смещения линейной модели. Тест Фишера показывает статистическую значимость модели (F=5545; df=110; p<2.2e-16).
Для оценки дополнительных параметров качества линейной модели была построена диаграмма квантиль-квантиль для остатков, которые означают разность площади, измеренной палеткой, и площади, соответствующей линейной регрессионной модели (рис. 4).
Рис. 4. Диаграмма квантиль-квантиль для остатков.
Диаграмма квантиль-квантиль показывает, что наличествуют выбросы на хвостах диаграммы, т.е. выборка остатков не подчиняется нормальному распределению. Для оценки качества линейной функции измерения приложением и палеткой была построена диаграмма зависимости остатков от площади измеряемой фантомной раны (рис. 5).
Рис. 5. Диаграмма рассеяния остатков в зависимости от средней площади исследуемых пар измерений.
Диаграмма показывает, что при измерении фигур площадью до 2 см2 остатки принимают преимущественно околонулевые значения, площадью 2—7,5 см2 — отрицательные (до –0,1 см2), более 7 см2 — положительные, однако таких измерений мало.
Абсолютная погрешность (bias). На основании теста Шапиро—Уилка гипотеза о нормальности распределения абсолютной погрешности отвергнута, W=0,89483; p=2,371e-07. Распределение абсолютной погрешности измерений представлено на рис. 6а и 6б.
Рис. 6. Диаграмма нормальности распределения значений абсолютной погрешности: диаграмма квантиль-квантиль для bias (а) и гистограмма распределения bias на фоне кривой Гаусса (б).
На диаграмме квантиль-квантиль точки абсолютной погрешности не выстраивают прямую на хвостах распределения (рис. 6а), в связи с чем дополнительно построен график распределения абсолютной погрешности на фоне кривой нормального распределения Гаусса (см. рис. 6б). Как показано на рис. 6б, распределение абсолютной погрешности скошено влево, что означает систематически меньшие результаты измерения площади приложением в сравнении с палеткой. Для оценки согласованности результатов измерений мобильным приложением и палеткой построена диаграмма Бленда—Альтмана (рис. 7), в которой ось абсцисс — среднее по паре измерений, ось ординат — абсолютная погрешность.
Рис. 7. Диаграмма Бленда—Альтмана абсолютных погрешностей измерений приложением.
На основании диаграммы Бленда—Альтмана среднее значение абсолютной погрешности оказалось равным –0,095 (95% ДИ –0,16; –0,027) см2, т.е. ожидаемы незначительно меньшие результаты при измерении фигур мобильным приложением относительно измерения палеткой. Верхняя граница абсолютной погрешности была равна 0,62 (95% ДИ 0,51; 0,74) см2, нижняя граница была равна –0,82 (95% ДИ –0,93; –0,70) см2. Ожидаемые максимальные отклонения измерений приложением не будут превышать 0,74 см2 по модулю. Наблюдалось систематическое увеличение модуля абсолютной погрешности при увеличении размера фигуры. В диапазоне 2,5—7,5 см2 отмечали систематически меньшие результаты при измерении фантомных ран приложением относительно измерения сеткой. Диапазон 7,5—12,5 см2 исследован слабо, однако результаты измерений укладываются в ранее указанные диапазоны. Средняя абсолютная ошибка (Mean Absolute Error — MAE) абсолютной погрешности по модулю абсолютной погрешности равна 0,24 см2, средняя абсолютная процентная ошибка (Mean Absolute Percentage Error — MAPE) — 11,8%.
Относительная погрешность (bias relative). На основании теста Шапиро—Уилка гипотеза о нормальности распределения относительной погрешности не может быть отвергнута, W=0,9881; p=0,43. На диаграмме квантиль-квантиль точки относительной погрешности распределены по прямой линии, т.е. нормально (рис. 8).
Рис. 8. Диаграмма нормальности распределения значений относительной погрешности: диаграмма квантиль-квантиль для bias relative.
Зависимость относительной погрешности измерения от площади фантомной раны представлена на рис. 9.
Рис. 9. Диаграмма рассеяния с графиком средних значений (синяя кривая) зависимости bias relative (относительной погрешности измерения приложением) от площади фантомной раны, измеренной палеткой.
Наблюдается небольшое отклонение в область отрицательных значений при измерении фантомных ран площадью до 7,5 см2. Можно отметить, что относительная погрешность редко превышает 20%, причем такие значения в основном относятся к измерению малых фигур. Построена линейная модель зависимости модуля относительной погрешности измерения от площади фантомной раны (рис. 10).
Рис. 10. График линейной зависимости модуля относительной погрешности от площади фантомной раны.
Линейная модель состоятельна, угловой коэффициент составил –0,01 (95% ДИ –0,016; –0,004), p=0,0007, свободный член — 0,15 (95% ДИ 0,124; 0,167), p<2e-16. Тест Фишера показывает статистическую значимость модели (F=12,27; df=110; p=0,0007). Полученные данные означают, что усредненная точечная оценка ошибки измерений малых фигур (≈0,5 см) составляет 15% (95% ДИ 12; 17%). При росте площади фигуры на 1 см2 ошибка уменьшается в среднем на 1% (95% ДИ –1,6; –0,4%).
Результаты дополнительного анализа согласованности измерений приложением и палеткой представлены в табл. 1.
Таблица 1. Показатели качества двух рядов измерений
|
Показатель качества |
Значение критерия |
Интерпретация |
|
Критерий эффективности Нэша—Сатклиффа (NSE) |
0,98 |
Значение критерия более 0,65. Интерпретируется как очень хорошее соответствие рядов |
|
RMSE-observations standard deviation ratio (RSR) |
0,15 |
Близок к нулю, интерпретируется как хороший результат |
|
Percent bias (PBIAS) |
–3,60% |
Значение по модулю менее 10%. Интерпретируется как очень хорошее соответствие рядов |
Часть 2. Оценка воспроизводимости измерений с помощью приложения. Площади тестовых фантомных ран, измеренные палеткой, составили: 0,19, 1,63, 5,78, 10,59 см2. Для каждой фантомной раны было выполнено по 10 измерений с помощью приложения. Для представления основных параметров измерений площадей с помощью мобильного приложения построена диаграмма размаха медиан, нижних и верхних квартилей, минимальных и максимальных значений измерений площади и выбросы (рис. 11).
Рис. 11. Диаграмма размаха измерений площади 4 тестовых фигур с помощью мобильного приложения.
При визуальном анализе данной диаграммы отмечается наличие выбросов измерений фигур 1 и 2. Учитывая малый размер выборок (по 10 измерений каждой фигуры), а также характер поставленной задачи, а именно изучение воспроизводимости метода в реальных условиях, принято решение не исключать выбросы, а использовать робастные методы статистики. В качестве абсолютной погрешности использовали медиану отклонений, в качестве относительной погрешности — медиану модуля отклонений, отнесенную к площади, измеренной палеткой и умноженной на 100%. В табл. 2 представлены цифровые показатели описательной статистики и погрешности измерений, полученных с помощью мобильного приложения.
Таблица 2. Описательная статистика и погрешности десятикратных измерений четырех тестовых фигур
|
Фигура |
Площадь фантомной раны, см2 |
АПМП, см2 |
Ме, см2 |
Q1, см2 |
Q3, см2 |
IQR, см2 |
ОПМП, % |
|
1 |
0,19 |
0,020 |
0,185 |
0,165 |
0,20 |
0,04 |
10,53 |
|
2 |
1,63 |
0,255 |
1,375 |
1,355 |
1,46 |
0,11 |
15,64 |
|
3 |
5,78 |
1,035 |
4,745 |
4,545 |
4,88 |
0,33 |
17,91 |
|
4 |
10,59 |
1,475 |
9,115 |
8,715 |
9,54 |
0,82 |
13,93 |
Примечание. АПМП — абсолютная погрешность мобильного приложения; Me — медиана; Q1 — первый квартиль; Q3 — третий квартиль; IQR — интерквартильный размах; ОПМП — относительная погрешность мобильного приложения.
Обсуждение
Приложения для цифровой планиметрии с помощью современных электронных устройств появляются достаточно регулярно [6, 15]. Однако без технической поддержки со стороны разработчика или владельца они быстро устаревают и становятся недоступны. Кроме того, такие приложения редко проходят процедуру оценки точности измерений или валидацию на практике. На момент проведения представленного исследования авторы не нашли ни одного действующего приложения измерения кожных образований или фигур неправильной формы для мобильных электронных устройств.
Высокое значение коэффициента корреляции в нашем исследовании говорит о тесной линейной связи измерений, полученных двумя разными методами, однако для оценки согласованности этого недостаточно. Именно хорошая согласованность выборок измерений приложением и палеткой свидетельствует о сходстве методов и высокой воспроизводимости результатов при незначительном систематическом занижении площади приложением. Модели измерений приложением LesionMeter и контрольным методом хорошо согласованы, что подтверждается диаграммой Бленда—Альтмана и дополнительным исследованием качества линейных моделей по парам измерений.
Полученные в настоящем исследовании погрешности измерения фантомных ран приложением LesionMeter соответствуют таковым в литературе. Диапазон относительной погрешности при измерении ран по цифровым фотографиям составляет 21—28%, а при измерении аналогичным приложением — 13% [6, 16]. Мы получили значение относительной погрешности для фигур площадью 0,5 см2, равное 15% (95% ДИ 12; 17%), причем относительная погрешность уменьшается при увеличении площади измеряемого объекта.
Некоторое снижение значения коэффициента корреляции в конечной фазе набора расчетного количества измерений означает низкую вероятность приближения коэффициента корреляции к единице при дальнейшем увеличении количества измерений. То есть нет оснований ожидать полного совпадения результатов измерения приложением и палеткой при любом количестве измерений.
Весьма вероятно, что расположение карты относительно оси конечности и относительно плоскости поверхности, на которой расположен измеряемый объект, может влиять на результат измерений. В настоящей работе по отношению к оси конечности карта располагалась произвольно, однако исследователь старался уложить ее так, чтобы карта примерно располагалась в одной плоскости с фантомной раной. Кроме того, при фотографировании исследователь перемещал электронное устройство и старался уловить момент, когда приложение предлагает наиболее точную автообводку контура карты.
Отмечено наличие выбросов при малых размерах фигур. Этот факт свидетельствует о необходимости особой аккуратности в обводке контура образований малой площади. При использовании приложения следует учитывать занижение площади приложением.
Приложение позволяет вести контроль динамики площади различных образований с высокой точностью, в удобной форме, без значимых затрат времени, что крайне важно как в повседневной клинической практике, так и при проведении исследований.
Заключение
Точность измерения фантомных ран на кривой поверхности приложением LesionMeter соответствует точности контрольного метода (измерение палеткой) и данным литературы по аналогичным методам планиметрии.
Благодарности. Особая благодарность Станиславу Суздалю, руководителю HiQo Solutions LLC, и Анне Янцевич, переводчику, преподавателю английского языка HiQo Solutions LLC, за перевод с русского на английский.
Участие авторов:
Концепция и дизайн исследования — Е.А. Илюхин, В.Л. Булатов
Сбор данных — Е.А. Илюхин, В.Л. Булатов
Статистическая обработка данных — М.И. Гальченко
Написание текста — Е.А. Илюхин, В.Л. Булатов, М.И. Гальченко
Редактирование — Е.А. Илюхин
Конфликт интересов
Один из авторов (Е.А. Илюхин) участвовал в разработке и является правообладателем тестируемого приложения. Приложение распространяется на бесплатной основе. Выполнение статистической обработки данных финансировано Ассоциацией флебологов России.
Авторы заявляют об отсутствии конфликта интересов.