Обработка полученных при использовании психометрических шкал ранговых данных на основе метода анализа иерархий

Авторы:
  • В. Г. Митихин
    ФГБНУ «Научный центр психического здоровья» РАН, Москва, Россия
  • Т. А. Солохина
    ФГБНУ «Научный центр психического здоровья» РАН, Москва, Россия
Журнал: Журнал неврологии и психиатрии им. С.С. Корсакова. 2019;119(2): 49-54
Просмотрено: 1613 Скачано: 251

Ранговые (дименсиональные) шкалы широко используются в психиатрии и неврологии для сравнительной оценки тяжести клинического состояния пациентов в динамике (например, в процессе психофармакотерапии или психосоциальной реабилитации).

К наиболее известным относятся такие шкалы, как шкала PANSS, шкала оценки медикаментозного комплаенса, шкала оценки психического статуса (PSE), шкала социального функционирования, шкала нарушений жизнедеятельности Куртцке, шкала комы Глазго и десятки других шкал. С точки зрения теории измерений эти шкалы относятся к ранговым (порядковым, ординальным) шкалам [1—5]. Шкалы этого типа широко используются в медицине, психологии, социологии, экономике, теории управления и других дисциплинах для мультикритериальной оценки состояния социальных и технических объектов (от индивидуумов до общественных групп, от отдельных устройств до отраслей производства и экономики). В частности, в психиатрии [6—7] считается, что состояние пациента можно более полно описать на основе дименсионального подхода, который в этом случае рассматривается как дополнительный к клиническому (категориальному) подходу.

Ранговая информация не допускает использование операции вычисления среднего арифметического и, как следствие, средств регрессионного, дисперсионного и факторного анализа. Ранги представляют собой метки (отметки), между которыми определены лишь операции равенства («равно») и порядка («меньше—больше»). Это хорошо известные (более 40 лет) факты из теории измерений и теории шкал [1—5], которые вошли в учебники и пособия по математическим методам обработки данных [8—10]. Проблемы корректного использования ранговой информации в психиатрии (с учетом того, что ранги — это нечисловая, качественная информация) стали обсуждаться только в последние годы [11—12]. Ранговую информацию можно корректно обрабатывать только непараметрическими методами статистики, которые являются весьма «слабыми» по сравнению с классическими параметрическими методами математической статистики.

Непараметрические методы позволяют оценивать только значимость различий в ранговых выборках, но исследователи во всех областях науки (в том числе и в медицине) заинтересованы получать более информативные в прогностическом смысле математические модели (например, регрессионные), связывающие психометрические оценки состояния пациента с физиологическими и биологическими данными. Очевидно, последнее обстоятельство, пробелы в математической подготовке и формальное применение компьютерных средств обработки данных толкает неискушенных в области теории измерений и шкал исследователей на использование недопустимых методов при обработке ранговой информации.

Поэтому важное место в нашей работе уделено примерам, на которых, с одной стороны, элементарными средствами обосновывается недопустимость числовой интерпретации ранговой информации и, например, использования операции среднего арифметического, а с другой стороны, эти примеры дают возможность иллюстрации кардинального подхода к обработке ранговой информации на основе метода анализа иерархий. Это открывает корректный путь к использованию ранговой информации в математических моделях.

В медицине и психологии при оценке состояния и поведения человека необходимо принимать решения (например, оценка психопатологического состояния, постановка диагноза и др.) на основе соответствующей информации. Эта информация иерархически организована и включает как количественные (кардинальные) показатели (например, возраст, длительность заболевания, частота госпитализаций, показатели анализов биологических жидкостей), так и нечисловые (ранговые, дименсиональные) показатели (например, выраженность психопатологических симптомов, характеристики социального поведения и окружения).

В настоящее время наиболее естественным и эффективным методом принятия решения для многокритериальных проблем, в которых должна обрабатываться разнородная информация (количественная и качественная), является метод анализа иерархий (МАИ). Автором этого метода является Т. Saaty [13, 14], который обозначил его как Analytic Hierarchy Process (AHP). К основным достоинствам МАИ относится использование шкалы отношений (фундаментальной шкалы) для обработки разнородной информации. Концентрированное изложение основных идей МАИ, имеющих убедительный математический и психофизический фундамент, можно найти в одной из статей автора [15]. На основе МАИ разработана широко известная программная система Expert Choice, изложенная в публикации A. Ishizaka и соавт. [16] (там же представлена обширная библиография по применению МАИ). Изложение результатов использования МАИ применительно к некоторым проблемам в психиатрии можно найти в ряде работ отечественных специалистов [17—19]. Число статей прикладного характера с решениями задач из разных областей на основе МАИ измеряется тысячами.

Самой мощной в ряду измерительных шкал, как известно [1, 3—5, 13—16], является шкала отношений, которая используется для измерения и обработки количественных физических и биологических параметров объекта. В ходе развития представлений об измеряемом объекте последовательно используются измерительные шкалы: категориальные (наименований), ранговые (порядковые) и, наконец, шкалы отношений. Современные подходы к диагностике расстройств в психиатрии можно кратко описать следующим образом: клинические (категориальные) системы классификации → дименсиональные модели классификации (например, в рамках DSM-5) → нейробиологические модели классификации (эндофенотипы в рамках проекта RDoC, см., например, [6—7, 20]). Корректно согласовать и развить эти подходы в указанной цепочке мешает возникающее в настоящее время противоречие: для проведения исследований в рамках RDoC необходимы надежные классификации расстройств, но для создания надежных классификаций нужны данные нейробиологических исследований. Устранение этого противоречия основано на интеграции категориальных, дименсиональных и нейробиологических данных.

Для корректного преобразования исходной ранговой информации в числовую (кардинальную) информацию предлагается использовать метод анализа иерархий.

Важная особенность предлагаемого подхода — формирование результатов обработки ранговой (дименсиональной) информации в шкале отношений, что обеспечивает интеграцию ординальных и кардинальных характеристик, широкое применение математических операций и корректное использование получаемых оценок в клинической практике и научных исследованиях.

Цель настоящей работы — анализ проблемы оценивания патологических состояний в рамках ранговых шкал, в частности психометрических. Формирование результатов обработки исходной ранговой информации в шкале отношений на основе метода анализа иерархий.

Материал и методы

Материалом для данной работы послужила совокупность российских и зарубежных научных публикаций, посвященных использованию и обработке данных, представленных в разных шкалах, от категориальных до шкал отношений [2, 4, 5, 8—11, 13—15].

Использовали следующие методы анализа данных: статистический, ранговые методы, методы системного анализа данных и, в частности, алгоритмы МАИ, предложенные в работах [14, 15, 17—19]. Все расчеты на основе предлагаемых алгоритмов выполнены в среде MS Excel.

Результаты и обсуждение

Традиционные подходы к обработке ранговой информации

Рассмотрим на простых примерах, имеющих общемедицинскую интерпретацию, подходы к обработке информации, полученной в рамках ранговых шкал.

Пример 1. Случай одной шкалы (одномерное ранжирование).

В табл. 1 приведены

Таблица 1. Оценки экспертов состояния пациентов (П1 и П2) по 5-балльной шкале
оценки состояния по одному симптому для двух пациентов — П1, П2, полученные по 5-балльной шкале (дименсиональные уровни шкалы: от 1 до 5 — по возрастанию степени выраженности симптома) по итогам консилиума, в котором принимали участие 11 экспертов равной квалификации.

А. Из табл. 1 следует, что абсолютное большинство экспертов (7 из 11) считают, что дименсиональная (ранговая) оценка состояния пациента П1 (равна 4) больше, чем у пациента П2 (равна 3). Такие же результаты получаются с использованием медианных оценок, которые являются корректными при обработке ранговой информации [1—5, 8—10].

Поэтому окончательные ранговые оценки состояния пациентов П1 и П2 (4 и 3 соответственно) имеют достаточно надежное обоснование как на основе принципа «абсолютного большинства» теории принятия решений, так и с точки зрения использования корректных статистических методов при обработке ранговой информации.

Б. Допустим теперь, что ранговые показатели из табл. 1 являются числами, которые можно обрабатывать с помощью любых математико-статистических операций. Вычислим среднее арифметическое оценок для П1 и П2. Обозначая С1 и С2 средние оценки для П1 и П2 получаем (c точностью до 0,01):

С1=(7·4+4·3)/11=3,64;

С2=(7·3+4·5)/11=3,73.

С учетом стандартной ошибки вычисления среднего получаем:

С1=3,64±0,15; С2=3,73±0,30.

Сравнение средних оценок приводит в лучшем случае к неопределенной ситуации, а в худшем к противоположному выводу по сравнению с пунктом А: средняя оценка состояния у П2 больше, чем у П1. В итоге получаем противоречие как с общепринятым принципом «абсолютного большинства» принятия решений, так и с результатами на основе корректной статистической обработки ранговой информации. Выходом из такой неопределенной ситуации является отказ от допущения пункта Б, т. е. информация из табл. 1 — нечисловая (ранговая, дименсиональная) информация, для которой операция вычисления среднего арифметического является недопустимой.

Пример 2. Случай трех шкал (трехмерное ранжирование).

Рассмотрим оценку состояния одним специалистом трех пациентов П1, П2, П3 по трем симптомам S1, S2, S3, которые имеют общую 3-балльную шкалу (уровни шкалы, например: 1 — удовлетворительно, 2 — средняя тяжесть, 3 — тяжелое) для каждого симптома. В табл. 2 приведены

Таблица 2. Оценки состояния пациентов по 3-балльной шкале по симптомам S1, S2, S3
оценки состояния пациентов.

В предположении, что симптомы S1, S2, S3 имеют равную весомость (случай разной весомости обсудим далее), попробуем найти обобщенные, интегрированные оценки.

В рассматриваемой ситуации медианные оценки для каждого пациента равны 2, поэтому ранжировать пациентов по тяжести состояния не удается.

Анализ этих простых примеров приводит к следующим выводам: 1) пример 1 демонстрирует недопустимость интерпретации ранговой информации как числовой информации; 2) пример 2 демонстрирует слабую разрешающую способность ранговых методов для простейших ситуаций.

Анализ проблем оценивания психопатологических состояний на основе категориальных и ранговых шкал показывает, что эти проблемы могут быть представлены в виде соответствующих иерархий, структуру которых необходимо учитывать при обработке информации, полученной в рамках этих шкал. Поэтому применение аппарата анализа иерархий (МАИ) в этих ситуациях вполне естественно и связано с реализацией трех основных этапов (см., например, [13—15, 17—19, 21]).

Краткое содержание этих этапов: 1) постановка проблемы и ее представление в виде некоторой иерархии — альтернативы, критерии (шкалы оценки) и т. д.; 2) сбор исходной информации и ее оценка путем реализации процедур парного сравнения элементов каждого уровня рассматриваемой иерархии (с фиксацией результатов сравнения в шкале отношений); 3) обработка результатов сравнения элементов иерархии и вычисление весов альтернатив решения поставленной проблемы. Подробное содержание этих этапов и примеры их реализации представлены в работе [17].

Рассмотрим далее решения для рассмотренных выше примеров в рамках МАИ.

Подходы и алгоритмы обработки ранговой информации на основе МАИ

Пример 1. Рассмотрим соответствующую (рис. 1)

Рис. 1. Иерархия процедуры получения интегральной оценки для пациентов П1, П2 по одному симптому в группе из 11 экспертов (Э1—Э11).
иерархию проблемы оценки состояния пациентов П1 и П2 группой из 11 экспертов (Э1—Э11) по одному симптому, для которого используется 5-балльная шкала.

Реализация процедур 2-го этапа МАИ в этом примере основана на использовании нормативного подхода МАИ [14]). Нормативный подход в МАИ основан на использовании экспертных парных сравнений (в рамках фундаментальной шкалы) оценок ранговой шкалы для формирования шкалы интенсивностей оценок ранговой шкалы. Отметим, что экспертные сравнения опираются на клиническую оценку уровней ранговой шкалы и в этом состоит важное отличие подхода МАИ от формальных методов обработки данных, не позволяющих учитывать качественную информацию, к которой относится ранговая информация.

Приведем матрицу (табл. 3)

Таблица 3. Матрица парных сравнений отметок («1», …, «5») ранговой (дименсиональной) шкалы на основе коллективного соглашения экспертов (Э)
парных сравнений отметок ранговой шкалы («1» … «5»), используя для фиксации результатов парных сравнений основные уровни фундаментальной шкалы МАИ, а также свойство неравномерности отметок «закрытой» ранговой шкалы (см., например, [4, 5] — шкала называется «закрытой», если в ней присутствуют минимальная (здесь «1») и максимальная («5») отметки). Оценка качества полученной матрицы парных сравнений основана на величине коэффициента «отношения согласованности», который вычисляется по матрице парных сравнений. Критическое значение коэффициента равно 0,1, а идеальное значение равно 0 [14, 15].

Будем считать, что матрица сравнений (см. табл. 3) получена в результате коллективного соглашения всех экспертов. Это не является ограничением, в рамках МАИ аналогичные индивидуальные матрицы парных сравнений может сформировать каждый эксперт и дальше использовать в расчете интенсивностей отметок, а затем полученные интенсивности усреднить.

Элементы матрицы в табл. 3 сформированы с помощью основных числовых уровней фундаментальной шкалы (шкалы отношений) МАИ, которые имеют соответствующую смысловую интерпретацию: 1 — равная важность; 3 — слабое предпочтение; 5 — предпочтение; 7 — сильное предпочтение; 9 — абсолютное предпочтение; 2, 4, 6, 8 — промежуточные случаи. Шкала содержит и соответствующие обратные значения (для измерения результатов обратных парных сравнений): ½, 1/3, ¼, 1/5, 1/6, 1/7, 1/8, 1/9. Так как матрица (см. табл. 3) имеет хороший коэффициент согласованности (он равен 0,04, что меньше критического значения 0,1), то расчет нормированных весов w отметок («1», «2», …, «5») ранговой (дименсиональной) шкалы можно выполнить с помощью простых арифметических алгоритмов (см., например, [14, 15, 17, 19]). Далее, с помощью деления полученных нормированных весов отметок на максимальный вес оценки «5» (равный 0,415) получим значения интенсивностей отметок: i («1»), i («2»), …, i («5»). Результаты вычислений представлены в табл. 4.

Таблица 4. Значения нормированных весов w и значений интенсивностей i отметок («1», «2», …, «5») ранговой (дименсиональной) 5-балльной шкалы

Заключительный этап решения примера 1 состоит в расчете весов оценок состояния пациентов П1, П2 на основе данных табл. 4 с учетом нормированных весов экспертов Э1 — Э11. В рассматриваемом случае (эксперты равной квалификации) веса экспертов (w1, …, w11) равны, т. е., w1=1/11, …, w11=1/11, поэтому, используя ранговые оценки из табл. 1, получаем веса (Wп1, Wп2) оценок состояния пациентов:

Wп1=(7·i («4»)+4·i («3»))/11=0,779;

Wп2=(7·i («3»)+4·i («5»))/11=0,705.

С учетом стандартной ошибки получаем: 0,779±0,17 и 0,705±0,17 соответственно.

Таким образом, следует считать состояние пациента П1 более тяжелым, что совпадает с ранговым решением примера 1.

Фундаментальное отличие полученного решения на основе МАИ от рангового решения связано с тем, что найдены числовые (кардинальные) оценки, которые можно использовать для любой математической обработки и построения соответствующих кардинальных моделей связи и прогнозирования состояния пациентов от других факторов. Для случая разной квалификации экспертов в рамках МАИ реализуется иерархическая процедура оценки кардинальных весов экспертов (см., например, [14, с. 45—46]) в зависимости от квалификационных показателей и факторов, влияющих на уровень квалификации.

Пример 2. Рассмотрим соответствующую иерархию (рис. 2)

Рис. 2. Иерархия процедуры получения интегральной оценки для пациентов П1, П2, П3 по 3 симптомам S1, S2, S3.
оценивания состояния пациентов П1, П2, П3 одним экспертом по трем симптомам — S1, S2, S3, имеющим общую 3-балльную ранговую шкалу.

Матрицу парных сравнений отметок ранговой 3-балльной шкалы: «1», «2», «3», составим аналогично матрице парных сравнений отметок ранговой 5-балльной шкалы (см. табл. 3). При этом согласованность матрицы парных сравнений отметок 3-балльной шкалы оказывается почти идеальной (показатель согласованности равен 0,003). Результаты вычислений нормированных весов w и значений интенсивностей i отметок представлены в табл. 5.

Таблица 5. Значения нормированных весов w и значений интенсивностей i отметок («1», «2», «3») ранговой (дименсиональной) 3-балльной шкалы

Заключительный этап решения примера 2 состоит в расчете весов оценок состояния пациентов П1, П2, П3 на основе данных табл. 5 с учетом нормированных весов симптомов S1, S2, S3. В силу предположения, что симптомы S1, S2, S3 имеют равную весомость, получаем нормированные веса симптомов: w1=1/3, w2=1/3, w3=1/3. Поэтому, используя ранговые оценки пациентов и их интенсивности из табл. 2 и 5, получаем веса (Wп1, Wп2, Wп3) оценок состояния пациентов:

Wп1=(i («1»)+i («3»)+i («2»))/3=0,573;

Wп2=(i («2»)+i («2»)+i («2»))/3=0,531;

Wп3=(i («3»)+i («1»)+i («2»))/3=0,573

С учетом стандартной ошибки получаем: 0,573±0,023 и 0,531±0,023 соответственно, что позволяет ранжировать пациентов на основе интегральной кардинальной оценки. Совпадение оценок состояния для П1 и П3 — очевидное следствие равной весомости симптомов S1, S2, S3. Для случая разной весомости симптомов в рамках МАИ реализуется иерархическая процедура оценки кардинальных весов симптомов (см., например, [14, 17]) на основе парных сравнений симптомов, при которой результаты парных сравнений основаны на клинической экспертной информации.

Таким образом, на примерах продемонстрирована эффективность кардинального подхода МАИ при обработке ранговой информации.

Перспективы кардинального оценивания для реальных ранговых шкал

Следует отметить, что в реальной практике использования ранговых шкал ситуация может оказаться достаточно сложной. Например, шкала PANSS [22] содержит 33 симптома, сгруппированных в 4 субшкалах: субшкалы позитивных и негативных синдромов (по 7 симптомов), субшкала общих психопатологических синдромов (14 симптомов), субшкала дополнительных симптомов для оценки профиля риска агрессии (3 признака). При этом симптомы в этих субшкалах оцениваются по 7-балльной шкале.

Процедура оценивания состояния пациента в шкале PANSS представляется иерархией, отраженной на рис. 3.

Рис. 3. Иерархия процедуры получения интегральной оценки в шкале PANSS. На нижнем уровне иерархии находится пациент, на следующем уровне — симптомы оценивания S1—S33, на предпоследнем уровне — субшкалы 1—4, включающие соответствующие симптомы.

Приведем в табл. 6 один

Таблица 6. Значения нормированных весов w и значений интенсивностей i отметок («1», «2», …, «7») ранговой (дименсиональной) 7-балльной шкалы
из возможных вариантов, основанных на согласованной экспертной информации для отметок 7-балльной шкалы, используемой для ранговой оценки уровней тяжести симптомов PANSS.

Существующая ранговая процедура получения оценок психопатологических состояний основана на простом суммировании баллов по симптомам, входящим в разные субшкалы PANSS [22]. Очевидно, что это суммирование соответствует допущению о равной весомости как отдельных симптомов, так и субшкал PANSS. При таком допущении получаем очень простой алгоритм вычисления суммарной оценки PANSS по каждой субшкале (интенсивности суммируем с равными весами симптомов). Допущение о равной весомости симптомов и субшкал не всегда отражает объективную клиническую картину состояния [22—25], в частности, не учитывается соотношение выраженности негативной и позитивной симптоматики. В настоящее время негативная симптоматика рассматривается в качестве ведущего аспекта шизофрении, играющего ключевую роль в ее функциональном исходе и определяющего особенности ремиссий. Интересная информация о соотношении выраженности симптомов PANSS (с точки зрения подхода МАИ при оценке парных сравнений симптомов) содержится в работе С.Н. Мосолова и соавт. [26] о критериях терапевтической ремиссии при шизофрении. При оценке соотношения симптомов PANSS необходимо учитывать форму и тип течения заболевания и, как это вытекает из подходов, представленных в работах [22—26], расстройства при шизофрении и заболеваниях шизофренического спектра требуют дифференцированного подхода в плане психопатологической квалификации. Отмеченные обстоятельства указывают на необходимость использования дополнительной клинической информации (важной в рамках МАИ), проясняющей соотношение симптомов и синдромов для различных состояний. Пример шкалы PANSS, имеющей в своем составе набор субшкал, указывает на перспективы получения интегрированных оценок по разным шкалам, например шкалы PANSS и шкал социального, когнитивного функционирования (на рис. 3 дополнительные шкалы добавляются как субшкалы со своими симптомами). Добавим, что для корректного применения нормативного подхода МАИ должно выполняться необходимое условие: шкалы симптомов, а точнее уровни этих шкал, должны быть операционально описаны.

Результаты проведенного исследования позволяют сформулировать следующие выводы: недопустима интерпретация ранговой информации как числовой информации, а также слабая разрешающая способность ранговых методов. Для корректного преобразования исходной ранговой информации в числовую (кардинальную) информацию предлагается использовать МАИ, который обеспечивает формирование результатов обработки ранговой информации в шкале отношений. Кардинальный подход к обработке ранговой информации открывает перспективы получения интегрированных оценок по разным шкалам, что представляет интерес с точки зрения формирования индикаторов (маркеров) эффективности психосоциальных, реабилитационных, психообразовательных и психотерапевтических мероприятий.

Авторы заявляют об отсутствии конфликта интересов.

*e-mail: mvgmia@mail.ru
https://orcid.org/0000-0002-9502-5395

Список литературы:

  1. Pfanzagl J. Theory of measurement. In cooperation with Baumann V. and Huber H. 2nd revised edition. Wurzburg—Wien: Physica-Verlag; 1971.
  2. Орлов А.И. Устойчивость в социально-экономических моделях. М.: Наука; 1979.
  3. Новиков Н.Ю. Теория шкал. Принципы построения эталонных процедур измерения, кодирования и управления. М.: Физматлит; 2009.
  4. Хайтун С.Д. Количественный анализ социальных явлений. Проблемы и перспективы. М.: ЛИБРОКОМ; 2014.
  5. Маслак А.А. Теория и практика измерения латентных переменных в образовании. М.: Юрайт; 2016.
  6. Павличенко А.В. Настоящее и будущее диагноза в психиатрической практике (по материалам XXII Конгресса Европейской психиатрической ассоциации). Психиатрия и психофармакотерапия. 2014;6:11-18.
  7. Незнанов Н.Г., Иванов М.В., Костерин Д.Н., Янушко М.Г. Современные подходы к классификации психических расстройств. Психиатрия и психофармакотерапия. 2015;5-6:4-8.
  8. Орлов А.И. Прикладная статистика. М.: Экзамен; 2006.
  9. Толстова Ю.Н. Измерение в социологии. М.: Книжный дом университет; 2007.
  10. Купцов М.И., Филипова Е.Е., Слободская И.Н. и др. Математические методы в психологии. М.: Горячая линия—Телеком; 2017.
  11. Berrios GE, Markova IS Is the concept of «dimension» applicable to psychiatric objects? World Psychiatry. 2013;12(1):76-79. https://doi.org/10.1002/wps.20019
  12. Мартынихин И.А. Клинический подход и доказательная медицина. Часть 2. Поиск синтеза. Психиатрия и психофармакотерапия. 2013;1:61-66.
  13. Saaty TL. The Analytic Hierarchy Process. New York: McGraw Hill; 1980.
  14. Саати Т.Л. Принятие решений при зависимостях и обратных связях: Аналитические сети. Пер. с англ. М.: Изд. ЛКИ; 2008.
  15. Саати Т.Л. Об измерении неосязаемого. Подход к относительным измерениям на основе главного собственного вектора матрицы парных сравнений. Cloud of Science. 2015;2(1):5-39.
  16. Ishizaka A, Labib A. Analytic Hierarchy Process and Expert Choice: Benefits and Limitations. OR Insight. 2009;22(4):201-220.
  17. Ястребов В.С., Митихин В.Г. Оценка деятельности и перспектив развития психиатрических служб на основе иерархического анализа. Журнал неврологии и психиатрии им. С.С. Корсакова. 2005;105(4):61-67.
  18. Ястребов В.С., Митихин В.Г., Солохина Т.А., Михайлова И.И. Системно-ориентированная модель психосоциальной реабилитации. Журнал неврологии и психиатрии им. С.С. Корсакова. 2008;108(6):4-10.
  19. Митихин В.Г., Алиева Л.М., Ениколопов С.Н. Применение метода анализа иерархий для обработки данных исследования телесного образа «Я» у больных психическими расстройствами. Психиатрия. 2015;1:29-32.
  20. Cuthbert B. The RDoC framework: facilitating transition from ICD/DSM to dimensional approaches that integrate neuroscience and psychopathology. World Psychiatry. 2014;13(1):28-35. https://doi.org/10.1002/wps.20087
  21. Митихин В.Г. К вопросу решения многокритериальных задач на основе метода анализа иерархий. Cloud of Science. 2015;2(4):519-529.
  22. Мосолов С.Н. Шкалы психометрической оценки шизофрении и концепция позитивных и негативных расстройств. М.: Новый цвет; 2001.
  23. Смулевич А.Б., Мухорина А.К., Воронова Е.И., Романов Д.В. Современные концепции негативных расстройств при шизофрении и заболеваниях шизофренического спектра. Психиатрия. 2016;4:5-19.
  24. Смулевич А.Б., Романов Д.В., Воронова Е.И., Мухорина А.К., Читлова В.В., Сорокина О.Ю. Эволюция учения о шизофреническом дефекте. Журнал неврологии и психиатрии им. С.С. Корсакова. 2017;117(9):4-14. https://doi.org/10.17116/jnevro2017117914-14
  25. Marder S.R., Galderisi S. The current conceptualization of negative symptoms in schizophrenia. World Psychiatry. 2017;16(1):14-24. https://doi.org/10.1002/wps.20385
  26. Мосолов С.Н., Потапов А.В., Ушаков Ю.В. и др. Стандартизированные клинико-функциональные критерии терапевтической ремиссии при шизофрении: разработка и валидизация. Психиатрия и психофармакотерапия. 2012;2:9-19.