В современном мире неуклонно нарастает социальная значимость науки, а вместе с этим в условиях глобализации научного знания — требование к повышению качества (доказательность) науки, точности ее выводов и рекомендаций. Доступность научных знаний (результаты исследований) реализуется посредством коммуникативных связей науки, как внешних, «вертикальных» — с практикой, так и «горизонтальных», внутринаучных, призванных способствовать развитию науки.

Главным способом обмена научной информацией является публикация. Как всякий текст, а особенно научный, публикация должна подчиняться ряду правил, чтобы быть понятной и убедительной. Поэтому качество публикаций находится под контролем как конкретных наук, так и некоторых общих дисциплин, например доказательной медицины и наукометрии. Эти дисциплины для обеспечения убедительности публикаций составили правила их написания, а также иерархию оценок их доказательности. Сначала это было сделано на английском [1—4], а позже и на русском [5—7] языках. На этой основе в 2001 г. была создана [8] и валидизирована русскоязычная «Карта оценки научных публикаций» [9]. Со времени создания карты и ее первого использования прошло 20 лет, и появилась возможность оценить качество публикаций последнего времени и сравнить их с публикациями 20-летней давности.

Цель настоящего исследования — оценка качества научных публикаций в психиатрии и наркологии. В задачи исследования входила оценка качества отдельных публикаций в 2015 г. по стандартизованной карте оценки научных публикаций.

Было проведено аналитическое исследование научно-исследовательских статей, опубликованных в журналах по психиатрии и наркологии в конце 2015 г.

Из списка журналов ВАК были выбраны все журналы, имеющие отношение к психиатрии и наркологии, а в них — все научные статьи последнего доступного номера за 2015 г. (одна публикация была взята из № 1 за 2016 г.).

Всего подлежали анализу 84 статьи, которые предполагалось разделить между 8 экспертами. Однако часть экспертов позже отказались от участия в работе и она была осуществлена 5 экспертами по 51 статье, которые были взяты из следующих 13 журналов: «Вопросы наркологии», «Журнал неврологии и психиатрии им. С.С. Корсакова», «Наркология», «Неврология, нейропсихиатрия, психосоматика», «Обозрение психиатрии и медицинской психологии», «Психиатрия», «Психиатрия и психофармакотерапия», «Психиатрия, психотерапия и клиническая психология», «Психическое здоровье», «Психические расстройства в общей медицине», «Российский психиатрический журнал», «Сибирский вестник психиатрии и наркологии», «Социальная и клиническая психиатрия».

Вместе с текстами статей эксперты получали «Карту оценки научных публикаций» и статью с описанием методики ее заполнения [3]. Для каждой публикации заполняли отдельную карту, состоящую из пяти разделов: 1) тип исследования; 2) определяют ли авторы, к какому типу относится их исследование; 3) качество публикации по 21-му признаку; 4—5) две дополнительные характеристики. Ответы заполняли по системе «да/нет» для разделов 1—2 и 4—5. Качественные признаки (n=21) оценивали в баллах: 3 — да (наличие признака), 2 — отчасти или неясно, 1 — нет (отсутствие признака), 0 — оценка признака для данного исследования не требуется. Естественно, все расчеты велись только в пределах значимых для исследования признаков.

Методы исследования дополнительно рассматриваются при изложении в отдельных частях раздела результатов.

Данные всех карт были сведены в электронную таблицу и обработаны на основе z-преобразования или корреляции по Спирмену (r_s).

Существенное расхождение между экспертами отмечалось только по одному пункту: результат исследования был оценен авторами как 1) положительный (т.е. цель была достигнута), 2) отрицательный, 3) неопределенный, 4) отношение авторов к результатам неясно. Только один эксперт из восьми статей шесть отнес к пункту 4, при том, что у него были статьи из пяти различных журналов. Все 5 экспертов по остальным пунктам существенных расхождений не выявили.

Табл. 1

Перед исследованием качественных признаков следовало выбрать методику оценки качества. Медианный критерий для балльных оценок, который использовали Н.А. Зорин и соавт. [8, 9], по сути оценивал степень некачественности публикаций, а это не вполне соответствовало задаче настоящего исследования — оценке качества отдельных публикаций. Этому более адекватно служил критерий «доля 3-балльных оценок в каждой статье как признак качества публикации». В этом случае было не лишним сначала определить, как соотносятся баллы 3, 2 и 1. Естественно, при ограниченном выборе чем больше «троек», тем меньше «двоек» и «единиц» и наоборот. Однако было важно показать значимость этих отношений. Их корреляция выявила, что балл 3 находится в обратных отношениях с баллами 1 (r_s= –0,426, p=0,004) и 2 (r_s= –0,765, p=0,000). Значимость этих отношений свидетельствовала, что можно было ограничиться одним баллом, содержащим информацию о двух других. Таким образом, была рассчитана оценка для каждой статьи и составлено распределение статей с той или другой долей 3-балльных оценок (рис. 1).

На рис. 1 показано распределение публикаций по доле 3-балльных оценок. Как видно, только в двух (4%) публикациях из 51 все (100%) показатели были оценены в 3 балла. Это один полюс распределения, а другой составили семь статей (10—20%), в которых 3-балльные оценки отсутствовали и доминировали оценки в 1 балл (отсутствие признака). Как в этих семи, так и других статьях отсутствующие признаки были самыми важными для доказательности. Эти признаки (с 10 по 16, см. рис. 2, обозначение признаков приведено в табл. 2),

Для оценки того, какие и в какой степени качественные признаки нашли отражение в анализируемых статьях, было составлено их распределение по доле статей с оценкой в 3 балла по тому или другому признаку (рис. 3).

Классы 2 и 3 содержали 8 и 7 признаков соответственно (см. табл. 2). Разбор этих признаков рассмотрим в рубрике «Обсуждение».

Оценки двух последних пунктов опросной карты были однообразными. Все эксперты в статьях, где изучалось лекарственное вмешательство, оценили его эффект как положительный. Почти все эксперты сочли, что авторы публикаций результат своего исследования оценили положительно, и только в шести статьях авторы не высказали отношение к своей работе.

Наукометрия плохо приживается в России отчасти в связи с низкой квалификацией научных работников, слабо знакомых со стандартами современной науки. По сути каждый ученый в силу специфики работы должен быть знаком с принципами доказательности в науке, а значит и основами, хотя бы наукометрии. В нашей стране это можно отнести к очень узкому кругу научных работников. Отсюда трудность найти достаточное количество экспертов для наукометрического анализа, и, как следствие, настоящее исследование, которое могло быть невыборочным, таковым не стало — произошло вынужденное сокращение числа публикаций, их перераспределение за счет выбывших и новых экспертов.

Анализ типа исследования показал, что большинство публикаций составляли 1) неконтролируемые/одномоментные, 2) описание серии случаев или 3) нерандомизированные исследования. Все эти типы работ относятся к методически наименее доказательным (64%). Только одно из трех рандомизированных и контролируемых исследований было безупречным в отношении всех качественных показателей. Также высоко была оценена одна публикация по типу случай/контроль. Авторы 80% публикаций не сочли нужным определить тип своего исследования (см. табл. 1).

Для упрощения анализа качественной стороны отдельных публикаций весь диапазон оценок (процентная доля 3-балльных) был разделен на три класса: статьи, которые имеют оценку в 3 балла 1) больше, чем в ½ качественных признаков, 2) в ½ из них или 3) менее ½ из них.

Первый класс составили статьи с признаками, которые по сути относятся к начальной и заключительной части всякой статьи (6 признаков из 21, см. табл. 2). Они скорее имеют отношение к оформлению статьи и уже давно являются обязательными. Однако и по этим обязательным признакам встретились три публикации, в которых отсутствовало объяснение, почему проводилось исследование, выводов не было или они противоречили заявленной цели. Это уже не только огрехи авторов, свидетельство их низкой квалификации, но и вина редакций, допустивших такие статьи к публикации. Наукометрия не может сказать, почему так происходит: из-за низкой квалификации или вненаучных факторов редакторов или рецензентов. Ответ на этот вопрос отчасти дало недавнее исключение 344 российских научных журналов из РИНЦ. Акцент был сделан на рецензировании. «Журналов, у которых весьма условное рецензирование, в несколько раз больше. Из 6 тыс. журналов нормальное рецензирование есть, дай бог, у 1000»^​1​᠎. Остальные журналы были названы «мусорными». Несколько раньше сетевое сообщество «Диссернет» затеяло журнальный проект, призванный систематизировать данные по отличающимся недобросовестной редакционной политикой журналам из списка ВАК.

Возвращаясь к проведенному исследованию, следует сказать, что собственно научное качество отражено признаками 4—18 (см. табл. 2), которые составили 2-й и 3-й классы. В ½ публикаций (класс 2) не сформулирована гипотеза исследования, не даны критерии включения/исключения больных, а также оценки результата, не описана методика исследования.

Еще хуже обстоит дело с признаками, главным образом определяющими доказательность выводов публикации. В более чем ½ статей (класс 3) не учитывалась возможность систематических ошибок, а это не позволяет полностью их избежать. Также не указывалось, все ли больные доведены до конца исследования или у них были отмечены побочные эффекты. Особенно не повезло статистическому анализу: только семь (15%) статей получили 3 балла, а 46% — 1 балл. По сути в 80% статей выбор статистического метода был сделан случайно и/или не обоснован, а полнота его описания оставляла желать лучшего.

Полное сравнение с результатами сходной работы 20-летней давности [3, 4] затруднительно по двум обстоятельствам: 1) в той статье ставились другие задачи (сравнение публикаций в двух психиатрических журналах, на тот момент единственных), под которые была использована другая система расчетов и их интерпретация; 2) за 20 лет существенно изменилась журнальная политика в медицине вообще и психиатрии в частности, появилось много новых журналов, что не способствует росту качества публикаций при мало изменившейся структуре психиатрической науки. Однако при этих ограничениях один результат сопоставим: качество только 10% статей 2 журналов в 1996 г. и 4% — в 2015 г. 13 журналов было признано достойным по формальным признакам.

Необходимо подчеркнуть, что даже в тех случаях, когда содержание исследовательской статьи может быть интересным, без выполнения всех современных формальных требований работа не станет доказательной, а значит имеющей смысл. Это, конечно, не относится к редким публикациям, в которых выдвигаются новые гипотезы, поднимаются новые вопросы (иногда вопрос бывает важнее ответа).

Предлагаемая статья адресована прежде всего редакциям психиатрических журналов, которые несут ответственность за качество публикаций в своих изданиях. Редакции слабо работают с авторами, некоторые проанализированные статьи могли бы быть лучше после доработки, а часть статей не следовало допускать до публикации. Работа с авторами — это важная педагогическая задача редакций, тем более, что в России по сути не учат методологии научной работы. В связи со сказанным возникает вопрос и о квалификации сотрудников редакций и рецензентов статей.

Авторы заявляют об отсутствии конфликта интересов.