Степанова А.Д.

СПб ГБУЗ «Городская клиническая больница №31»

Евдошенко Е.П.

Санкт-Петербургский городской центр рассеянного склероза и других аутоиммунных заболеваний СПб ГБУЗ «Городская клиническая больница №31»

Шумилина М.В.

СПб ГБУЗ «Городская клиническая больница №31»;
ФГБОУ ВО «Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П. Павлова» Минздрава России

Коробко Д.С.

ГБУЗ Новосибирской области «Государственная Новосибирская областная клиническая больница»;
ФГБОУ ВО «Новосибирский государственный медицинский университет» Минздрава России

Барабанова М.А.

ГБУЗ «Научно-исследовательский институт — Краевая клиническая больница №1 им. проф. С.В. Очаповского»

Аброськина М.В.

ФГБОУ ВО «Красноярский государственный медицинский университет им. проф. В.Ф. Войно-Ясенецкого» Минздрава России

Василенко А.Ф.

ФГБОУ ВО «Южно-Уральский государственный медицинский университет» Минздрава России

Юрченко Ю.Н.

ГАУЗ «Брянская областная больница №1»

Давыдовская М.В.

ФГАОУ ВО «Российский национальный исследовательский медицинский университет им. Н.И. Пирогова» Минздрава России;
ГБУ МО «Научно-практический центр клинико-экономического анализа Министерства здравоохранения Московской области»

Валидация электронной версии расширенной шкалы статуса инвалидизации (РШСИ) на русском языке для пациентов с рассеянным склерозом в Российской Федерации

Авторы:

Степанова А.Д., Евдошенко Е.П., Шумилина М.В., Коробко Д.С., Барабанова М.А., Аброськина М.В., Василенко А.Ф., Юрченко Ю.Н., Давыдовская М.В.

Подробнее об авторах

Просмотров: 1856

Загрузок: 12


Как цитировать:

Степанова А.Д., Евдошенко Е.П., Шумилина М.В., и др. Валидация электронной версии расширенной шкалы статуса инвалидизации (РШСИ) на русском языке для пациентов с рассеянным склерозом в Российской Федерации. Медицинские технологии. Оценка и выбор. 2024;46(1):9‑16.
Stepanova AD, Evdoshenko EP, Shumilina MV, et al. Validation of e-version of Russian-language expanded disability status scale (EDSS) for patients with multiple sclerosis in the Russian Federation. Medical Technologies. Assessment and Choice. 2024;46(1):9‑16. (In Russ.)
https://doi.org/10.17116/medtech2024460119

Рекомендуем статьи по данной теме:
Эф­фек­тив­ность те­ле­ре­аби­ли­та­ции па­ци­ен­тов с рас­се­ян­ным скле­ро­зом в ус­ло­ви­ях пан­де­мии ко­ро­на­ви­рус­ной ин­фек­ции в 2020—2021 гг.. Жур­нал нев­ро­ло­гии и пси­хи­ат­рии им. С.С. Кор­са­ко­ва. 2024;(3):75-81
Эф­фек­тив­ность и бе­зо­пас­ность двух­лет­ней те­ра­пии ди­во­зи­ли­ма­бом у па­ци­ен­тов с рас­се­ян­ным скле­ро­зом в рам­ках ран­до­ми­зи­ро­ван­но­го двой­но­го сле­по­го пла­це­бо-кон­тро­ли­ру­емо­го кли­ни­чес­ко­го ис­сле­до­ва­ния BCD-132-4/MIRANTIBUS. Жур­нал нев­ро­ло­гии и пси­хи­ат­рии им. С.С. Кор­са­ко­ва. 2024;(4):86-96
Кли­ни­чес­кий слу­чай COVID-ас­со­ци­иро­ван­ной эн­це­фа­ло­па­тии у па­ци­ен­та с рас­се­ян­ным скле­ро­зом. Жур­нал нев­ро­ло­гии и пси­хи­ат­рии им. С.С. Кор­са­ко­ва. 2024;(4):159-163
Оп­ти­чес­кая ко­ге­рен­тная то­мог­ра­фия-ан­ги­ог­ра­фия в ди­аг­нос­ти­ке рас­се­ян­но­го скле­ро­за. Вес­тник оф­таль­мо­ло­гии. 2024;(2):63-70
Роль це­реб­ро­вас­ку­ляр­ных за­бо­ле­ва­ний в прог­рес­си­ро­ва­нии рас­се­ян­но­го скле­ро­за. Жур­нал нев­ро­ло­гии и пси­хи­ат­рии им. С.С. Кор­са­ко­ва. 2024;(5):53-57
Оп­ти­чес­кая ко­ге­рен­тная то­мог­ра­фия в ди­аг­нос­ти­ке рас­се­ян­но­го скле­ро­за. Вес­тник оф­таль­мо­ло­гии. 2024;(3):59-68
Оп­рос­ни­ки для оцен­ки фун­кции ру­ки у па­ци­ен­тов с рас­се­ян­ным скле­ро­зом. Жур­нал нев­ро­ло­гии и пси­хи­ат­рии им. С.С. Кор­са­ко­ва. 2024;(6):36-42
Осо­бен­нос­ти пер­вич­ных форм го­лов­ной бо­ли при рас­се­ян­ном скле­ро­зе. Жур­нал нев­ро­ло­гии и пси­хи­ат­рии им. С.С. Кор­са­ко­ва. 2024;(6):70-73
Ней­ро­фи­ла­мент лег­ких це­пей: ди­аг­нос­ти­чес­кие воз­мож­нос­ти при рас­се­ян­ном скле­ро­зе. Жур­нал нев­ро­ло­гии и пси­хи­ат­рии им. С.С. Кор­са­ко­ва. 2024;(6):115-119
Биобан­ки­ро­ва­ние в кли­ни­чес­ких ис­сле­до­ва­ни­ях с учас­ти­ем па­ци­ен­тов с рас­се­ян­ным скле­ро­зом. Жур­нал нев­ро­ло­гии и пси­хи­ат­рии им. С.С. Кор­са­ко­ва. Спец­вы­пус­ки. 2024;(7-2):7-15

Введение

Expanded Disability Status Scale (EDSS) — расширенная шкала статуса инвалидизации — используемый во всем мире инструмент оценки неврологического статуса пациентов с рассеянным склерозом (РС). EDSS применяется как в рутинной практике, так и в клинических исследованиях, и служит для объективной интерпретации данных неврологического осмотра.

Первая шкала на основе «функциональных систем» предложена J.F. Kurtzke в 1955 г. в исследовании эффективности изониазида для лечения РС [1]. Позднее шкала преобразована в EDSS, рейтинговую систему от 0 (нормальный неврологический статус) до 10 (смерть от РС), в которой окончательная оценка по EDSS в баллах определяется на основании баллов, рассчитанных для отдельных функциональных систем (ФС) по заданным правилам-алгоритмам [1].

Согласно российским клиническим рекомендациям по РС, при проведении неврологического осмотра пациентов рекомендуется использовать шкалу EDSS. Оценка по шкале EDSS должна проводиться врачом-неврологом на каждом визите пациента в рамках диспансерного наблюдения. Объективная оценка неврологического статуса необходима для выбора стратегии начала и смены терапии РС, оценки подтвержденного прогрессирования инвалидизации, подтвержденного усиления/уменьшения инвалидизации [2]. В связи с этим в 2022 г. под руководством Медицинской ассоциации врачей и центров рассеянного склероза и других нейроиммунологических заболеваний (МАВРС) осуществлен перевод шкалы EDSS на русский язык и проведено исследование по валидации русскоязычной версии расширенной шкалы статуса инвалидизации (РШСИ). Согласно данному исследованию, шкала РШСИ обладает сопоставимыми с EDSS показателями валидности и надежности и является русскоязычным эквивалентом шкалы EDSS, применимым в практической деятельности [3].

С целью повышения надежности и внутренней согласованности оценок EDSS в рамках клинических исследований созданы электронные системы расчета балла EDSS, например Neurostatus e-Scoring (NESC). Электронная система обеспечивает электронный сбор данных, позволяет фиксировать результаты неврологического обследования в виде оценки по функциональным системам и амбулаторности в баллах и безошибочно рассчитать итоговую оценку (далее — итоговый балл) EDSS. Работы по валидации электронной версии EDSS актуальны и в настоящее время [4], поэтому возникла необходимость создания и валидации электронной платформы для расчета оценки по РШСИ в баллах в Российской Федерации.

Цель исследования — выполнить оценку валидности и воспроизводимости электронной версии расширенной шкалы статуса инвалидизации (эРШСИ) в сравнении с оригинальной бумажной формой EDSS (бEDSS) на английском языке и бумажной формой валидированной русскоязычной версии РШСИ (бРШСИ).

Материал и методы

Исследование проведено на базе 6 центров рассеянного склероза в 6 регионах Российской Федерации: Санкт-Петербурга (ГБУЗ «Городская клиническая больница №31», городского центра рассеянного склероза); Новосибирска (ГБУЗ НСО «ГНОКБ», областной центр рассеянного склероза и других аутоиммунных заболеваний нервной системы), Краснодара (ГБУЗ «НИИ — ККБ №1»), Красноярска (ФГБОУ ВО «КрасГМУ им. проф. В.Ф. Войно-Ясенецкого» Минздрава России), Брянск (ГАУЗ «Брянская областная больница №1»), Челябинск (ФГБОУ ВО «ЮУГМУ» Минздрава России).

Исследование соответствует этическим стандартам Хельсинкской декларации 1975 г. и ее пересмотренного варианта 2000 г., одобрено этическим комитетом СПб ГБУЗ «Городская клиническая больница №31». Все пациенты дали письменное информированное согласие.

В исследовании приняли участие 90 пациентов. Оценка неврологического статуса пациентов осуществлялась с использованием эРШСИ, бEDSS или бРШСИ в каждой отдельной группе, состоявшей из 30 пациентов. В исследовании принимали участие взрослые пациенты (старше 18 лет) с достоверным диагнозом рассеянный склероз любого типа течения, подписавшие информированное добровольное согласие на соблюдение всех процедур протокола.

Согласно протоколу исследования, проведены два визита пациента в исследовательский центр с интервалом 7±1 день. Визит 2 проводили при условии отсутствия у пациента обострения или субъективного ощущения ухудшения/улучшения состояния по сравнению с визитом 1.

Во время каждого из двух визитов исследования проведен неврологический осмотр пациентов с последующей интерпретацией данных осмотра с использованием бEDSS, или бРШСИ, или эРШСИ. Рейтерами были сертифицированные врачи-неврологи, прошедшие подготовку по программе Neurostatus e-Test, уровень C. Каждый визит проводился одной парой рейтеров с использованием одной оценочной шкалы. Рейтеры при помощи секундомера оценивали время заполнения бумажных или электронной форм каждой шкалы без учета времени, затрачиваемого на осмотр пациента. Правильность заполнения бланков и интерпретации баллов осуществлялась позднее двумя независимыми рейтерами-экспертами, не осведомленными о данных пациентов.

эРШСИ представляет собой веб-приложение с выстроенным древом решений, реализованное с помощью языков программирования: HTML и JavaScript. Фреймворки и библиотеки JavaScript: React. На рисунке представлена типовая блок-схема калькулятора.

Схема электронной формы расширенной шкалы статуса инвалидизации.

Статистический анализ и визуализация полученных данных выполнены с использованием среды для статистических вычислений R 4.2.1 (R Foundation for Statistical Computing, Австрия).

Описательные данные статистики для количественных переменных представлены в следующем виде: медиана (1-й и 3-й квартили).

Для оценки внутриэкспертной и межэкспертной надежности использовались двухфакторные модели со смешанными эффектами, в которых оценивались коэффициенты внутриклассовой корреляции (intraclass correlation coefficient, ICC) с соответствующими 95% доверительными интервалами (95% ДИ). Интерпретация полученных значений ICC проводилась согласно рекомендациям T.K. Koo и M.Y. Li [5]. Для оценки внутренней согласованности компонентов шкал использована альфа-статистика Кронбаха с соответствующим 95% ДИ.

Результаты

Исследование завершили все 90 пациентов, для каждого пациента получены и обработаны данные по результатам двух визитов. Результаты анализа внутриэкспертной надежности (intra-rater reliability) исследуемых тестов представлены в табл. 1.

Таблица 1. Анализ внутриэкспертной надежности бEDSS, бРШСИ и эРШСИ

Показатель

бEDSS

бРШСИ

эРШСИ

ICC [95% ДИ]

p

ICC [95% ДИ]

p

ICC [95% ДИ]

p

Итоговый балл

0,962 [0,937; 0,977]

*

0,997 [0,994; 0,998]

*

0,984 [0,973; 0,991]

*

Зрительная ФС

1

1

0,583 [0,388; 0,728]

*

Стволовая ФС

0,910 [0,853; 0,945]

*

0,840 [0,746; 0,901]

*

0,852 [0,765; 0,909]

*

Пирамидная ФС

0,922 [0,870; 0,954]

*

0,969 [0,949; 0,982]

*

0,984 [0,973; 0,990]

*

Мозжечковая ФС

0,907 [0,850; 0,944]

*

0,926 [0,880; 0,955]

*

0,913 [0,858; 0,947]

*

Сенсорная ФС

0,765 [0,635; 0,853]

*

0,931 [0,883; 0,959]

*

0,916 [0,864; 0,949]

*

Тазовая ФС

0,825 [0,722; 0,892]

*

0,864 [0,782; 0,916]

*

0,944 [0,907; 0,966]

*

Высшие мозговые функции

0,688 [0,528; 0,801]

*

0,799 [0,685; 0,875]

*

0,894 [0,828; 0,935]

*

Амбулаторность

0,991 [0,985; 0,995]

*

0,999 [0,999; 1]

*

0,981 [0,966; 0,989]

*

Примечание. бEDSS — expanded disability status scale, бумажная оригинальная форма расширенной шкалы статуса инвалидизации; бРШСИ — бумажная форма расширенной шкалы статуса инвалидизации; эРШСИ — электронная форма расширенной шкалы статуса инвалидизации; ФС — функциональная система; ICC — interclass correlation coefficient, коэффициент внутриклассовой корреляции; ДИ — доверительный интервал; * — p<0,0001.

В отношении итогового балла и большинства функциональных систем (ФС) шкалы эРШСИ (Пирамидная, Мозжечковая, Сенсорная, Тазовая ФС и Амбулаторность) отмечена высокая надежность: ICC>0,9. Хорошей надежностью (0,75<ICC<0,9) характеризуются показатели Стволовой ФС (ICC=0,852 [95% ДИ: 0,765; 0,909] и Высших мозговых функций (ICC = 0,894 [95% ДИ: 0,828; 0,935]). Умеренная надежность оценки отмечена для Зрительной ФС (ICC = 0,583 [95% ДИ: 0,388; 0,728]) в отличие от полной согласованности для шкал в бумажном варианте.

В табл. 2 представлены результаты анализа межэкспертной надежности (inter-rater reliability) исследуемых тестов. По сравнению с бумажными вариантами шкал, обладающими низкой внутриклассовой согласованностью (ICC<0,5), при использовании эРШСИ компоненты и итоговый балл эРШСИ показали высокую и хорошую надежность. Высокой надежностью характеризуются показатели Зрительной ФС (ICC = 1), Пирамидной ФС (ICC = 0,973 [95% ДИ: 0,955; 0,984]), Сенсорной ФС (ICC = 0,916 [95% ДИ: 0,864; 0,949]), Тазовой ФС (ICC = 0,912 [95% ДИ: 0,857; 0,946]), Амбулаторности (ICC = 0,999 [95% ДИ: 0,998; 0,999]) и итогового балла (ICC = 0,995 [95% ДИ: 0,992; 0,997]).

Таблица 2. Анализ межэкспертной надежности EDSS и РШСИ

Показатель

бEDSS

бРШСИ

эРШСИ

ICC [95% ДИ]

p

ICC [95% ДИ]

p

ICC [95% ДИ]

p

Итоговый балл

0,297 [0,064; 0,511]

0,0044

0,275 [0,028; 0,505]

0,0122

0,995 [0,992; 0,997]

*

Зрительная ФС

0,084 [-0,021; 0,230]

0,0788

0,234 [0,020; 0,449]

0,0140

1

Стволовая ФС

0,342 [0,184; 0,504]

*

0,241 [0,088; 0,408]

0,0007

0,852 [0,765; 0,909]

*

Пирамидная ФС

0,347 [0,191; 0,508]

*

0,359 [0,162; 0,540]

0,0001

0,973 [0,955; 0,984]

*

Мозжечковая ФС

0,346 [0,186; 0,509]

*

0,365 [0,208; 0,524]

*

0,874 [0,795; 0,923]

*

Сенсорная ФС

0,267 [0,112; 0,434]

0,0002

0,415 [0,257; 0,570]

*

0,916 [0,864; 0,949]

*

Тазовая ФС

0,247 [0,049; 0,445]

0,0055

0,356 [0,192; 0,519]

*

0,912 [0,857; 0,946]

*

Высшие мозговые функции

0,157 [0,012; 0,323]

0,0160

0,234 [0,066; 0,411]

0,0022

0,830 [0,731; 0,894]

*

Амбулаторность

0,447 [0,292; 0,596]

*

0,486 [0,335; 0,629]

*

0,999 [0,998; 0,999]

*

Примечание. бEDSS — expanded disability status scale, бумажная оригинальная форма расширенной шкалы статуса инвалидизации; бРШСИ — бумажная форма расширенной шкалы статуса инвалидизации; эРШСИ — электронная форма расширенной шкалы статуса инвалидизации; ФС — функциональная система; ICC — interclass correlation coefficient, коэффициент внутриклассовой корреляции; ДИ — доверительный интервал, * — p<0,0001.

В отношении компонентов шкал отмечена достаточная внутренняя согласованность. Кроме того, достаточная внутренняя согласованность отмечена для каждого рейтера и визита (табл. 3).

Таблица 3. Анализ внутренней согласованности бEDSS, бРШСИ и эРШСИ

Рейтер

Визит

бEDSS

бРШСИ

эРШСИ

1

1

0,79 [0,69; 0,86]

0,75 [0,60; 0,84]

0,77 [0,67; 0,82]

1

2

0,77 [0,61; 0,87]

0,74 [0,60; 0,82]

0,76 [0,66; 0,82]

2

1

0,77 [0,62; 0,86]

0,72 [0,53; 0,82]

0,75 [0,63; 0,81]

2

2

0,78 [0,66; 0,87]

0,76 [0,67; 0,83]

0,76 [0,66; 0,82]

Примечание. Данные представлены как альфа Кронбаха с соответствующим 95% ДИ. бEDSS — expanded disability status scale, бумажная оригинальная форма расширенной шкалы статуса инвалидизации; бРШСИ — бумажная форма расширенной шкалы статуса инвалидизации; эРШСИ — электронная форма расширенной шкалы статуса инвалидизации; ФС — функциональная система.

Медиана времени заполнения шкалы эРШСИ составила 196 (159,5—248,5) с, во время визита 1 — 193,5 (158,5—257,5) с, во время визита 2 — 196,5 (161,5—245) с. Время заполнения электронной формы статистически значимо не отличалось от времени заполнения бумажных форм шкалы бEDSS (Me 181 (159,5—204,5) с) и шкалы бРШСИ (Me 200 (167—289) с). Не выявлена статистически значимая разница во времени, затраченном на заполнение электронной и бумажной форм исследуемых шкал (p>0,05).

Обсуждение

Оценка состояния пациента при помощи шкал и опросников используется в медицинской практике повсеместно. Создание электронных калькуляторов и автоматизация расчета позволяют избежать неточности в интерпретации данных, делают получение результата быстрым и безошибочным.

Сегодня электронные калькуляторы применяются в кардиологии (например CHA2DS2-VASC, — для оценки риска инсульта и системной тромбоэмболии у пациентов с фибрилляцией предсердий), реаниматологии (qSOFA, Шкала комы Глазго и др.), неврологии (NIHSS, Шкала количественной оценки тяжести клинических проявлений миастении, QMGS и др.) и других специальностях. Для оценки болевого синдрома врачи любой специальности используют визуальную аналоговую шкалу (ВАШ), также доступную как в бумажном, так и электронном вариантах. В исследовании B. Byrom и соавт. проведено сравнение электронной и бумажной версий ВАШ. Данные анализа подтверждают, что обе версии ВАШ дают сопоставимые результаты независимо от длины ВАШ [6].

Высокая потребность в удобном и быстром инструменте расчета балла EDSS вдохновляет исследователей к созданию качественно новых алгоритмов для решения данной задачи. A.M. Fouad и соавт. разработали алгоритмический подход (aEDSS), состоящий из набора таблиц с цветовой кодировкой и алгоритмов, которые облегчают и ускоряют оценку результатов неврологического осмотра, включая подшкалы нейростатуса, оценки ФС, амбулаторности и итогового балла EDSS [7]. Данные, полученные при помощи этого алгоритма, обладали высокой согласованностью с оригинальным бумажным инструментом в отношении итогового балла EDSS и оценок ФС (каппа >0,81 для всех показателей). Среднее время, необходимое для расчета EDSS с использованием алгоритмического подхода (16±2,67 мин), значительно меньше, чем при использовании бумажного бланка (31±4,3 мин), p<0,0001.

Методология оценки валидности инструмента (как бумажного, так и электронного) может отличаться в зависимости от его назначения. Так, сравнение двух версий шкалы может быть проведено в одной или разных группах пациентов. Например, для опросников и шкал, для которых требуется лингвистическая валидация, применима методика сравнения воспроизводимости и надежности валидируемого и оригинального инструментов [8]. На основании сопоставимости показателей ICC, внутренней согласованности может быть сделан вывод о валидности нового инструмента. В нашей работе валидация бумажной и электронной форм РШСИ осуществлялась для разных групп пациентов с целью более объективной оценки межэкспертной и внутриэкспертной надежности. Результаты оценки данных показателей бумажной русскоязычной версии РШСИ сопоставимы и полностью согласуются с данными зарубежных исследований в отношении оригинальной англоязычной шкалы EDSS [9—12]. Методика перевода оригинальной версии шкалы EDSS на русский язык и оценка валидности бРШСИ опубликованы ранее [3].

Внутриэкспертная надежность для эРШСИ была несколько выше для отдельных ФС, однако как бумажная, так и электронная форма обладали сопоставимой высокой или хорошей надежностью. Данный показатель является достаточно высоким и в ряде других исследований, так как на него в большей мере влияют субъективные жалобы пациента и естественная флюктуация симптомов заболевания, чем навыки оценки рейтера. Напротив, межэкспертная надежность, являясь важнейшим показателем валидности шкалы, отражает умения рейтера правильно интерпретировать данные неврологического статуса и осуществлять расчет, используя заданный алгоритм. Использование эРШСИ привело к значимому увеличению надежности шкалы: низкая для бумажных версий шкал EDSS и РШСИ надежность оказалась хорошей и даже высокой для большинства компонентов шкал и итогового балла эРШСИ.

В рутинной практике использование электронной системы расчета балла РШСИ должно привести к повышению точности оценки неврологического статуса, что позволит оценивать динамику прогрессирования заболевания и своевременно принимать медицинские решения относительно стратегии терапии. Важность правильной трактовки неврологического статуса особенно актуальна для пациентов с прогрессирующим типом течения заболевания. Изменение балла РШСИ (EDSS) является ключевым показателем для фиксации прогрессирования и изменения типа течения заболевания с последующей сменой терапии [13].

Ограничения нашего исследования — небольшой объем выборки, отсутствие анализа по подгруппам в зависимости от уровня инвалидизации и отсутствие изучения корреляции оценки по EDSS/бРШСИ/эРШСИ с оценками по другим применяемым шкалам.

Заключение

На основании данных нашего исследования можно сделать вывод о достаточной надежности и валидности электронной версии РШСИ. Шкала может использоваться на территории Российской Федерации в рамках рутинной практики и клинических исследований.

Участие авторов:

Концепция и дизайн исследования — Степанова А.Д., Евдошенко Е.П., Давыдовская М.В.

Сбор и обработка материала — Степанова А.Д.

Статистическая обработка — Степанова А.Д.

Написание текста — Степанова А.Д., Евдошенко Е.П., Коробко Д.С.

Редактирование — Шумилина М.В., Барабанова М.А., Аброськина М.В., Василенко А.Ф., Юрченко Ю.Н., Давыдовская М.В.

Авторы заявляют об отсутствии конфликта интересов.

Финансовая поддержка и спонсоры:

Спонсоры исследования: ООО «Мерк», Москва, Россия.

Заинтересованные лица и организации: Медицинская ассоциация врачей и центров рассеянного склероза и других нейроиммунологических заболеваний (МАВРС).

Все права на бумажную и электронную русскоязычные версии «Расширенная шкала статуса инвалидизации» принадлежат ООО «Управляющая компания Кусури», Санкт-Петербург, Россия.

Подтверждение e-mail

На test@yandex.ru отправлено письмо со ссылкой для подтверждения e-mail. Перейдите по ссылке из письма, чтобы завершить регистрацию на сайте.

Подтверждение e-mail

Мы используем файлы cооkies для улучшения работы сайта. Оставаясь на нашем сайте, вы соглашаетесь с условиями использования файлов cооkies. Чтобы ознакомиться с нашими Положениями о конфиденциальности и об использовании файлов cookie, нажмите здесь.