Сайт издательства «Медиа Сфера»
содержит материалы, предназначенные исключительно для работников здравоохранения. Закрывая это сообщение, Вы подтверждаете, что являетесь дипломированным медицинским работником или студентом медицинского образовательного учреждения.

Курашова М.Б.

ФБУН «Центральный научно-исследовательский институт эпидемиологии» Роспотребнадзора

Тиванова Е.В.

ФБУН «Центральный научно-исследовательский институт эпидемиологии» Роспотребнадзора

Ройтман А.П.

ФГБОУ ДПО «Российская медицинская академия непрерывного профессионального образования» Минздрава России

Бугров А.В.

ФГБОУ ДПО «Российская медицинская академия непрерывного профессионального образования» Минздрава России

Савельев Л.И.

ГБОУ ВПО «Уральский государственный медицинский университет»;
Областная детская клиническая больница;
ГАУЗ СО «Институт медицинских клеточных технологий»

Мошкин А.В.

Ассоциация специалистов и организаций лабораторной службы «Федерация лабораторной медицины»

Оценка влияния межлотовой вариации на результаты лабораторного исследования

Авторы:

Курашова М.Б., Тиванова Е.В., Ройтман А.П., Бугров А.В., Савельев Л.И., Мошкин А.В.

Подробнее об авторах

Журнал: Лабораторная служба. 2020;9(3): 8‑15

Просмотров: 2566

Загрузок: 85

Как цитировать:

Курашова М.Б., Тиванова Е.В., Ройтман А.П., Бугров А.В., Савельев Л.И., Мошкин А.В. Оценка влияния межлотовой вариации на результаты лабораторного исследования. Лабораторная служба. 2020;9(3):8‑15.
Kurashova MB, Tivanova EV, Roitman AP, Bugrov AV, Saveliev LI, Moshkin AV. Assessment of the Between-Lot-to-Lot Variation effect to the laboratory results. Laboratory Service. 2020;9(3):8‑15. (In Russ.)
https://doi.org/10.17116/labs202090318

Основная цель процесса глобальной стандартизации и гармонизации в лабораторной медицине, инициированного международными профессиональными сообществами [1, 2], — предоставление прослеживаемых и сопоставимых результатов исследований пациентов независимо от того, в какой лаборатории и какими методами проводилось исследование [3, 4]. Вместе с тем мы обращаем внимание на то, что эти процессы идут очень медленно и на сегодня стандартизовано или гармонизовано не более 15% количественных методов, используемых в лабораторной диагностике [3].

Межлотовая вариация (МЛВ) — одно из последствий отсутствия полной стандартизации процесса производства реагентов. Наличие МЛВ является предпосылкой для создания лабораторных протоколов, позволяющих с той или иной степенью достоверности оценивать роль МЛВ и минимизировать ее влияние на результаты лабораторных исследований и лечебный процесс в целом.

Лот (серия) применительно к in vitro диагностике — определенное количество реагентов, калибраторов, расходных материалов, произведенных в единообразных условиях. Каждый лот реагентов имеет свой срок годности и индивидуальные характеристики, определяющие основные химические, физические и аналитические свойства тест-системы. При наличии стандартизованного процесса производитель поддерживает прослеживаемость характеристик всех составляющих набора реагентов с тем, чтобы они минимально отличались от лота к лоту [3]. Согласно мнению экспертов, результаты пациентов, полученные при измерениях на разных лотах реагентов одного производителя, должны быть близки друг к другу и если отличаться, то в рамках клинически значимых пределов [1, 2, 5], что обеспечит оптимальное использование клинических рекомендаций для диагностики и ведения различных заболеваний.

В идеальной ситуации каждая партия реагента и калибратора, выпущенная производителем, была бы идентична, что позволило бы лаборатории беспрепятственно переходить с одного лота на другой без влияния на результаты пациента. В реальности между партиями реагентов возможны некоторые различия. МЛВ обнаруживается в разных разделах лабораторной медицины — биохимия, гематология, коагулология, но много чаще встречается в иммунохимии, что обусловлено сложностью реагентных систем: взаимодействием антител, типом метки, способом детекции, а также из-за сложностей стандартизации этого вида исследований [5, 6].

Независимо от причины МЛВ она может оказывать влияние на результаты как контрольных измерений, так и пациентов. В долгосрочной перспективе смещение между результатами контрольных измерений разными лотами реагентов в рамках ведения внутрилабораторного контроля качества (внуКК) становится составляющей долгосрочного коэффициента вариации [5]. Что касается влияния МЛВ на результаты пациентов, то максимальный риск для пациента имеют аналиты, у которых минимальные смещения в зоне принятия диагностического решения могут повлиять на клиническую интерпретацию. Например, снижение уровня такого онкомаркера, как ПСА, до практически недетектируемых значений свидетельствует об успешной терапии. При дальнейшем мониторинге даже незначительное повышение ПСА может быть интерпретировано как повод для дополнительной терапии, а в некоторых ситуациях — как показание для хирургического вмешательства. Другой достаточно наглядный пример — высокочувствительный тропонин, где изменения в зоне низких концентраций, близких к пороговому значению, бывают достаточными для подтверждения инфаркта миокарда, и положительное смещение на низких концентрациях из-за смены лота реагента может привести к ошибочным медицинским решениям с нанесением вреда пациенту.

Обнаружение и оценка МЛВ с использованием протокола CLSI EP26-A. Установка критерия критической разницы и критерия приемлемости нового лота реагентов

За основу оценки влияния МЛВ на результаты пациентов мы предлагаем взять стандарт CLSI EP26-A. Этот документ дает подробное руководство для изучения и оценки влияния МЛВ [7]. Прежде всего, он предназначен для работы с количественными методами исследований, но его можно применять и для качественных методов, которые выдают цифровой результат. Основные принципы предлагаемого протокола сводятся к следующему.

1. До начала исследования необходимо определить критерии приемлемости нового лота реагента.

2. Определить концентрации и необходимое количество образцов для исследования.

3. Образцы пациентов должны быть одновременно протестированы на новом и используемом лотах реагентов, для чего в лаборатории должно быть достаточное количество реагентов нового и используемого лотов.

4. Результаты, полученные на разных лотах, нужно сравнить, используя предлагаемые статистические инструменты.

5. Если результаты удовлетворяют установленным критериям, то новый лот считается приемлемым для использования. Если результаты не удовлетворяют установленным критериям, следует рассмотреть возможность изъятия из использования нового лота реагентов для тестирования пациентов.

Каждая лаборатория обладает большим ежедневным запасом идеального коммутативного материала — это свежие пробы пациентов, которые оптимально использовать для проведения всевозможных сравнений (лоты реагентов и калибраторов; анализаторы, включая гармонизацию измерений; отдельные методы и др.) [5]. Мы рекомендуем, по нашему мнению, лучший подход выявления и особенно оценки влияния МЛВ на результаты пациентов — алгоритм, описанный в стандарте CLSI EP26-A, который в числе прочих преимуществ в исследовании влияния МЛВ на результаты опирается на исследование нативных проб пациентов.

Первый шаг в оценке влияния МЛВ: установление критической разницы (CD, англ. critical difference). Известно, что каждая лаборатория должна иметь требования к аналитическому качеству для каждого аналита, измеряемого количественным методом. Их устанавливают разными способами, в числе прочих на основе рекомендаций EFLM [8]. Стандарт CLSI EP26-A рекомендует использовать установленные в лаборатории требования к аналитическому качеству как CD для оценки влияния МЛВ на результаты измерений аналитов в пробах пациентов [7].

Далее надо определить критерий обнаружения значимых изменений результатов при смене лота реагента — это предел изъятия (RL, англ. rejection limit). RL — это часть CD, которая определяет принятие решения о приемлемости лота реагента. Он должен свести к минимуму возможность принятия в работу лотов реагентов, дающих клинически значимое смещение результатов пациентов. RL, согласно CLSI EP26-A, рассчитывают несколькими способами с учетом аналитических характеристик тест-системы (в формате стандартного отклонения), таких как внутрисерийная (Sr, англ. within-run imprecision) и межсерийная (SWRL, англ. within-reagent-lot imprecision) воспроизводимость за время использования лота реагента с учетом установленной в лаборатории CD [7]. Источником этих данных может быть инструкция производителя или данные ежедневного внуКК.

Следующий шаг: установить количество образцов пациентов, необходимых для определения RL. Концентрации аналита в них должны находиться в зоне принятия медицинского решения. Оптимальное количество образцов, необходимое для принятия решения о приемлемости нового лота реагентов, будет зависеть от выбранного критерия статистической значимости (как правило, p≤0,05) и статистической мощности критерия. Статистическая мощность критерия определяется как вероятность того, что этот критерий найдет значимые различия там, где они действительно есть, т.е. вероятность, которой будет достаточно для подтверждения статистически значимого различия между лотами. В большинстве случаев статистическая мощность находится в пределах от 0,8 до 0,95. При значении статистической мощности 0,8 будут подтверждены 80% статистически значимых отличий. Мы разделяем позицию C. Fraser [8] и не считаем, что если изменение результата статистически незначимо, то оно не имеет клинического значения. Также верно обратное, статистически высокодостоверное изменение результата лабораторного исследования может не стать основанием для клинических действий. Хотя статистики и многие лабораторные специалисты обычно используют 95% (p≤0,05) и даже 99% вероятность (p≤0,01), называя такие изменения достоверными и высокодостоверными, клиницисты в реальной практике рассматривают гораздо более широкий вероятностный диапазон. Термины, обозначающие более низкую степень достоверности (скажем, 80% вероятность), означают «указывающий» или «обращающий внимание на» [9]. И все-таки для аналитов, незначительные изменения которых могут влиять на принятие медицинского решения, рекомендуется использовать значения максимальной статистической мощности, например 99% вероятность (p≤0,01).

После того как все критерии определены, необходимо обратиться к таблицам документа CLSI EP26-A [7], с помощью которых надо установить необходимое для каждого уровня концентрации количество образцов пациентов для подтверждения приемлемости нового лота реагентов. После тестирования образцов на каждом лоте значение разницы по каждой концентрации сравнивается с RL, установленным при помощи трех основных таблиц стандарта. Если разница меньше RL, то лот считается приемлемым для работы с образцами пациентов. При этом, если во внуКК наблюдался сдвиг контрольных измерений, контрольные карты надо скорректировать, пересчитав среднее значение контрольных измерений. Краткий алгоритм проверки приемлемости приведен на рис. 1. В качестве примера рассмотрим протокол обнаружения МЛВ при переходе на новый лот тест-системы для измерения глюкозы в сыворотке крови, приведенный в документе [7]. Были выбраны три уровня концентрации глюкозы, значимые для принятия медицинских решений, — 50, 150 и 300 мг/дл, а в качестве CD — требования к аналитическому качеству на базе требований CLIA: TEmax≤10%, но не менее 6 мг/дл, принятые в США. Поскольку результат глюкозы важен для дальнейшей терапии, установлен уровень статистической мощности не менее 0,9 (табл. 1).

Рис. 1. Алгоритм проверки приемлемости нового лота для работы с образцами пациентов.

Таблица 1. Аналитические характеристики тест-системы для глюкозы для трех уровней концентраций

Концентрация (мг/дл)

CD

(мг/дл)

SWRL

межсерийная воспроизводимость

(в формате стандартного отклонения, мг/дл)

Sr

внутрисерийная воспроизводимость (в формате стандартного отклонения, мг/дл)

CD/SWRL

Sr/SWRL

50

6

1

0,6

6,0

0,60

150

15

2

1,5

7,5

0,75

300

30

4.5

3,5

6,67

0,78

Так как для исследования влияния МЛВ были установлены три уровня концентраций глюкозы, рекомендуется обратиться к таблице A3 EP26-A с тем, чтобы определить количество образцов, достаточных для исследования МЛВ с предпочтительным для клиницистов в данном случае фактором статистической мощности не менее 0,9, и предел изъятия RL (табл. 2).

Таблица 2. Фрагмент оригинала Table A3 [7]. Количество образцов для обнаружения критической разницы между лотами для трех уровней принятия решения (с уровнем ложного изъятия ≤1,67% для каждого сравнения)

Количество образцов, требуемое для сравнения

RL для разницы значений

1

2

3

4

5

6

7

CD/SWRL

Sr/SWRL

0,90×CD

0,80×CD

0,70×CD

0,60×CD

0,55×CD

1,0

1,00

15 (0,014, 0,608)

18 (0,016, 0,726)

24 (0,015, 0,851)

32 (0,016, 0,945)

38 (0,017, 0,975)

1,5

1,00

7 (0,012, 0,611)

8 (0,016, 0,726)

11 (0,014, 0,854)

15 (0,014, 0,950)

17 (0,016, 0,975)

6,0

0,6

1 (0,000, 0,664)

1 (0,001, 0,802)

1 (0,003, 0,898)

1 (0,011, 0,955)

2 (0,010, 0,982)

6,0

0,5

1 (0,000, 0,664)

1 (0,001, 0,802)

1 (0,003, 0,898)

1 (0,011, 0,955)

2 (0,013, 0,979)

Примечание. Столбцы 3—7: искомый RL как часть CD. В столбцах 3—7: первая цифра в ячейке перед скобкой — количество требуемых для сравнения образцов; первая цифра в скобках — уровень ложного изъятия ≤0,0167, чтобы достичь p<0,05; вторая цифра в скобках — статистическая мощность критерия. Выделение полужирным – объяснения в тексте.

В первых двух столбцах табл. 2 находятся значения CD/SWRL и Sr/SWRL, вычисленные ранее, в нашем случае это 6,0 и 0,6 для концентрации глюкозы в сыворотке крови 50 мг/дл (выделенная строка таблицы). В этой строке ищем сочетание цифр, где вторая цифра в скобках соответствует заданному критиерию статистической мощности (в нашем случае не менее 0,9), либо значение, близкое ему, — это ячейка со второй цифрой в скобках 0,955. Значение, стоящее перед скобкой, соответствует количеству образцов, достаточных для сравнения, — это один образец.

Аналогично поступают с двумя другими концентрациями глюкозы и соотвествующими сочетаниями значений CD/SWRL и Sr/SWRL. Все найденные данные вносят во вспомогательную табл. 3 и вычисляют значения RL.

Таблица 3. Вспомогательная таблица, заполненная с учетом данных табл. 2

Концентрация (мг/дл)

CD

(мг/дл)

RL

(из табл. 2)

RL

(мг/дл)

Количество образцов каждой концентрации

(из табл. 2)

Статистическая мощность критерия

50

6

0,6×CD

3,6

1

0,955

150

15

0,7×CD

10,5

1

>0,916

300

30

0,7×CD

21,0

1

>0,916

В случае, когда значения для CD/SWRL и Sr/SWRL превышают указанные в табл. 3, согласно комментариям к таблицам рекомендуется использовать для исследования один образец и RL=0,7×CD со статистической мощностью критерия >0,916.

После того как определены RL и количество образцов, выполняется следующий шаг — исследование содержания аналита (в нашем примере — глюкоза) на текущем и новом лотах. Иногда найти свежие сыворотки с требуемыми концентрациями не удается, поэтому используются нативные сыворотки в диапазопе, близком к заданному. Все полученные результаты исследования вносятся в табл. 4, вычисляется разница и делается заключение.

Таблица 4. Анализ данных сравнения для результатов, полученных на разных лотах реагентов

Диапазон концентраций

(мг/дл)

Текущий лот, результат (мг/дл)

Новый лот, результат (мг/дл)

Разница

(мг/дл)

RL

(мг/дл)

Заключение

40—60

32,1

32,2

0,1

3,6

Приемлемо

150—200

181,7

180,6

–1,1

10,5

Приемлемо

300—400

371,0

369,6

–1,4

21

Приемлемо

По нашему мнению, у протокола CLSI EP26-A есть, как минимум, три недостатка. Так, в принятии решения о приемлемости лота протокол опирается на две переменные — это CD и статистическая мощность. Если их значения подобраны неадекватно, то способность протокола выявлять значимую МЛВ значительно снижается. Во-вторых, таблицы A1—A3 [7] предполагают, что выбрано значение p≤0,05. Обычно этого достаточно, но если требуется более высокая степень достоверности (например, 99%), то придется выбрать более низкий уровень p≤0,01, а в этом случае предложенными таблицами пользоваться нельзя. Наконец, для выполнения протокола в полном объеме требуется значительный объем работ. Лаборатория, выполняющая большое количество различных исследований, в наших условиях закупки и поставок реагентов несколькими лотами в год, может не найти ресурсов для тщательного соблюдения рекомендуемого протокола. Кроме того, этот протокол для получения желаемой статистической мощности может потребовать исследовать большое количество образцов пациентов. Последнее, на наш взгляд, — главный недостаток протокола CLSI EP26-A. Для достижения достоверных результатов сравнения двух лотов он может стать громоздким и дорогим, что в свою очередь побуждает коллег создавать свои версии облегченных и дешевых протоколов [6, 10]. Но в таком случае обязательным критерием использования иных подходов является необходимая и достаточная статистическая мощность используемых критериев.

Взвесив все за и против, руководители медицинской организации, по нашему мнению, могут установить в лаборатории протокол CLSI EP26-A для обнаружения и выявления влияния МЛВ на результаты пациентов, особенно для ключевых, диагностически важных показателей. Также они вправе утвердить иной обоснованный и документально подтвержденный протокол или ограничиться регистрацией факта обнаружения МЛВ без оценки ее влияния на результаты пациентов, что, по нашему мнению, уже является шагом к осознанию риска предоставленных результатов.

Обнаружение МЛВ по данным внутрилабораторного контроля качества

Нет сомнений, что программы межлабораторного сличения могут помочь выявить МЛВ. Когда средние значения однородной группы сравнения и стандартные отклонения меняются неожиданно, это может косвенно указывать на появление нового лота реагента, обладающего иными свойствами. Программы внешней оценки качества могут подтвердить наличие МЛВ ретроспективно и часто с большим опозданием.

Признанный подход обнаружения МЛВ — это анализ результатов внуКК с использованием коммерческих контрольных материалов (КМ) и, прежде всего, обнаружение сдвига на контрольной карте Леви—Дженнингс, связанного со сменой лота реагентов. Использование хорошего программного обеспечения для ведения оперативного внуКК позволяет фиксировать, в частности, такие события, как смена лотов реагентов. Наблюдаемый сдвиг и его связь со сменой лота реагента предполагает, что именно это стало причиной изменений на контрольной карте.

Клиническую значимость сдвига на контрольной карте можно оценить с помощью комбинированной карты Леви—Дженнингс с нанесенными на нее пределами установленных в лаборатории для каждого аналита требований к аналитическому качеству, например по моделям, рекомендованным EFLM [8]. Если пределы, установленные в соответствии с выбранными лабораторией требованиями к аналитическому качеству, не нарушены и наблюдаемое смещение находится в допустимых пределах (рис. 2), то новый лот приемлем для использования. Если контрольные измерения выходят за установленные пределы, это повод для исследования влияния МЛВ на результаты пациентов.

Рис. 2. Комбинированная карта Леви—Дженнингс, где в качестве дополнительных пределов установлены выбранные лабораторией требования к аналитическому качеству в формате TEa.

Основным ограничением данного подхода обнаружения МЛВ является свойство коммутативности коммерческих КМ. При переходе на новый лот реагента возможны несколько вариантов поведения контрольных измерений и измерений проб пациентов.

1. Когда МЛВ проявляется только на результатах контрольных измерений и не наблюдается на результатах пациентов, что свойственно КМ с недостаточной коммутативностью. Этот вариант подробно рассмотрен в опубликованном в этом номере случае из практики [11] и большом исследовании, проведенном на 7 аналитических платформах, для 82 аналитов и 18 различных КМ [12].

2. Когда МЛВ проявляется одновременно на результатах контрольных измерений и результатах пациентов, что свойственно КМ с хорошими коммутативными свойствами.

3. Нельзя исключить и такой вариант, когда контрольные измерения при смене лота реагента ведут себя по-прежнему, а в результатах пациентов обнаруживается смещение, что можно также объяснить некоммутативностью КМ. В таком случае при переходе с одного лота реагентов на другой отсутствие реакции контрольных измерений может маскировать значимые изменения результатов пациентов [7].

Важно, чтобы перекрытие результатов контрольных измерений происходило на текущем и новом лотах реагентов, что подразумевает наличие в лаборатории достаточного количества реагентов используемого и нового лотов. Когда новый лот реагентов встает на несколько анализаторов одного производителя, и аналогичная картина сдвига наблюдается на всех анализаторах, это, как правило, быстрее проясняет ситуацию с МЛВ.

Строго говоря, обнаружение явления МЛВ без оценки ее влияния на результаты пациентов не защитит последних от результатов с клинически значимым смещением. По нашему мнению, факт обнаружения МЛВ по данным внуКК — это, прежде всего, повод обратиться к представителям производителя реагентов с тем, чтобы получить соответствующие комментарии и рекомендации для начала полноценного исследования с пробами пациентов по рекомендуемому нами протоколу CLSI EP26-A [7].

Заключение

Учитывая, что на сегодня как минимум 85% количественных методов, используемых в лабораторной диагностике, нестандартизованы и негармонизованы, с явлением клинически значимой МЛВ нам придется встречаться еще долго и весьма часто. А потому, хотим мы того или нет, должны разрабатываться и внедряться протоколы выявления и оценки ее влияния на результаты пациентов.

Разумно, прежде всего, оценивать степень влияния МЛВ на результаты пациентов для тестов, имеющих четко установленное диагностическое значение, и тестов, используемых для мониторинга заболеваний. Для последней группы тестов необходимость оценки влияния МЛВ особенно важна. Сахарный диабет, артериальная гипертензия, гиперлипидемия, ВИЧ-инфекция, сердечно-сосудистые и онкологические заболевания требуют адекватного мониторинга клинического состояния при длительной (иногда пожизненной) терапии.

Основные положения документа CLSI EP26-A стали основой нескольких упрощенных протоколов оценки приемлемости нового лота реагента для исследования проб пациентов [6, 10]. Но все они (включая лучший, по нашему мнению, протокол CLSI EP26-A) имеют недостатки и ограничения в использовании. Только истинное партнерство лабораторий и производителей реагентов может снизить количество исследований МЛВ. Во-первых, лаборатории должны сотрудничать с надежными производителями, которые поддерживают идеологию стандартизации и гармонизации и используют на производстве реальную цепь метрологической прослеживаемости [1]. Во-вторых, производители, если имеют достоверную информацию относительно клинически значимой МЛВ, должны сами изымать эти лоты из продажи или, как минимум, через соответствующие информационные письма сообщать об этом специалистам клинической лабораторной диагностики, а они в свою очередь примут взвешенное решение приобретать такой лот реагента или нет.

Мы уверены, выявление МЛВ и проведение оценки ее влияния на результаты пациентов в лабораториях России организационно возможно. В то же время мы понимаем, что существующая у нас система поставки реагентов через сети поставщиков (дистрибьюторов) и организация конкурсов на их закупку согласно ФЗ 44 не позволят реализовать процедуру изъятия лотов реагентов с подтвержденной неприемлемой МЛВ. Потенциально любой новый лот реагента или калибратора должен рассматриваться как источник клинически значимой МЛВ. Согласно национальному стандарту РФ ГОСТ Р ИСО 15189-2015, «…каждая новая форма набора реагентов с изменениями в реагентах или методике, или новая партия, или приобретение должны быть верифицированы в отношении функциональных характеристик перед использованием для исследований» [13]. Пока эту рекомендацию следует рассматривать как часть надлежащей лабораторной практики — не более, но и не менее того.

В идеале лаборатории и производители средств для in vitro диагностики должны иметь общую цель — предоставление пациенту точных и сопоставимых результатов лабораторных исследований. В связи с угрозой МЛВ мы рекомендуем каждой лаборатории:

— документировать каждый факт обнаружения МЛВ, уделяя особое внимание иммунохимическим методам;

— вести статистику случаев МЛВ для всех используемых тест-систем (желательно с доказанным влиянием на результаты пациентов);

— использовать протокол CLSI EP26-A [7] или иные подходы для выявления и оценки влияния МЛВ на результаты пациентов [6, 10];

— использовать дополнительные критерии и подходы для обнаружения МЛВ (такие, например, как данные внуКК и межлабораторных сличений);

— требовать от производителей реагентов своевременной информации (желательно до закупки реагентов) о клинически значимой МЛВ;

— публиковать (как можно быстрее) описание каждого случая МЛВ с клинически значимым влиянием на результаты пациентов на сайте ФЛМ.

Предлагаемый в этой статье алгоритм оценки выявления и влияния МЛВ на результаты лабораторных исследований, выполняемых количественными методами, не лишен недостатков (особенно это касается выявления МЛВ по данным внуКК), но мы уверены, что его внедрение в практику российских лабораторий — шаг в верном направлении на пути стандартизации лабораторного процесса.

Авторы заявляют об отсутствии конфликта интересов.

The authors declare no conflicts of interest.

Подтверждение e-mail

На test@yandex.ru отправлено письмо со ссылкой для подтверждения e-mail. Перейдите по ссылке из письма, чтобы завершить регистрацию на сайте.

Подтверждение e-mail



Мы используем файлы cооkies для улучшения работы сайта. Оставаясь на нашем сайте, вы соглашаетесь с условиями использования файлов cооkies. Чтобы ознакомиться с нашими Положениями о конфиденциальности и об использовании файлов cookie, нажмите здесь.