Использование искусственной нейронной сети в оценке разборчивости речи у взрослых пациентов после кохлеарной имплантации

Исследования функционирования головного мозга занимали человечество с давних времен. Впервые об искусственно созданной нейронной сети упоминается в 1948 г., когда прототипом служила сеть с использованием вакуумных ламп, ставшая идеальным средством для реализации ее эквивалента. Именно с этого момента нейронные сети активно развивались, увеличивалось количество отраслей, в которых было возможно их применение, усложнялась архитектура новых сетей [1]. Искусственный интеллект, в частности искусственные нейронные сети (ИНС), которые широко используются в разных областях науки и техники [2], имеют значительный потенциал применения в сфере медицины. Понятие развития нейронов тесно связано с понятием пластичности (plasticity) мозга — способности настройки нервной системы в соответствии с окружающими условиями. Именно пластичность играет основную роль в работе нейронов в качестве единиц обработки информации у человека. Аналогично в ИНС работа проводится с искусственными нейронами [3]. В большинстве случаев ИНС представлена в виде самообучающейся программы, что позволяет предположить ее возможное использование для создания искусственного интеллекта. Благодаря своей структуре ИНС широко применимы в таких направлениях медицины, как офтальмология, хирургия, нейрохирургия, функциональная диагностика, челюстно-лицевая хирургия, стоматология, ортодонтия и рентгенология [4, 5]. Однако наиболее эффективным предполагается использование нейронной сети в задачах определения объекта, предсказания малоизученных данных или обобщения данных с обнаружением скрытых закономерностей.

Что касается применения ИНС в практике врача — сурдолога-оториноларинголога, в литературе приведено достаточно данных. Так, T.W. Uhm и соавт. предложили использовать модель ИНС в ретроспективном анализе оценки факторов риска развития внезапной (идиопатической) сенсоневральной тугоухости и прогнозирования восстановления слуховой функции у пациентов с указанной нозологией [6]. Ученые из Южной Кореи доказали, что метод машинного обучения обладает наиболее высокой прогностической точностью при выявлении факторов риска, а также позволяет разработать эффективный алгоритм лечения пациентов с внезапной (идиопатической) сенсоневральной тугоухостью.

Специалисты из США S. Haro и соавт. сосредоточили внимание на исследовании закономерностей восприятия речи в шуме у пациентов с тугоухостью с применением ИНС [7]. Данные, полученные в результате создания искусственного моделирования восприятия речи в шуме, позволили детальнее изучить механизм влияния акустической среды на производительность восприятия речи, что в дальнейшем дало возможность оптимизировать качество поступающей акустической информации у пациентов с тугоухостью. Параллельно данному исследованию ученые из Великобритании S. Sabesan и соавт. продемонстрировали модель центральной обработки звуковых сигналов у пациентов с нарушением слуха посредством использования глубокой нейронной сети [8]. В работе отмечалось, что снижение слуха главным образом влияло на спектральную обработку, создавая нелинейные искажения в кросс-частотных взаимодействиях, которые приводили к повышенной чувствительности слухового анализатора к окружающему фоновому шуму; указанная гиперчувствительность не исчезала, а сохранялась также и при линейном усилении акустического сигнала с использованием слухового аппарата. Полученные данные позволяли сосредоточить научные изыскания в области разработки новых моделей слуховых аппаратов.

В настоящем исследовании изучена возможность применения обученной нейронной сети в создании устройства выделения голоса (voice extraction — (VE). Это позволило оценить качество голоса (узнаваемость, разборчивость), очищенного от помех и шумов. Данная технология может быть применена в оценке разборчивости речи у пациентов с нарушенным слухом, в том числе у лиц, использующих такие технические средства реабилитации, как речевые процессоры кохлеарных имплантов и слуховые аппараты.

Цель исследования — оценить возможность использования технологии voice extraction (VE) у взрослых пациентов после кохлеарной имплантации и провести сравнительный анализ разборчивости речи — сигнала на фоне шумовой помехи и сигнала с использованием технологии VE у взрослых пациентов после кохлеарной имплантации.

В исследовании приняли участие 67 пациентов в возрасте от 18 до 77 лет (женщин — 44, мужчин — 23). Всем пациентам уставлен диагноз хронической двусторонней сенсоневральной тугохости IV степени, пограничной с глухотой. Всем пациентам выполнена односторонняя кохлеарная имплантация. Период наблюдения составил от 6 мес до 15 лет. Установлены кохлеарные импланты фирм Advanced Bionics, AG (Швейцария) — 26 пациентам, Cochlear Limited (Австралия) — 17, Zhejiang Nurotron Biotechnology Co., Ltd. (КНР) — 10, MED-EL Elektromedizinische Geräte GmbH (Австрия) — 6, Oticon A/S (Дания) — 4. Всем пациентам проведена тональная пороговая аудиометрия в свободном звуковом поле с использованием оптимально настроенного речевого процессора кохлеарного имплантата. Всем пациентам проведена речевая аудиометрия в свободном звуковом поле, использовались словесные артикуляционные таблицы разносложных слов для тестирования взрослых (16 таблиц из 20 слов, М.Ю. Бобошко и Е.И. Риехакайнен, 2019) [9]. Для оценки разборчивости речи использован комфортный уровень предъявляемого речевого сигнала; у каждого пациента он был индивидуальным. Разборчивость речи оценивалась как в тишине, так и при предъявлении речевого материала на фоне шумовой помехи с шумом типа «улица» (street). Использовались сбалансированные артикуляционные таблицы с соотношением сигнал/шум (SNR)=0 (дБ), SNR=3 (дБ), SNR=6 (дБ). Далее пациентам предъявлялись словесные артикуляционные таблицы с соотношением сигнал/шум (SNR)=0 (дБ), SNR=3 (дБ), SNR=6 (дБ), обработанные с помощью устройства выделения голоса. Компания Polyn Technology (Израиль) выполнила прототип автономного устройства Voice Extraction (VE) на базе портативного микрокомпьютера (рис. 1). Voice Extraction — это устройство выделения голоса человека из общей звуковой информации (микрофон, аудиозаписи), построенное на базе обученной нейросети. Входящая в нейросеть звуковая информация раскладывается на огромное количество составляющих (векторов) и затем в соответствии с тем, как эта сеть обучилась, отдельные выборочные векторы, содержащие информацию только о речевом сигнале, собираются внутри нейронной сети в выходной звуковой сигнал. Устройство выделения голоса работает автономно (не требуется подключение к Интернету).

Рис. 1. Устройство выделения голоса (Polyn Technology, Израиль).

По окончании исследования вычисляли долю (%) правильно воспроизведенных слов (показатель разборчивости (%) при комфортной интенсивности). При анализе показателей разборчивости речи использовались элементарные математические статистики, характеризующие выборочное распределение значения показателя разборчивости для групп пользователей, выделенных по различным критериям. Рассчитывались показатели улучшения разборчивости речи (%), равные разнице между разборчивостью после применения VE и разборчивостью до ее применения.

Проведен анализ улучшения относительной разборчивости речи (%). Коэффициент улучшения относительной разборчивости (%) рассчитывали следующим образом:

Коэффициент улучшения относительной разборчивости = 100 ·(Разборчивость после применения VE – Разборчивость до применения VE) / Разборчивость в отсутствие шума)

Для 55 (82%) участников исследования применение технологии VE повысило разборчивость в среднем на 11,9% в абсолютном выражении. При этом среднее значение улучшения разборчивости составило –1,8% для соотношения SNR=6, +21,9% для соотношения SNR=3 и +7,9% для соотношения SNR=0 (рис. 2).

Рис. 2. Абсолютные показатели улучшения разборчивости речи после применения технологии VE, SNR 0; 3; 6 dB.

Для 55 (82%) участников применение технологии VE повысило разборчивость в среднем на 22,6% относительно их коэффициента разборчивости незашумленного сигнала. При этом среднее значение улучшения относительной разборчивости составило –1,9% для соотношения SNR=6, +39,5% для соотношения SNR=3 и +16,6% для соотношения SNR=0 (рис. 3).

Рис. 3. Показатели улучшения относительной разборчивости речи после применения технологии VE, SNR 0; 3; 6 dB.

Существенным недостатком исследования слуха звуками речи является информационная избыточность используемых речевых сигналов, что активирует фактор догадки и снижает диагностические возможности метода, особенно при обследовании пациентов с центральными слуховыми расстройствами [9]. У пациентов с изменением деятельности центральных отделов слухового анализатора может не нарушаться способность воспринимать простые звуки, но при этом имеются трудности с распознаванием более сложной звуковой информации. Особенные затруднения возникают в понимании речи в шумной обстановке, по телефону, в обработке невербальной информации (например, музыки), что, несомненно, влияет на качество жизни и социальные функции таких больных. В этой связи большой интерес представляет изучение восприятия измененной речи, на фоне шумовой помехи, что ставит слуховой анализатор в более трудные для ее различения условия. В данном исследовании мы использовали технологию VE в обработке поступающего речевого сигнала на фоне шумовой помехи («улица») с целью оценить ее предполагаемую эффективность в клинической практике. Полученные результаты свидетельствуют о повышении разборчивости речи с применением технологии VE, при этом максимальные значения достигнуты при предъявлении речевого сигнала на фоне шумовой помехи в соотношении SNR=3 (дБ). Отрицательные значения соответствуют случаям, когда разборчивость речи после применения технологии VE становится хуже. Небольшие (по модулю) отрицательные значения наблюдаются для сигналов с низким уровнем шума.

Разработка и применение технологии Voice Extraction у пациентов после кохлеарной имплантации является перспективным и эффективным способом реабилитации. Представляет интерес техническое усовершенствование технологии обработки речи звуковым процессором системы кохлеарной имплантации в отношении улучшения ее разборчивости на фоне акустического зашумления.

Авторы заявляют об отсутствии конфликта интересов.