КАРТОЧКА ПРОЕКТА,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 16-15-00038

НазваниеВосстановление речевой функции с использованием технических методов и математического моделирования у больных раком полости рта и ротоглотки после хирургического лечения

РуководительЧойнзонов Евгений Лхамацыренович, Доктор медицинских наук

Организация финансирования, регионфедеральное государственное бюджетное образовательное учреждение высшего образования "Томский государственный университет систем управления и радиоэлектроники", Томская обл

Года выполнения при поддержке РНФ2016 - 2018

КонкурсКонкурс 2015 года «Проведение фундаментальных научных исследований и поисковых научных исследований по приоритетным тематическим направлениям исследований» (11)

Область знания, основной код классификатора 05 - Фундаментальные исследования для медицины, 05-208 - Онкология

Ключевые словаОНКОЛОГИЯ, РЕЧЕВАЯ РЕАБИЛИТАЦИЯ, РАК ПОЛОСТИ РТА И РОТОГЛОТКИ, КАЧЕСТВО РЕЧИ, ПАРАМЕТРИЗАЦИЯ ИЗМЕНЕНИЙ ФОНЕМ

Код ГРНТИ76.29.49


СтатусУспешно завершен


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Целью проекта является повышение эффективности речевой реабилитации пациентов раком полости рта и ротоглотки после хирургического вмешательства в плане комбинированного лечения. Будет проводиться оценка эффективности восстановления речевой функции с использованием технических методов и математического моделирования с целью получения более высоких показателей разборчивости за более короткие сроки в сравнительном аспекте с известными методиками. Один из аспектов данной проблемы - необходимость объективной количественной оценки качества речи больного в процессе восстановительного периода с целью выявления проблемных фонем и оценки качества проводимых тренировок при работе над этими фонемами. В настоящий момент восстановление речи проводится преимущественно на основе субъективной оценки. Использование объективных количественных оценок позволит выявлять все изменения речи, учитывать эти изменения, создавать более эффективную программу речевой реабилитации. Наиболее понятным количественным критерием является разборчивость речи, однако она не является единственным возможным критерием, поскольку, незначительная (а зачастую и существенная, приводящая к неопознаваемости) модификация одной фонемы может не привести к существенному снижению фразовой разборчивости, однако приведет к существенному снижению такой субъективной характеристики как естественность речи и это тоже необходимо учитывать при реабилитации. Также в пользу актуальности решаемой проблемы говорит тот факт, что опыт иностранных специалистов по её решению не может быть просто взят и напрямую использован для русского языка ввиду различного фонетического состава и, как следствие, принципиального различия групп фонем, влияющих на снижение разборчивости речи. Научная новизна проекта: - (1) впервые создается параметрическое описание изменений в произношении фонем русского языка при лечении и речевой реабилитации больных раком полости рта и ротоглотки; - (2) новые методы оценки качества речи пациента в процессе реабилитации, использующие параметрическое описание изменений в произношении фонем (1), отличающиеся от существующих возможностью получения объективной количественной оценки качества; - (3) новые методы объективной количественной оценки эффективности реабилитационных мероприятий, проводимых в процессе комбинированного лечения больных раком полости рта и ротоглотки, отличающиеся от существующих возможностью прямого объективного сравнения эффективности (2) проводимых мероприятий между собой; - (4) новая методика восстановления речевой функции у больных раком полости рта и ротоглотки после хирургического лечения с использованием технических методов и математического моделирования позволит уменьшить сроки проведения реабилитационных мероприятий до 30 дней вместо 2-4 месяцев, повысить эффективность речевой реабилитации, уменьшить удельный вес числа больных, признанных инвалидами по основному заболеванию, возвратить к трудовой деятельности пациентов наиболее трудоспособного возраста, значительно улучшить социальную адаптацию и качество жизни.

Ожидаемые результаты
В результате исследования планируется получить математические модели изменений, возникающих в зависимости от локализации и объема оперативного вмешательства при лечении рака полости рта и ротоглотки. (1). Данный вид исследований в России проводится впервые, а имеющиеся данные исследований, проводимых в других странах, не могут быть просто взяты и применены, из-за особенностей русского языка, в частности, от фонетического строя. На основе полученных описаний изменений планируется построить набор групп фонем, подверженных наиболее сильному изменению при различных объемах оперативного вмешательства (2). Получаемые результаты будет принципиально отличаться от существующих, поскольку будут основываться не только на основе субъективных статистических данных, полученных врачом на слух в процессе реабилитации, но и будут подкреплены объективными количественными данными, полученными на основе математический модели (1). В результате создания методики восстановления речевой функции ожидается значительный экономический эффект, более 60% пациентов смогут не иметь инвалидность, вернуться к трудовой деятельности, вести социально активный образ жизни, что значительно повышает качество жизни наиболее трудоспособной части населения России. При выполнении проекта будет учтен мировой опыт исследований проводимых в данной области.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2016 году
В рамках проекта разрабатываются новые методы получения объективных характеристик голоса и речи для решения задач повышения эффективности реабилитации пациентов после хирургического лечения рака полости рта, ротоглотки и других органов речеобразующего тракта. При этом весь спектр работ может быть разделен на два направления в зависимости от объема оперативного вмешательства и локализации опухолевого процесса: голосовая реабилитация (при лечении рака гортани) и речевая реабилитация (при лечении рака полости рта и ротоглотки). В настоящее время в России насчитывается около 25 тысяч больных, страдающих раком гортани, причем ежегодно в восстановлении голосовой функции нуждаются 2500 тысячи человек. В связи с тем, что около 75% больных поступают в специализированное учреждение с местно-распространенным процессом (Т3 – Т4), основным методом лечения является комбинированный, где ведущим компонентом остается хирургическое вмешательство в объеме ларингэктомии. Одним из наиболее тяжёлых последствий хирургического лечения злокачественных новообразований гортани является полная утрата звучной речи и нарушение дыхательной функции. При этом остро возникает проблема речевого общения пациентов, осложняя и ограничивая их возможности в социальном, трудовом и профессиональном плане. В этой связи восстановление голосовой функции является одним из приоритетных направлений реабилитации больных (В.И. Чиссов, В.В. Старинский, Г.В. Петрова, 2010; Пачес А.И., 2000; Балацкая Л.Н., Чойнзонов Е.Л., Чижевская С.Ю., 2014). В рамках проведенных работ осуществлена доработка метода голосовой реабилитации за счет учета характеристик тембра голоса (частоты основного тона), измеряемых в режиме реального времени. В рамках данного подхода осуществляется измерение частоты основного тона с помощью сингулярного спектрального анализа, что позволяет получать значения частоты основного тона с точностью, превосходящей пиковые методы, при этом обеспечивая возможность расчета в режиме реального времени на персональных вычислительных машинах (от 50 ГФлопс). Кроме того, реализовано дополнительное подкрепление биологической обратной связи в виде акустического сигнала. Это по мнению многих авторов положительно способствует выработке рефлекса, так как отклик головного мозга на звуковую информацию составляет порядка 20-25 мс против 50-60 мс для изображений. По итогам практической апробации методики голосовой реабилитации с привлечением сторонней организации (клиники СибГМУ) сделаны следующие заключения. 1.Установлено, что механизм фонации псевдоголосом является результатом взаимодействия мышц первого физиологического сужения пищевода, мышц глотки при сохранном артикуляционном аппарате. Ведущая роль принадлежит ц.н.с., так как генерация звуков принадлежит действию импульсов возвратных нервов, веточки которых распространяются как на область голосовых складок, так и на область глоточных мышц и верхнее сужение пищевода. 2. Разработанная методика голосовой реабилитации у больных после ларингэктомии является высокоэффективным методом, позволяющим восстановить голосовую функцию в 91% в сроки до 18±5,4 дней против 34±8,5 дней в контрольной группе (p<0,05). 3. Данные акустического исследования псевдоголоса можно рассматривать в качестве оптимальных параметров применения методики восстановления голосовой функции у ларингэктомированных больных. В начале голосовых тренировок средняя частота основного тона составила 40±4,2 Гц, после окончания повысилась до 131±6,6 Гц, время максимальной фонации увеличилось с 0,1±0,14 до 1,8±0,12 сек., в группе здоровых лиц эти показатели составили 160±6,9 Гц и 17±1,2 сек. соответственно (p<0,05). 4. Применение разработанной методики восстановления голосовой функции у больных раком гортани применением метода биологической обратной связи на основе математического моделирования позволяет уменьшить удельный вес числа больных, признанных инвалидами по основному заболеванию, на 20%. Возвратить к трудовой деятельности 67% пациентов наиболее трудоспособного возраста, значительно улучшить социальную адаптацию и качество жизни. В рамках проводимых исследований по оценке качества речи в процессе реабилитации пациентов после оперативного лечения рака полости рта и ротоглотки первоначально была построена модель оценки качества речи. На основе этой модели выделены основные этапы оценки качества произнесения фонем. 1. Сегментация и выделение фонем – выделение интересующих нас фонем для оценивания качества произнесения. В настоящий момент осуществляется вручную. При автоматизации необходимо будет реализовать сегментацию слога на фонемы. Задача облегчается тем, что сами произносимые слоги, а, как следствие, и их полный фонетический состав, известны, нужно только проставить границы, задачи идентификации фонем нет, однако осложняется тем, что оценивается не нормальная речь, а речь пациента после операции, что приводит к изменению традиционных параметров фонем, используемых при сегментации. 2. Нормализация фонем. Разница по длительности в произнесении одинаковых фонем может составлять всего пару сотых миллисекунд (но может и больше), однако для системы эта разница будет ощутима и фонемы будут уже не сравниваемы в их первоначальном виде (как минимум из-за различной длины сравниваемых векторов). Интенсивность тоже должна быть одинаковой – иначе абсолютная разница между спектрами будет значительна. Для этого в системе должна быть предусмотрена нормализация, которая будет приводить все интересующие нас фонемы к одной длительности и интенсивности. Вариант с попарным приведением фонем ко времени более длинной из них двоих или к меньшей относительной интенсивности многократно увеличивает сложность алгоритма, что может существенно повлиять на время выполнения поставленной задачи в системе. Нормализация осуществляется путем линейного преобразования сжатия-растяжения с учетом вычисления недостающих дискрет звукового сигнала на основе линейной аппроксимации. 3. Подбор параметров. В настоящий момент проводится в полуавтоматическом режиме. Рассматриваются реализации фонемы до и после операции, находится спектр Фурье сигнала, далее сравниваются срезы, соответствующие одной и той же частоте и выбираются те значения частот и параметра расстояния Минковского, на которых эта разница становится наибольшей, с учетом сохранения стабильных значений для различных реализаций одной и той же фонемы в сигналах до операции. В настоящий момент нахождение этой разницы для различных частотных срезов автоматизировано, но сам рабочий спектральный диапазон и итоговое значение параметра метрики выбирает пользователь на основе сравнения матриц получаемых расстояний. Автоматизация принципиальных проблем не представляет, необходимо только разработать алгоритм подбора порога включения соответствующего частотного среза. 4. Нахождение среднего расстояния для эталонных фонем – на основе выбранных параметров осуществляется нахождение среднего расстояния между одинаковыми фонемами до операции. Данное расстояние служит, по сути, частью критерия правильности произнесения фонемы – порогом, к которому необходимо будет стремиться в процессе речевой реабилитации. 5. Нахождение средних расстояний для оцениваемой и эталонных фонем. Служит частью критерия правильности произнесения фонемы – чем данное расстояние ближе к найденному на этапе 4 – тем более качественно произнесена фонема. 6. Нахождение оценок качества для оцениваемых фонем. В простейшем случае, оценка может быть построена как отношение значений, полученных на этапах 4 и 5. Однако, возможны и другие варианты, основывающиеся на индивидуальном сравнении фонем. В настоящий момент блок реализован в виде критерия, использующего отношение средних реализован и протестирован, однако, параллельно были найдены еще несколько потенциально эффективных вариантов формирования итогового критерия, основывающиеся, например, на размере перекрытия множеств значений расстояний из шагов 4 и 5. Кроме того, необходимо было составить список проблемных фонем, подлежащих исследованию. Выявление наиболее подверженных изменениям фонем происходило следующим образом. На первом этапе выделялись буквы, наиболее часто соответствующие фонемам, произнесенным с ошибкой. Анализ проводился по методике, основанная на применении для оценки качества речи методов оценки качества каналов передачи голосовой информации, взятые из ГОСТ Р 50840-95 Передача речи по трактам связи. Методы оценки качества, разборчивости и узнаваемости, переориентированные на оценку качества работы речеоборазующего тракта. В рамках работы используется реализованное для этой цели программное обеспечение «Разборчивость речи» . Использование именно букв, а не фонем, связано с тем, что, если при работе с пациентом предлагать ему фонемную запись слова, но это позволило бы снять проблемы, связанные с вариативностью прочтения слогов, однако не все пациенты смогли бы корректно прочитать такую форму записи. Как вариант по результатам тестовой эксплуатации предлагается дублировать записанный слог его звукозаписью (однозначно определяющей его фонемный состав), что может с одной стороны несколько затруднить процесс работы с пациентом, но позволит избежать ошибок при чтении (за счет получения информации сразу по двум каналам – визуальному и акустическому), кроме того позволит при обработке использовать именно фонемную запись, что позволит сразу выявлять именно проблемные фонем. Однако, данный подход был предложен уже после начала исследования и его внедрение планируется уже на следующей стадии, поскольку требует модификации существующего программного обеспечения, а по итогам проводимого исследования в рамках следующего года предполагается кардинальная его переработка. Здесь же сравнения осуществлялись сперва именно по буквам. Далее в распознанных слогах проводился подсчет количества букв, соответствующих неправильно произнесенным фонемам. Проводилось ранжирование таких букв в рамках одного сеанса работы с одним пациентом. Следующим шагом проводилось усреднение рангов по числу сеансов и повторное ранжирование средних значений. По итогам этой процедуры буквы, которым соответствуют фонемы, наиболее редко подверженные изменению, получат минимальный ранг, наиболее часто – максимальный. В результате этого составлен список фонем, наиболее подверженных изменению при оперативном лечении рака языка - это фонемы, соответствующие русским буквам р, т, с, ф, ш, к, кроме того, установлено, что модификации подвергается признак мягкости, что согласуется с более ранними классическими данными. В качестве количественных признаков предложено использовать расстояние между нормированными разновидностями спектральных характеристик до операции и в процессе реабилитации. Использованы такие характеристики, как спектр Фурье, мел-кепстральные коэффициенты, автокорреляционная функция и коэффициенты линейного предсказания. Показано, что несмотря на наличие частотных областей, где различия наиболее выражены, использование полного частотного диапазона представляется более перспективным. Показана эффективность применения расстояния Минковского в качестве меры различия между спектрами, предложена и реализована методика подбора значения параметра расстояния Минковского, обеспечивающего наибольшее различие между получаемыми параметрами, характеризующими качество речи до и после операции. Кроме того, выявлено, что в рамках данной методики необходима нормировка сигнала по времени и по интенсивности. Сделано предположение о большей эффективности корреляционного критерия, поскольку не требуется нормировка по интенсивности, которое в настоящее время находится на стадии проверки. На основе сформированных параметров на начальной стадии предложено применение интегрированного критерия, построенного как сумма отношений показателей различия после и до операции, нормированная по количеству используемых параметров. Такой критерий позволяет учитывать особенности каждой из характеристик, однако основывается на предположении об их равноправии. На основе этого предполагается дальнейшее исследование и возможная модификация предложенного критерия, хотя на данном этапе он позволяет решить поставленную задачу оценки качества произнесения слогов. Подводя итоги, можно сделать заключение, что по итогам этапа сформирован объективный количественный критерий, позволяющий оценивать качество произнесения слогов, что позволяет проводить оценку качества речи. Предложена методика расчета этого критерия, которая может быть реализована в автоматическом режиме, реализованы основные этапы этой методики.

 

Публикации

1. Балацкая Л.Н., Чойнзонов Е.Л., Чижевская С.Ю, Мещеряков Р.В., Костюченко Е.Ю., Ефимов Н.П. Современные технологии в голосовой реабилитации больных раком гортани после ларингэктомии Вопросы онкологии, - (год публикации - 2017).

2. Балацкая Л.Н., Чойнзонов Е.Л., Чижевская С.Ю., Кульбакин Д.Е. Голосовая реабилитация больных раком гортани после органо-сохраняющих операций Злокачественные опухоли. Материалы XX Российского онкологического конгресса. Москва, 15-17 ноября 2016 г., Злокачественные опухоли. Материалы XX Российского онкологического конгресса. Москва, 15-17 ноября 2016 г. –С. 191-192. (год публикации - 2016).

3. Игнатьева Д.И., Пятков А.В., Костюченко Е.Ю. Изменения при произнесении фонем [к] и [к‘] на спектрограммах КЛП и изображениях автокорреляции Электронные средства и системы управления: Материалы докладов XII Международной научно-практической конференции, - (год публикации - 2016).

4. Игнатьева Д.И., Пятков А.В., Костюченко Е.Ю. Изменения в спектрограммах КЛП и на изображениях автокорреляции у фонем [т] и [т‘] Электронные средства и системы управления: Материалы докладов XII Международной научно-практической конференции (2016 г.), - (год публикации - 2016).

5. Костюченко Е.Ю., Игнатьева Д.И., Мещеряков Р.В., Пятков А.В., Чойнзонов Е.Л., Балацкая Л.Н. Model of system quality assessment pronouncing phonemes 2016 International IEEE scientific and technical conference "Dynamics of Systems, Mechanisms and Machines" (Dynamics), - (год публикации - 2017).

6. Костюченко Е.Ю., Мещеряков Р.В., Игнатьева Д.И., Пятков А.В., Чойнзонов Е.Л., Балацкая Л.Н. Evaluation of the speech quality during rehabilitation after surgical treatment of the cancer of oral cavity and oropharynx based on a comparison of the Fourier spectra Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Volume 9811, 2016, Pages 287-295 (год публикации - 2016).

7. Кульбакин Д.Е., Мухамедов М.Р., Чойнзонов Е.Л., Гюнтер В.Э. Использование индивидуальных имплантов из никелида титана в реконструктивной хирургии у больных раком гортани Злокачественные опухоли. Материалы XX Российского онкологического конгресса. Москва, 15-17 ноября 2016 г., Злокачественные опухоли. Материалы XX Российского онкологического конгресса. Москва, 15-17 ноября 2016 г.- С. 192 (год публикации - 2016).

8. Мещеряков Р.В., Костюченко Е.Ю., Игнатьева Д.И., Пятков А.В., Чойнзонов Е.Л., Балацкая Л.Н. Speech quality measurement automation for patients with cancer of the oral cavity and oropharynx 2016 International Siberian Conference on Control and Communications (SIBCON), - (год публикации - 2016).

9. Пятков А.В., Игнатьева Д.И., Костюченко Е.Ю. Изменения на спектрограммах Фурье при произнесении фонем [т] и [т‘] при речевой реабилитации Электронные средства и системы управления: Материалы докладов XII Международной научно-практической конференции, - (год публикации - 2016).

10. Харченко С.С., Мещеряков Р.В., Балацкая Л.Н., Костюченко Е.Ю. Software for voice rehabilitation of oncologic patients AIP CONFERENCE PROCEEDINGS, 1760, 020026 (2016) (год публикации - 2016).

11. Чойнзонов Е.Л., Балацкая Л.Н., Чижевская С.Ю., Мещеряков Р.В., Костюченко Е.Ю., Иванова Т.А. Restoration of voice function by using biological feedback in laryngeal and hypopharyngeal carcinoma patients AIP Conference Proceedings, 1760, 020014 (2016) (год публикации - 2016).


Аннотация результатов, полученных в 2017 году
В рамках работы над проектом за отчетный период все достигнутые результаты затрагивают три направления деятельности: исследования и реализации алгоритмов и методов оценки качества произношения, разработка программного комплекса для оценки качества речи и разработка методики реабилитации с использованием разрабатываемого программного комплекса. Выполненные работы соответствуют заявленным научным результатам и представлены в научных публикациях различного уровня. 1. Исследования и реализации алгоритмов и методов оценки качества произношения слогов. После получения количественных оценок в предшествующих исследованиях встал вопрос об исследовании связей между полученными оценками для разработки комбинированного критерия, который наилучшим образом будет отображать разницу между слогами. Проведена оценка получаемых составных компонентов критерия – расстояния Минковского на основе спектра Фурье, автокорреляционного спектра, мел-кепстрального представления спектра, корреляции между ними, корреляции между нормированными осциллограммами. По итогам исследования коэффициенты ранговой корреляции компонентов оказались статистически неотличимыми от 1 при уровне значимости 0,95, из чего следует, что результаты согласуются друг с другом. Объединение нескольких критериев на основе среднего геометрического привело к аналогичному статистически неотличимому результату, а соответственно не представляется рациональным. На основании этого по итогам данного этапа для оценки качества произношения будет использоваться корреляционный критерий между нормированными по времени сигналами как наиболее быстрый и позволяющий достичь режима реального времени, использующий значения нормированных по времени интенсивностей спектров Фурье до и после операции. Также преимуществом критерия является отсутствие необходимости нормализации звука по интенсивности. Значение корреляционного критерия может быть рассчитано как между отдельными фонемами, так и целыми слогами. Чем ближе значение этого критерия к 1, тем ближе сигнал после операции к эталонному предоперационному сигналу. Для решения задачи автоматизации сегментации слога на фонемы был рассмотрен подход на основе корреляции. Для сегментации было принято решение о построении корреляционной матрицы по всей длине произносимого слога и поиске участков резкого изменения значений коэффициента корреляции по всей длине среза. Данный подход показал следующие результаты: 1.Не зафиксировано пропусков границ между слогами. Это обусловлено структурой слогов, отобранных в базу данных, невозможности наличия двух идущих подряд гласных. 2.При проведении прямой сегментации с порогом были зафиксированы лишние сегменты, в частности, разделяющие взрывные звуки на два сегмента – паузу перед взрывом и непосредственно взрыв. Данная особенность устраняется наличием информации о положении взрывной фонемы и общем количестве фонем. 3.Существенный недостаток подхода – крайне низкая скорость и невозможность его применения в режиме реального времени. Для повышения значимости получаемых оценок и их различимости было принято решение о добавлении алгоритма временной нормировки сигнала. Для этого было предложено и исследовано два подхода: на основе корреляции и применение алгоритма динамической трансформации временной шкалы – DTW. Первый подход к нормализации по времени был основан на максимизации корреляции между отдельными фрагментами сигналов. Этот алгоритм можно представить в виде пошаговой последовательности следующим образом: 1) Приведение первого сигнала к эталонной длине t (в процессе реализации t=1 секунда) . 2) Выбор количества подынтервалов для нормализации – n (n=10). 3) Поиск конца для i-го интервала второго сигнала, обеспечивая максимальную корреляцию с i-м фиксированным интервалом первого сигнала. 4) Приведение найденного i-го интервала к длине i-го поддиапазона первого сигнала и добавление его к концу итогового нормализованного второго сигнала. 5) Повторить шаги 3 и 4 для i = 1..n-1. 6) Приведение последнего оставшегося n-го интервала к длине n-го интервала первого сигнала, добавление его к концу итогового нормализованного второго сигнала. В настоящий момент указанные значения позволяют получить значения критериев качества произношения, хотя и не являются оптимальными по точности нормализации. Такой подход имеет два недостатка: сравнительно низкая скорость работы, неприменимая для режима реального времени, и несимметричность (результаты нормировки сигнала 1 по сигналу 2 и наоборот будут различаться). Второй подход основан на алгоритме динамической трансформации временной шкалы (dynamic time warping – DTW). Суть подхода – нахождения оптимального пути между двумя числовыми последовательностями, которые в контексте решаемой задачи представлены последовательностями значений амплитуд звуковых файлов. Применение DTW решает задачу оценки качества в режиме реального времени (благодаря линейной сложности модифицированного алгоритма) и получаемые результаты согласуются с ожидаемыми, однако в некоторых случаях требует предварительных преобразований последовательностей (фильтрации, сглаживания). Поиск оптимального набора преобразований для применения DTW может стать задаче для дальнейших исследований. 2. Разработка программного комплекса для оценки качества речи Был реализован прототип программного комплекса по оценке качества речи. Реализация проводилась с учетом всех модификаций предыдущей версии программного комплекса, однако создавалась с чистого листа. Это связано с использованием технологии потоковой записи и обработки речевых сигналов, необходимой для получения оценки качества произнесения в режиме, близком к режиму реального времени. В программном комплексе сохранена возможность простановки экспертных оценок и добавлено получение количественных, более объективных, с минимальным участием логопеда в процессе записи и оценки. На главной форме приложения «Разборчивость речи» представлена краткая информация по каждому пациенту: ФИО, год рождения, диагноз и логопедический диагноз, а также информация о проведённом лечении. На форме «Сеансы» предоставляется возможность просмотра, выбора, редактирования и удаления существующих сеансов пациента, а также добавление новых сеансов. Для каждого сеанса выставление оценки может быть осуществлено либо вручную, на основе правильности распознавания произнесенного слога аудитором-логопедом, либо на основе меры различия по сравнению с записями пациента до операции. Сравнение в настоящий момент осуществляется на основе подсчета DTW-расстояния согласно DTW. Для упрощения процедуры записи слогов во время сеанса пациентов, в программе используется алгоритм обнаружения голосовой активности (VAD). Его применение заключается в автоматизации процесса записи. Вместо постоянных нажатий кнопок «Начать» - и – «Закончить запись», пациент, в идеале, нажимает на каждую из них только один раз. После нажатия кнопки начала записи запускается алгоритм детектирования голосовой активности (VAD). Данный алгоритм производит анализ записываемого потока информации, произносимой пациентом. Если пациент молчит, запись не производится, если же VAD улавливает акустическую активность, начинается запись аудиофайла. Когда уровень звука падает до уровня тишины, запись прекращается, записанный аудиофайл сохраняется, и на форме появляется новый слог, который необходимо произнести. После записи последнего слога необходимо закончить сеанс нажатием соответствующей кнопки. Также была осуществлена модификация используемой методики. В рамках модификации было реализовано представление информации пациенту информации одновременно в трех видах по двум каналам взаимодействия. При этом по традиционному визуальному каналу в дополнение к существующей классической записи слога была добавлена его транскрипция. Однако возникла проблема прочтения транскрипции как таковой, поскольку далеко не все пациенты обладают навыком прочтения транскрипционной нотации. Поэтому было принято решение об использовании дополнительного аудиального канала для предоставления записи. При записи пациент помимо упомянутых выше способов представления по визуальному каналу получает дополнительный сигнал посредством воспроизведения записи в наушниках гарнитуры, которая используется в процессе работы с комплексом. В комплексе с визуальным каналом это позволило снизить количество ошибок при вводе до минимума. 3. Разработка методики реабилитации Разработана методика речевой реабилитации, использующая получаемые с помощью программного комплекса и биологическую обратною связь - БОС. Предлагается следующая схема реабилитации: 1) Запись двух сеансов слоговой разборчивости согласно выбранному списку слогов до операции – эталонные сеансы, подсчет количественных оценок качества произношения каждого слога, средней оценки сеанса, оценок качества произношения фонем. Подсчитанные оценки на сеансах до операции – уровень качества произношения, которого предполагается достигнуть за время речевой реабилитации – эталонный уровень. 2) Проведение записи сеанса слоговой разборчивости сразу после операции, подсчет оценки сеанса на основе сравнения его с эталонными сеансами и подсчет среднего. Если текущий уровень совпадает с эталонным уровнем, то нет необходимости в проведении речевой реабилитации. Если уровень ниже, то пациенту предлагается пройти речевую реабилитацию. На основе подсчитанных оценок качества произношения фонем можно выделить «проблемные» фонемы. 3) Тренировки речи. Они проводятся согласно плану, составленному специалистом-логопедом. 4) Запись сеанса слоговой разборчивости, сравнение с оценками предыдущего сеанса, вывод динамики восстановления речи. Этапы 3-4 повторяются до достижения цели речевой реабилитации – достижения эталонного уровня, либо до получения вывода о невозможности дальнейшего проведения речевой реабилитации. На основе динамики можно корректировать план по тренировке речи. Если по некоторым фонемам оценки стали ухудшаться относительно эталонного уровня, то предлагается скорректировать тренировку в сторону увеличения упражнений на проработку данных фонем, если же оценка фонемы достигла эталонного уровня, уменьшить количество упражнений. Совсем убирать упражнения на фонему не рекомендуется в виду необходимости в комплексности тренировок. Биологическую обратную связь предлагается использовать в этапе 4. При произношении слога в микрофон пациент на экране видит количественную оценку качества произношения, а также некоторое положительное подкрепление (положительную обратную связь), сигнализирующее о том, что слог произнесен качественнее по сравнению с предыдущим сеансом. По окончанию сеанса возможно построение динамики качества для каждой из проблемных фонем с наличием положительного подкрепления относительно тех фонем, для которых качество произношения улучшилось. При отсутствии положительной динамики предлагается использование отрицательной обратной связи, направленной на определение тех слогов или фонем, для которых качество улучшилось. По итогам проделанной работы подготовлены и отправлены на регистрацию в РосПатент 2 результата интеллектуальной деятельности (РИДа), а именно - база данных «Звукозаписи пациентов с заболеваниями органов речеобразующего тракта OnkoSpeechDB» и программы для ЭВМ «Speech Quality Assessment». Данные РИДы полностью основаны на полученных в рамках выполнения проекта результатах, а именно полученной базе данных звукозаписей пациентов для проведения исследования и первой версии прототипа разработанного программного комплекса по оценке качества речи при проведении речевой реабилитации после комбинированного лечения онкологических заболеваний органов полости рта и ротоглотки. Полученные результаты были представлены на одной из ведущих международных конференций по анализу речи 19th International Conference, SPECOM: International Conference on Speech and Computer 2017 (SPECOM 2017), Hatfield, UK, September 12-16, 2017, (доклад Correlation Normalization of Syllables and Comparative Evaluation of Pronunciation Quality in Speech Rehabilitation ), на крупной конференции Азиатского региона в области компьютерных технологий обработки информации The International Conference on Computational Sciences, Advanced Database and Computing (CSADC2017), Phuket, Thailand, October 11-12, 2017 (доклад Correlation criterion in assessment of speech quality in process of oncological patients rehabilitation after surgical treatment of the speech-producing tract был отмечен как лучший доклад на секции Intelligent Computing Techniques), на II Международной научной конференции по проблемам управления в технических системах (ПУТС-2017), 25 - 27 октября 2017 года в Санкт-Петербурге (Программное обеспечение для объективной оценки качества произнесения слогов при речевой реабилитации). Кроме того, для оценки не только чисто технических, но и медицинских аспектов работы был сделан доклад на III Петербургском международном онкологическом форуме «Белые ночи», 23.06.2017 - 25.06.2017, Россия, Санкт-Петербург.

 

Публикации

1. Балацкая Л.Н., Чойнзонов Е.Л., Чижевская С.Ю., Кульбакин Д.Е. Голосовая реабилитация больных раком гортани после органосохраняющих операций Злокачественные опухоли. 2016. № 4 (20). С. 191-192., Москва, Благотворительный фонд содействия профилактике, диагностике и лечению онкологических заболеваний «Онкопрогресс», 2016 (год публикации - 2016).

2. Балацкая Лидия Николаевна, Чойнзонов Евгений Лхамацыренович, Чижевская Светлана Юрьевна, Мещеряков Роман Валерьевич, Костюченко Евгений Юрьевич Голосовая и речевая реабилитация больных злокачественными опухолями головы и шеи Сборник научных работ III Петербургского международного онкологического Форума «Белые ночи», 23–24 июня,  г. Санкт-Петербург, С- 73., Санкт-Петербург, Белые ночи, 2017 (год публикации - 2017).

3. Д.Е. Кульбакин, Е. Л. Чойнзонов, М. Р. Мухамедов, Е. Ю. Гарбуков Реконструктивно-пластические операции у пациентов со злокачественными образованиями полости рта Опухоли головы и шеи. Материалы III конгресса Российского общества специалистов по опухолям головы и шеи «Инновационные решения в лечении опухолей головы и шеи». -2017, №1, Том 7. – С.50, Москва, Опухоли головы и шеи, 2017 (год публикации - 2017).

4. Д.И. Новохрестова Временная нормализация слогов алгоритмом динамической трансформации временной шкалы при оценке качества произнесения слогов в процессе речевой реабилитации Доклады ТУСУР. – 2017. – Т. 20. – № 4., Томск, федеральное государственное бюджетное образовательное учреждение высшего образования Томский государственный университет систем управления и радиоэлектроники, 2017 (год публикации - 2017).

5. Е.Ю. Костюченко Влияние уровня шума на значение критерия качества произнесения слогов ЭЛЕКТРОННЫЕ СРЕДСТВА И СИСТЕМЫ УПРАВЛЕНИЯ, XIII Международная научно-практическая конференция, посвященная 55-летию ТУСУРа, 29 ноября – 1 декабря 2017 г., Томск, федеральное государственное бюджетное образовательное учреждение высшего образования Томский государственный университет систем управления и радиоэлектроники, 2017 (год публикации - 2017).

6. Е.Ю. Костюченко, Д.И. Новохрестова, А.В. Пятков Формирование базы данных пациентов при речевой реабилитации после комбинированного лечения онкологических заболеваний органов речеобразующего тракта ЭЛЕКТРОННЫЕ СРЕДСТВА И СИСТЕМЫ УПРАВЛЕНИЯ, XIII Международная научно-практическая конференция, посвященная 55-летию ТУСУРа, 29 ноября – 1 декабря 2017 г., Томск, федеральное государственное бюджетное образовательное учреждение высшего образования Томский государственный университет систем управления и радиоэлектроники, 2017 (год публикации - 2017).

7. Е.Ю. Костюченко, Р.В. Мещеряков, Д.И. Новохрестова, А.В. Пятков, Е.Л. Чойнзонов, Л.Н. Балацкая Алгоритм детектирования голосовой активности ЭЛЕКТРОННЫЕ СРЕДСТВА И СИСТЕМЫ УПРАВЛЕНИЯ, XIII Международная научно-практическая конференция, посвященная 55-летию ТУСУРа, 29 ноября – 1 декабря 2017 г., Томск, федеральное государственное бюджетное образовательное учреждение высшего образования Томский государственный университет систем управления и радиоэлектроники, 2017 (год публикации - 2017).

8. Костюченко Е.Ю., Новохрестова Д.И., Мещеряков Р.В., Пятков А.В., Чойнзонов Е.Л., Балацкая Л.Н. Correlation Normalization of Syllables and Comparative Evaluation of Pronunciation Quality in Speech Rehabilitation Speech and Computer. SPECOM 2017. Lecture Notes in Computer Science, vol 10458. Springer, Cham, SPECOM 2017, LNAI 10458, pp. 262–271, 2017 (год публикации - 2017).

9. Костюченко Е.Ю., Новохрестова Д.И., Мещеряков Р.В., Пятков А.В., Чойнзонов Е.Л., Балацкая Л.Н. Correlation criterion in assessment of speech quality in process of oncological patients rehabilitation after surgical treatment of the speech-producing tract Advances in Intelligent Systems and Computing, - (год публикации - 2017).

10. Костюченко Е.Ю., Новохрестова Д.И., Мещеряков Р.В., Пятков А.В., Чойнзонов Е.Л., Балацкая Л.Н. Software for an objective evaluation of the quality of syllables`s pronunciation in speech rehabilitation II International Scientific Conference on Control in Technical Systems (CTS'2017) October 25 - 27, 2017, St. Petersburg, - (год публикации - 2017).

11. Костюченко Е.Ю., Новохрестова Д.И., Мещеряков Р.В., Пятков А.В., Чойнзонов Е.Л., Балацкая Л.Н. Звукозаписи пациентов с заболеваниями органов речеобразующего тракта OnkoSpeechDB -, - (год публикации - ).

12. Костюченко Е.Ю., Новохрестова Д.И., Мещеряков Р.В., Пятков А.В., Чойнзонов Е.Л., Балацкая Л.Н. SPEECH QUALITY ASSESSMENT -, - (год публикации - ).

13. Кульбакин Д. Е., Чойнзонов Е. Л., Мухамедов М. Р., Гарбуков Е. Ю. Реконструктивно-пластические операции у пациентов со злокачественными образованиями полости рта Злокачественные опухоли. 2016. № 4 (20). С. 191-192., Москва, Благотворительный фонд содействия профилактике, диагностике и лечению онкологических заболеваний «Онкопрогресс», 2017 (год публикации - 2016).

14. Кульбакин Д. Е.,  Мухамедов М. Р.,  Чойнзонов Е. Л.,  Гюнтер В. Э. Использование индивидуальных имплантатов из никелида титана в реконструктивной хирургии у больных раком гортани Злокачественные опухоли. 2016. № 4 (20). С. 192., Москва, Благотворительный фонд содействия профилактике, диагностике и лечению онкологических заболеваний «Онкопрогресс», 2016 (год публикации - 2017).

15. Л. Н. Балацкая, Е. Л. Чойнзонов, С. Ю. Чижевская, Р. В. Мещеряков, Е. А. Красавина Новые технологии в голосовой реабилитации больных злокачественными опухолями головы и шеи Опухоли головы и шеи. Материалы III конгресса Российского общества специалистов по опухолям головы и шеи «Инновационные решения в лечении опухолей головы и шеи». -2017, №1, Том 7. – С.  44., Москва, Опухоли головы и шеи, 2017 (год публикации - 2017).

16. Харченко С.С. Investigation of the Influence of the Positive Reinforcement Method using Biofeedback International Journal of Biosensors & Bioelectronics. – 2017. – V. 2. – № 2. – P. 00020, - (год публикации - 2017).

17. Харченко С.С. Структура программного комплекса голосовой реабилитации больных после удаления гортани на основе бионических принципов Доклады ТУСУР. – 2017. – Т. 20. – № 1. – С. 101-104., Томск, федеральное государственное бюджетное образовательное учреждение высшего образования Томский государственный университет систем управления и радиоэлектроники, 2017 (год публикации - 2017).

18. Харченко С.С., Мещеряков Р.В., Костюченко Е.Ю. Математическая электроакустическая модель псевдоголоса и программный комплекс голосовой реабилитации пациентов после ларингэктомии на основе бионических принципов В-Спектр, Томск, - (год публикации - 2017).


Аннотация результатов, полученных в 2018 году
В рамках отчетного 2018 года были проделаны следующие основные работы: 1. Осуществлено внедрение разработанного прототипа программного комплекса по оценке качества произнесения слогов в НИИ онкологии Томского НИМЦ. Работающая версия прототипа, с учетом результатов прошлого года, установлена для выявления проблем в условиях реальной эксплуатации в Отделении опухолей головы и шеи в НИИ онкологии томского НИМЦ. Тестовая эксплуатация в реальном режиме и сбор сведений о ней начат в конце января 2018 года. 2. Проведена комплексная проверка всех ранее реализованных функций в рамках внедренного прототипа. По результатам внедрения собран набор отзывов, связанных с учетом результатов практической эксплуатации. В частности, отмечен высокий уровень практической применимости детектирования голосовой активности, реализованной в рамках прошлого года, который позволил после введения предварительной настройки, направленной на калибровку порогов на основе уровня шумовой обстановки в помещении добиться минимизации участия логопеда в процессе записи слогов для оценки качества произнесения слогов. Кроме того, в рамках внедренного прототипа был использован проверенный ранее алгоритм сегментации слога на фонемы. В рамках тестирования прототипа проведены записи пяти пациентов. Выявлены следующие недостатки: а) проблемы, связанные с работой модуля детектирования голосовой активности. При запаздывании срабатывания обрезается начало слога. В плане накопления материала не критично, т.к. имеется полная запись сеанса, но приводит к необходимости ручной работы в рамках корректировки границ. Проблема снята при доработке прототипа введением дополнительного буфера до и после слога размером 50 мс, полностью исключившим пропуск границ и не приводящим к захвату соседних слогов; б) кроме того, был дополнительно реализован режим пересчета параметров, сегментации на отдельные слоги и расчета качества произнесения качества на основе уже сделанных ранее записей, позволивший применять новые модификации алгоритмов к сделанным ранее записям слогов в рамках готового программного продукта. Без этого режима новые оценки сравнивались бы со старыми, полученными с предыдущими версиями алгоритмов, и были бы не сравнимы с ранее полученными оценками; в) отмечена крайняя медлительность алгоритма сегментации на основе корреляции. В рамках первой модификации работа алгоритма перенесена на постобработку после проведения всех записей, однако, поскольку такой подход исключает применение биологической обратной связи в рамках реабилитации, принято решение о замене алгоритма сегментации, несмотря на неплохие, с точки зрения качества сегментации в рамках решаемой за дачи, результаты. Предложенный к реализации алгоритм контекстно-зависимой сегментации позволил перейти к получению оценок в режиме реального времени и применим для решения следующих задач: - выделение границ гласной в слоге; - выделение согласной в начале слога при расположении гласной сразу после согласной; - выделение согласного в конце слога при расположении гласной перед согласной, однако при решении данной задачи необходимо учитывать отнесение паузы, предшествующей взрыву в рамках согласной к гласной фонеме. Учитывая что выделение гласной фонемы не представляет для нас практического интереса, можно сделать два заключения о применимости выбранного алгоритма сегментации: а) без проблем применим при положении проблемной фонемы в начале слога; б) может быть применим для полного разбиения трехфонемного слога на отдельные фонемы с учетом ошибки в отнесении паузы. Данная ошибки может быть легко исправлена за счет контроля уровня мгновенной энергии сигнала, однако использование только трехфонемных слогов автоматически исключает анализ коартикуляционных переходов в рамках сочетания согласная-согласная. На основе этого данный алгоритм был использован для выделения только проблемной фонемы в начале слога, для которой выполнялось требование работы в режиме реального времени и обеспечения итоговой точности 0,95 для определения соответствующей правой границы (проблемы при простановке границы начала сигнала в рамках данного типа фонем не возникло, все границы были определены). г) ряд недостатков, связанных с визуальным представлением материала (размер шрифта и т.п.), пожелания учтены при реализации программного обеспечения. 3. Проведена практическая апробация комплекса на предмет измерения длительности реабилитации. Эффективность применения методики восстановления речевой функции оценивалась по показателям акустической оценки звучной речи, и интегральному показателю качества жизни. Занятия по речевой реабилитации проводились 3-4 раза в день по 10-12 минут, но при этом учитывалось общее состояние пациента. Речевые тренировки проводились в сочетании согласных [К], [Г], [Т], [Д] и их мягких вариантов, [С], [Ш], [Ч] с гласной [А], затем переходят к гласным [О], [Э], [У], [И]. Оценка качества речи выполнялась с помощью программного комплекса Speech Quality для объективной оценки качества речи: до начала комбинированного лечения, после хирургического этапа комбинированного лечения в начале речевой реабилитации, после окончания речевой реабилитации. До начала лечения нарушение звукопроизношения составило 0,9, это объясняется тем, что опухоль занимала часть языка, с метастазами лимфоузлы шеи. До начала речевой реабилитации после хирургического этапа комбинированного лечения в объеме ½ языка и лимфодиссекции шеи справа отмечается выраженное нарушение речевой функции и составляет 0,466. После окончания курса восстановления звучной речи этот показатель составил 0,78 ( при норме 1.0). Предлагаемым способом было проведено восстановление речевой функции 23 пациентам, находившихся на стационарном лечении в НИИ онкологии Томского НИМЦ. Сроки проведения реабилитационных мероприятий в основной группе составили 4-5 недель, против 4 месяцев в контрольной группе. На основе этого был сделан вывод, по сути являющийся основным результатом проделанной работы: предложенная методика позволяет применить персонализированный подход при планировании тактики речевых тренировок, повысить эффективность восстановления речевой функции и сократить сроки речевой реабилитации. 4. Подготовлены и переданы для регистрации в РосПатент документы для регистрации ПО "Программный комплекс для проведения речевой реабилитации OnkoSpeech v1.0". Принципиальные отличия от зарегистрированного ранее программного комплекса по простой оценке качества речи: а) визуализация в режиме реального времени получаемых оценок качества произнесения, что используется в качестве простейшего подкрепления в рамках реализации обучения с коррекцией произношения на основе принципа биологической обратной связи. В качестве подкрепления используется визуализация в виде графика, что позволяет оценить лучше или хуже по сравнению с предыдущим произнесен текущий слог, что позволяет сделать выводы и пытаться воспроизвести лучшую реализацию. На основе этого можно уже говорить не о простой оценке с предъявлением результатов логопеду, а о именно процессе речевой реабилитации; б) применение автоматической сегментации в реальном времени для локализации проблемных фонем в начале слога. При остальных положениях фонем используется оценка качества по всему слогу целиком, что лучше, чем в предыдущей версии оценки, но еще не идеал, т.к. возможен учет отдельно остальных позиций проблемной фонем при условии качественной и безошибочной ее локализации. 5. Подготовлены и переданы на регистрацию в РосПатент документы на регистрацию заявки на изобретение "Способ восстановления речевой функции у больных раком полости рта и ротоглотки после органосохраняющих операций". Основные элементы заявленной в рамках патента научной новизны: Впервые разработана методика восстановления речевой функции у больных раком полости рта и ротоглотки после органосохраняющих операций, заключающаяся в проведении рациональной психотерапии; дыхательной гимнастики; артикуляционной гимнастики для мимической мускулатуры, губ и нижней челюсти; артикуляционной гимнастики для культи языка, коррекции звукопроизношения на основе использования Программного комплекса Speech Quality Assestment (Свидетельство о государственной регистрации программ ЭВМ №2018613005 от 09.01. 2018 г.). Разработанная программа установлена на базе НИИ онкологии Томского НИМЦ в отделении опухолей головы и шеи. Объективная оценки речи у онкологических больных позволяет применять персонализированный подход при планировании тактики речевых тренировок, оценивать качество произношения слогов и фраз, работать с базой данных записей сеансов речевой реабилитации пациентов по показателям спектрального анализа нарушений звукопроизношения. В настоящее время в рамках методики программный комплекс Speech Quality Assestment заменен на более актуальную с точки зрения речевой реабилитации версию OnkoSpeech v1.0. 6. На практике показана ошибочность предположения о наличии выигрыша при применении ларингофона по сравнению с обычным микрофоном. 7. В рамках накопления информации в виде записей слогов пациентов до операции/до реабилитации и в ее процессе дополнена база данных "Звукозаписи пациентов с заболеваниями органов речеобразующего тракта OnkoSpeechDB". На момент написания отчета в базе данных содержатся сведения о 96 пациентах, из них 43 имеют записи как до проведения операции, так и в процессе проведения речевой реабилитации. Значительно меньшее количество пациентов второй группы объясняется тем, что далеко не все пациенты, которым выполнено хирургическое лечение, остаются для прохождения речевой реабилитации в отделении. 8.Сформулированы направления для дальнейшей доработки программного для его использования с точки зрения тренажера: а) более наглядное представление данных для пациента по сравнению с графиком. Пациенту сложно понять количественные значения на графике, более наглядным является индикация на уровне выше/ниже порога, хуже/лучше чем в первый раз, и предлагается представлять их в виде постепенно появляющейся в случае успеха картинки (по аналогии с голосовой реабилитацией); б) возможность произнесения не только последовательности слогов в рамках таблицы, но и последовательного повторения одного слога в рамках тренировки. 9. Апробирован подход оценке качества произнесения через процесс распознавания. Сам общий подход к такой оценке принципиально новым не является, однако его непосредственная реализация в виде, пригодном для использования на практике, особенно с учетом новых методов обработки больших массивов данных, не существовала. Соответственно, была реализована и экспериментально апробирована концепция к подходу оценки качества произнесения слогов через их распознание. Экспериментально подтверждена применимость такого подхода на уровне ранжирования получаемых оценок при помощи базового экспертного метода и исследуемого подхода. По сути, данный подход является прямым переложением экспертной методики с учетом использования вычислительной системы в качестве эксперта(ов). Дальнейшее исследование практического применения такого подхода для решения задачи оценивания качества произнесения в рамках речевой реабилитации, выделение принципов формирования обучающей базы данных и выделения параметров из нее является новым перспективным направлением проведения дополнительных научных исследований на стыке медицины и информационных технологий.

 

Публикации

1. - Вести-Томск, выпуск 20:45 Государственная Телерадиокомпания «Томск», филиал Всероссийской Государственной Телерадиокомпании., С 6:42 по 9:07 (год публикации - ).

2. Балацкая Л.Н., Красавина Е.А., Чойнзонов Е.Л., Чижевская С.Ю., Новохрестова Д.И., Костюченко Е.Ю. Способ восстановления речевой функции у больных раком полости рта и ротоглотки после органосохраняющих операций -, - (год публикации - ).

3. Балацкая Л.Н., Чойнзонов Е.Л., Красавина Е.А., Мещеряков Р.В., Костюченко Е.Ю Восстановление речевой функции у больных злокачественными опухолями полости рта и ротоглотки Евразийский онкологический журнал. Сборник материалов Съезда онкологов и радиологов стран СНГ и Евразии. Сочи., - (год публикации - 2018).

4. Балацкая Лидия Николаевна, Чойнзонов Евгений Лхамацыренович, Чижевская Светлана Юрьевна,Красавина Елена Сергеевна, Мещеряков Роман Валерьевич, Костюченко Евгений Юрьевич «База данных восстановления голосовой функции у больных с парезами и параличами гортани после хирургического лечения рака щитовидной железы» -, 2018620730 (год публикации - ).

5. Д.Е. Кульбакин, Е.Л. Чойнзонов, М.Р. Мухамедов, Е.Ю. Гарбуков, Р.В. Васильев, А.А. Шиянова Reconstructive surgery for oral cavity cancer The 22nd International Charles Heidelberger Symposium on Cancer Research: Proceedings of the International Symposium, The 22nd International Charles Heidelberger Symposium on Cancer Research: Proceedings of the International Symposium. Tomsk, 17–19 Sep. 2018, с. 56-57 (год публикации - 2018).

6. Костюченко Е.Ю., Новохрестова Д.И., Балацкая Л.Н. Evaluation of syllable intelligibility through recognition in speech rehabilitation of cancer patients Proceedings of REMS 2018 – Russian Federation & Europe Multidisciplinary Symposium on Computer Science and ICT, Stavropol – Dombay, Russia, 15–20 October 2018, - (год публикации - 2018).

7. Костюченко Евгений Юрьевич, Мещеряков Роман Валерьевич, Новохрестова Дарья Игоревна, Пятков Александр Владиславович, Чойнзонов Евгений Лхамацыренович, Балацкая Лидия Николаевна OnkoSpeech v1.0 -, - (год публикации - ).

8. Красавина Елена Александровна, Балицкая Лидия Николаевна, Чойнзонов Евгений Лхамацыренович, Кульбакин Денис Евгеньевич, Мухамедов Марат Рафкатович Способ восстановления голосовой функции после субтотальной ларингэктомии и формирования трахеоглоточного шунта -, 2657378 (год публикации - ).

9. Кульбакин Д. Е., Чойнзонов Е. Л., Мухамедов М. Р., Гарбуков Е. Ю., Васильев Р. В., Шиянова А. А. Методы хирургической реабилитации больных опухолями полости рта Вопросы онкологии, Вопросы онкологии, 2018. том 64, No6 (год публикации - 2018).

10. Кульбакин Д.Е., Чойнзонов Е.Л., Мухамедов М.Р. Вопросы выбора реконструктивного материла при закрытии дефектов челюстно-лицевой области у больных онкологического профиля Исследования и практика в медицине, Том: 5, Спецвыпуск 2, с. 79 (год публикации - 2018).

11. Кульбакин Д.Е., Чойнзонов Е.Л., Мухамедов М.Р., Гарбуков Е.Ю., Васильев Р. В., Хавкин Н.М Реконструктивно-пластические операции в комбинированном лечении пациентов с опухолями челюстно-лицевой области Опухоли головы и шеи, - (год публикации - 2018).

12. Кульбакин Д.Е., Чойнзонов Е.Л., Мухамедов М.Р., Гарбуков Е.Ю., Васильев Р.В., Шиянова А.А. Реконструктивно-пластические операции в лечении больных злокачественными опухолями полости рта Вопросы онкологии, Вопросы онкологии, 2018. том 64, No5, с.602-606 (год публикации - 2018).

13. Кульбакин Д.Е., Чойнзонов Е.Л., Мухамедов М.Р., Гарбуков Е.Ю., Штин В.И., Хавкин Н.М., Васильев Р.В. Реконструктивно-пластические операции в комбинированном лечении больных местно-распространенными опухолями головы и шеи. Вопросы онкологии, №6. Т 63. 862-866 (год публикации - 2018).

14. Новохрестова Д., Костюченко Е., Мещеряков Р. Choice of Signal Short-Term Energy Parameter for Assessing Speech Intelligibility in the Process of Speech Rehabilitation Lecture Notes in Computer Science, Volume 11096 LNAI, 2018, Pages 461-469 (год публикации - 2018).

15. Новохрестова Д.И., Костюченко Е.Ю. Алгоритм детектирования голосовой активности в программном комплексе по оценке разборчивости речи Сборник международной научно-практической конференции «Электронные средства и системы управления» (МНПК ЭСиСУ-2018), - (год публикации - 2018).

16. Новохрестова Д.И., Костюченко Е.Ю., Балацкая Л.Н., Чойнзонов Е.Л. Оценка качества произношения слогов при речевой реабилитации В-Спектр, Томск, - (год публикации - 2019).

17. Харченко С.С., Новохрестова Д.И., Костюченко Е.Ю. Проблема сегментации на фонемы при оценке качества произнесения слогов в рамках речевой реабилитации Сборник международная научно-практическая конференция «Электронные средства и системы управления» (МНПК ЭСиСУ-2018), - (год публикации - 2018).