Аннотация результатов, полученных в 2016 году
В рамках проекта разрабатываются новые методы получения объективных характеристик голоса и речи для решения задач повышения эффективности реабилитации пациентов после хирургического лечения рака полости рта, ротоглотки и других органов речеобразующего тракта. При этом весь спектр работ может быть разделен на два направления в зависимости от объема оперативного вмешательства и локализации опухолевого процесса: голосовая реабилитация (при лечении рака гортани) и речевая реабилитация (при лечении рака полости рта и ротоглотки). В настоящее время в России насчитывается около 25 тысяч больных, страдающих раком гортани, причем ежегодно в восстановлении голосовой функции нуждаются 2500 тысячи человек. В связи с тем, что около 75% больных поступают в специализированное учреждение с местно-распространенным процессом (Т3 – Т4), основным методом лечения является комбинированный, где ведущим компонентом остается хирургическое вмешательство в объеме ларингэктомии. Одним из наиболее тяжёлых последствий хирургического лечения злокачественных новообразований гортани является полная утрата звучной речи и нарушение дыхательной функции. При этом остро возникает проблема речевого общения пациентов, осложняя и ограничивая их возможности в социальном, трудовом и профессиональном плане. В этой связи восстановление голосовой функции является одним из приоритетных направлений реабилитации больных (В.И. Чиссов, В.В. Старинский, Г.В. Петрова, 2010; Пачес А.И., 2000; Балацкая Л.Н., Чойнзонов Е.Л., Чижевская С.Ю., 2014). В рамках проведенных работ осуществлена доработка метода голосовой реабилитации за счет учета характеристик тембра голоса (частоты основного тона), измеряемых в режиме реального времени. В рамках данного подхода осуществляется измерение частоты основного тона с помощью сингулярного спектрального анализа, что позволяет получать значения частоты основного тона с точностью, превосходящей пиковые методы, при этом обеспечивая возможность расчета в режиме реального времени на персональных вычислительных машинах (от 50 ГФлопс). Кроме того, реализовано дополнительное подкрепление биологической обратной связи в виде акустического сигнала. Это по мнению многих авторов положительно способствует выработке рефлекса, так как отклик головного мозга на звуковую информацию составляет порядка 20-25 мс против 50-60 мс для изображений. По итогам практической апробации методики голосовой реабилитации с привлечением сторонней организации (клиники СибГМУ) сделаны следующие заключения. 1.Установлено, что механизм фонации псевдоголосом является результатом взаимодействия мышц первого физиологического сужения пищевода, мышц глотки при сохранном артикуляционном аппарате. Ведущая роль принадлежит ц.н.с., так как генерация звуков принадлежит действию импульсов возвратных нервов, веточки которых распространяются как на область голосовых складок, так и на область глоточных мышц и верхнее сужение пищевода. 2. Разработанная методика голосовой реабилитации у больных после ларингэктомии является высокоэффективным методом, позволяющим восстановить голосовую функцию в 91% в сроки до 18±5,4 дней против 34±8,5 дней в контрольной группе (p<0,05). 3. Данные акустического исследования псевдоголоса можно рассматривать в качестве оптимальных параметров применения методики восстановления голосовой функции у ларингэктомированных больных. В начале голосовых тренировок средняя частота основного тона составила 40±4,2 Гц, после окончания повысилась до 131±6,6 Гц, время максимальной фонации увеличилось с 0,1±0,14 до 1,8±0,12 сек., в группе здоровых лиц эти показатели составили 160±6,9 Гц и 17±1,2 сек. соответственно (p<0,05). 4. Применение разработанной методики восстановления голосовой функции у больных раком гортани применением метода биологической обратной связи на основе математического моделирования позволяет уменьшить удельный вес числа больных, признанных инвалидами по основному заболеванию, на 20%. Возвратить к трудовой деятельности 67% пациентов наиболее трудоспособного возраста, значительно улучшить социальную адаптацию и качество жизни. В рамках проводимых исследований по оценке качества речи в процессе реабилитации пациентов после оперативного лечения рака полости рта и ротоглотки первоначально была построена модель оценки качества речи. На основе этой модели выделены основные этапы оценки качества произнесения фонем. 1. Сегментация и выделение фонем – выделение интересующих нас фонем для оценивания качества произнесения. В настоящий момент осуществляется вручную. При автоматизации необходимо будет реализовать сегментацию слога на фонемы. Задача облегчается тем, что сами произносимые слоги, а, как следствие, и их полный фонетический состав, известны, нужно только проставить границы, задачи идентификации фонем нет, однако осложняется тем, что оценивается не нормальная речь, а речь пациента после операции, что приводит к изменению традиционных параметров фонем, используемых при сегментации. 2. Нормализация фонем. Разница по длительности в произнесении одинаковых фонем может составлять всего пару сотых миллисекунд (но может и больше), однако для системы эта разница будет ощутима и фонемы будут уже не сравниваемы в их первоначальном виде (как минимум из-за различной длины сравниваемых векторов). Интенсивность тоже должна быть одинаковой – иначе абсолютная разница между спектрами будет значительна. Для этого в системе должна быть предусмотрена нормализация, которая будет приводить все интересующие нас фонемы к одной длительности и интенсивности. Вариант с попарным приведением фонем ко времени более длинной из них двоих или к меньшей относительной интенсивности многократно увеличивает сложность алгоритма, что может существенно повлиять на время выполнения поставленной задачи в системе. Нормализация осуществляется путем линейного преобразования сжатия-растяжения с учетом вычисления недостающих дискрет звукового сигнала на основе линейной аппроксимации. 3. Подбор параметров. В настоящий момент проводится в полуавтоматическом режиме. Рассматриваются реализации фонемы до и после операции, находится спектр Фурье сигнала, далее сравниваются срезы, соответствующие одной и той же частоте и выбираются те значения частот и параметра расстояния Минковского, на которых эта разница становится наибольшей, с учетом сохранения стабильных значений для различных реализаций одной и той же фонемы в сигналах до операции. В настоящий момент нахождение этой разницы для различных частотных срезов автоматизировано, но сам рабочий спектральный диапазон и итоговое значение параметра метрики выбирает пользователь на основе сравнения матриц получаемых расстояний. Автоматизация принципиальных проблем не представляет, необходимо только разработать алгоритм подбора порога включения соответствующего частотного среза. 4. Нахождение среднего расстояния для эталонных фонем – на основе выбранных параметров осуществляется нахождение среднего расстояния между одинаковыми фонемами до операции. Данное расстояние служит, по сути, частью критерия правильности произнесения фонемы – порогом, к которому необходимо будет стремиться в процессе речевой реабилитации. 5. Нахождение средних расстояний для оцениваемой и эталонных фонем. Служит частью критерия правильности произнесения фонемы – чем данное расстояние ближе к найденному на этапе 4 – тем более качественно произнесена фонема. 6. Нахождение оценок качества для оцениваемых фонем. В простейшем случае, оценка может быть построена как отношение значений, полученных на этапах 4 и 5. Однако, возможны и другие варианты, основывающиеся на индивидуальном сравнении фонем. В настоящий момент блок реализован в виде критерия, использующего отношение средних реализован и протестирован, однако, параллельно были найдены еще несколько потенциально эффективных вариантов формирования итогового критерия, основывающиеся, например, на размере перекрытия множеств значений расстояний из шагов 4 и 5. Кроме того, необходимо было составить список проблемных фонем, подлежащих исследованию. Выявление наиболее подверженных изменениям фонем происходило следующим образом. На первом этапе выделялись буквы, наиболее часто соответствующие фонемам, произнесенным с ошибкой. Анализ проводился по методике, основанная на применении для оценки качества речи методов оценки качества каналов передачи голосовой информации, взятые из ГОСТ Р 50840-95 Передача речи по трактам связи. Методы оценки качества, разборчивости и узнаваемости, переориентированные на оценку качества работы речеоборазующего тракта. В рамках работы используется реализованное для этой цели программное обеспечение «Разборчивость речи» . Использование именно букв, а не фонем, связано с тем, что, если при работе с пациентом предлагать ему фонемную запись слова, но это позволило бы снять проблемы, связанные с вариативностью прочтения слогов, однако не все пациенты смогли бы корректно прочитать такую форму записи. Как вариант по результатам тестовой эксплуатации предлагается дублировать записанный слог его звукозаписью (однозначно определяющей его фонемный состав), что может с одной стороны несколько затруднить процесс работы с пациентом, но позволит избежать ошибок при чтении (за счет получения информации сразу по двум каналам – визуальному и акустическому), кроме того позволит при обработке использовать именно фонемную запись, что позволит сразу выявлять именно проблемные фонем. Однако, данный подход был предложен уже после начала исследования и его внедрение планируется уже на следующей стадии, поскольку требует модификации существующего программного обеспечения, а по итогам проводимого исследования в рамках следующего года предполагается кардинальная его переработка. Здесь же сравнения осуществлялись сперва именно по буквам. Далее в распознанных слогах проводился подсчет количества букв, соответствующих неправильно произнесенным фонемам. Проводилось ранжирование таких букв в рамках одного сеанса работы с одним пациентом. Следующим шагом проводилось усреднение рангов по числу сеансов и повторное ранжирование средних значений. По итогам этой процедуры буквы, которым соответствуют фонемы, наиболее редко подверженные изменению, получат минимальный ранг, наиболее часто – максимальный. В результате этого составлен список фонем, наиболее подверженных изменению при оперативном лечении рака языка - это фонемы, соответствующие русским буквам р, т, с, ф, ш, к, кроме того, установлено, что модификации подвергается признак мягкости, что согласуется с более ранними классическими данными. В качестве количественных признаков предложено использовать расстояние между нормированными разновидностями спектральных характеристик до операции и в процессе реабилитации. Использованы такие характеристики, как спектр Фурье, мел-кепстральные коэффициенты, автокорреляционная функция и коэффициенты линейного предсказания. Показано, что несмотря на наличие частотных областей, где различия наиболее выражены, использование полного частотного диапазона представляется более перспективным. Показана эффективность применения расстояния Минковского в качестве меры различия между спектрами, предложена и реализована методика подбора значения параметра расстояния Минковского, обеспечивающего наибольшее различие между получаемыми параметрами, характеризующими качество речи до и после операции. Кроме того, выявлено, что в рамках данной методики необходима нормировка сигнала по времени и по интенсивности. Сделано предположение о большей эффективности корреляционного критерия, поскольку не требуется нормировка по интенсивности, которое в настоящее время находится на стадии проверки. На основе сформированных параметров на начальной стадии предложено применение интегрированного критерия, построенного как сумма отношений показателей различия после и до операции, нормированная по количеству используемых параметров. Такой критерий позволяет учитывать особенности каждой из характеристик, однако основывается на предположении об их равноправии. На основе этого предполагается дальнейшее исследование и возможная модификация предложенного критерия, хотя на данном этапе он позволяет решить поставленную задачу оценки качества произнесения слогов. Подводя итоги, можно сделать заключение, что по итогам этапа сформирован объективный количественный критерий, позволяющий оценивать качество произнесения слогов, что позволяет проводить оценку качества речи. Предложена методика расчета этого критерия, которая может быть реализована в автоматическом режиме, реализованы основные этапы этой методики.

Аннотация результатов, полученных в 2017 году
В рамках работы над проектом за отчетный период все достигнутые результаты затрагивают три направления деятельности: исследования и реализации алгоритмов и методов оценки качества произношения, разработка программного комплекса для оценки качества речи и разработка методики реабилитации с использованием разрабатываемого программного комплекса. Выполненные работы соответствуют заявленным научным результатам и представлены в научных публикациях различного уровня. 1. Исследования и реализации алгоритмов и методов оценки качества произношения слогов. После получения количественных оценок в предшествующих исследованиях встал вопрос об исследовании связей между полученными оценками для разработки комбинированного критерия, который наилучшим образом будет отображать разницу между слогами. Проведена оценка получаемых составных компонентов критерия – расстояния Минковского на основе спектра Фурье, автокорреляционного спектра, мел-кепстрального представления спектра, корреляции между ними, корреляции между нормированными осциллограммами. По итогам исследования коэффициенты ранговой корреляции компонентов оказались статистически неотличимыми от 1 при уровне значимости 0,95, из чего следует, что результаты согласуются друг с другом. Объединение нескольких критериев на основе среднего геометрического привело к аналогичному статистически неотличимому результату, а соответственно не представляется рациональным. На основании этого по итогам данного этапа для оценки качества произношения будет использоваться корреляционный критерий между нормированными по времени сигналами как наиболее быстрый и позволяющий достичь режима реального времени, использующий значения нормированных по времени интенсивностей спектров Фурье до и после операции. Также преимуществом критерия является отсутствие необходимости нормализации звука по интенсивности. Значение корреляционного критерия может быть рассчитано как между отдельными фонемами, так и целыми слогами. Чем ближе значение этого критерия к 1, тем ближе сигнал после операции к эталонному предоперационному сигналу. Для решения задачи автоматизации сегментации слога на фонемы был рассмотрен подход на основе корреляции. Для сегментации было принято решение о построении корреляционной матрицы по всей длине произносимого слога и поиске участков резкого изменения значений коэффициента корреляции по всей длине среза. Данный подход показал следующие результаты: 1.Не зафиксировано пропусков границ между слогами. Это обусловлено структурой слогов, отобранных в базу данных, невозможности наличия двух идущих подряд гласных. 2.При проведении прямой сегментации с порогом были зафиксированы лишние сегменты, в частности, разделяющие взрывные звуки на два сегмента – паузу перед взрывом и непосредственно взрыв. Данная особенность устраняется наличием информации о положении взрывной фонемы и общем количестве фонем. 3.Существенный недостаток подхода – крайне низкая скорость и невозможность его применения в режиме реального времени. Для повышения значимости получаемых оценок и их различимости было принято решение о добавлении алгоритма временной нормировки сигнала. Для этого было предложено и исследовано два подхода: на основе корреляции и применение алгоритма динамической трансформации временной шкалы – DTW. Первый подход к нормализации по времени был основан на максимизации корреляции между отдельными фрагментами сигналов. Этот алгоритм можно представить в виде пошаговой последовательности следующим образом: 1) Приведение первого сигнала к эталонной длине t (в процессе реализации t=1 секунда) . 2) Выбор количества подынтервалов для нормализации – n (n=10). 3) Поиск конца для i-го интервала второго сигнала, обеспечивая максимальную корреляцию с i-м фиксированным интервалом первого сигнала. 4) Приведение найденного i-го интервала к длине i-го поддиапазона первого сигнала и добавление его к концу итогового нормализованного второго сигнала. 5) Повторить шаги 3 и 4 для i = 1..n-1. 6) Приведение последнего оставшегося n-го интервала к длине n-го интервала первого сигнала, добавление его к концу итогового нормализованного второго сигнала. В настоящий момент указанные значения позволяют получить значения критериев качества произношения, хотя и не являются оптимальными по точности нормализации. Такой подход имеет два недостатка: сравнительно низкая скорость работы, неприменимая для режима реального времени, и несимметричность (результаты нормировки сигнала 1 по сигналу 2 и наоборот будут различаться). Второй подход основан на алгоритме динамической трансформации временной шкалы (dynamic time warping – DTW). Суть подхода – нахождения оптимального пути между двумя числовыми последовательностями, которые в контексте решаемой задачи представлены последовательностями значений амплитуд звуковых файлов. Применение DTW решает задачу оценки качества в режиме реального времени (благодаря линейной сложности модифицированного алгоритма) и получаемые результаты согласуются с ожидаемыми, однако в некоторых случаях требует предварительных преобразований последовательностей (фильтрации, сглаживания). Поиск оптимального набора преобразований для применения DTW может стать задаче для дальнейших исследований. 2. Разработка программного комплекса для оценки качества речи Был реализован прототип программного комплекса по оценке качества речи. Реализация проводилась с учетом всех модификаций предыдущей версии программного комплекса, однако создавалась с чистого листа. Это связано с использованием технологии потоковой записи и обработки речевых сигналов, необходимой для получения оценки качества произнесения в режиме, близком к режиму реального времени. В программном комплексе сохранена возможность простановки экспертных оценок и добавлено получение количественных, более объективных, с минимальным участием логопеда в процессе записи и оценки. На главной форме приложения «Разборчивость речи» представлена краткая информация по каждому пациенту: ФИО, год рождения, диагноз и логопедический диагноз, а также информация о проведённом лечении. На форме «Сеансы» предоставляется возможность просмотра, выбора, редактирования и удаления существующих сеансов пациента, а также добавление новых сеансов. Для каждого сеанса выставление оценки может быть осуществлено либо вручную, на основе правильности распознавания произнесенного слога аудитором-логопедом, либо на основе меры различия по сравнению с записями пациента до операции. Сравнение в настоящий момент осуществляется на основе подсчета DTW-расстояния согласно DTW. Для упрощения процедуры записи слогов во время сеанса пациентов, в программе используется алгоритм обнаружения голосовой активности (VAD). Его применение заключается в автоматизации процесса записи. Вместо постоянных нажатий кнопок «Начать» - и – «Закончить запись», пациент, в идеале, нажимает на каждую из них только один раз. После нажатия кнопки начала записи запускается алгоритм детектирования голосовой активности (VAD). Данный алгоритм производит анализ записываемого потока информации, произносимой пациентом. Если пациент молчит, запись не производится, если же VAD улавливает акустическую активность, начинается запись аудиофайла. Когда уровень звука падает до уровня тишины, запись прекращается, записанный аудиофайл сохраняется, и на форме появляется новый слог, который необходимо произнести. После записи последнего слога необходимо закончить сеанс нажатием соответствующей кнопки. Также была осуществлена модификация используемой методики. В рамках модификации было реализовано представление информации пациенту информации одновременно в трех видах по двум каналам взаимодействия. При этом по традиционному визуальному каналу в дополнение к существующей классической записи слога была добавлена его транскрипция. Однако возникла проблема прочтения транскрипции как таковой, поскольку далеко не все пациенты обладают навыком прочтения транскрипционной нотации. Поэтому было принято решение об использовании дополнительного аудиального канала для предоставления записи. При записи пациент помимо упомянутых выше способов представления по визуальному каналу получает дополнительный сигнал посредством воспроизведения записи в наушниках гарнитуры, которая используется в процессе работы с комплексом. В комплексе с визуальным каналом это позволило снизить количество ошибок при вводе до минимума. 3. Разработка методики реабилитации Разработана методика речевой реабилитации, использующая получаемые с помощью программного комплекса и биологическую обратною связь - БОС. Предлагается следующая схема реабилитации: 1) Запись двух сеансов слоговой разборчивости согласно выбранному списку слогов до операции – эталонные сеансы, подсчет количественных оценок качества произношения каждого слога, средней оценки сеанса, оценок качества произношения фонем. Подсчитанные оценки на сеансах до операции – уровень качества произношения, которого предполагается достигнуть за время речевой реабилитации – эталонный уровень. 2) Проведение записи сеанса слоговой разборчивости сразу после операции, подсчет оценки сеанса на основе сравнения его с эталонными сеансами и подсчет среднего. Если текущий уровень совпадает с эталонным уровнем, то нет необходимости в проведении речевой реабилитации. Если уровень ниже, то пациенту предлагается пройти речевую реабилитацию. На основе подсчитанных оценок качества произношения фонем можно выделить «проблемные» фонемы. 3) Тренировки речи. Они проводятся согласно плану, составленному специалистом-логопедом. 4) Запись сеанса слоговой разборчивости, сравнение с оценками предыдущего сеанса, вывод динамики восстановления речи. Этапы 3-4 повторяются до достижения цели речевой реабилитации – достижения эталонного уровня, либо до получения вывода о невозможности дальнейшего проведения речевой реабилитации. На основе динамики можно корректировать план по тренировке речи. Если по некоторым фонемам оценки стали ухудшаться относительно эталонного уровня, то предлагается скорректировать тренировку в сторону увеличения упражнений на проработку данных фонем, если же оценка фонемы достигла эталонного уровня, уменьшить количество упражнений. Совсем убирать упражнения на фонему не рекомендуется в виду необходимости в комплексности тренировок. Биологическую обратную связь предлагается использовать в этапе 4. При произношении слога в микрофон пациент на экране видит количественную оценку качества произношения, а также некоторое положительное подкрепление (положительную обратную связь), сигнализирующее о том, что слог произнесен качественнее по сравнению с предыдущим сеансом. По окончанию сеанса возможно построение динамики качества для каждой из проблемных фонем с наличием положительного подкрепления относительно тех фонем, для которых качество произношения улучшилось. При отсутствии положительной динамики предлагается использование отрицательной обратной связи, направленной на определение тех слогов или фонем, для которых качество улучшилось. По итогам проделанной работы подготовлены и отправлены на регистрацию в РосПатент 2 результата интеллектуальной деятельности (РИДа), а именно - база данных «Звукозаписи пациентов с заболеваниями органов речеобразующего тракта OnkoSpeechDB» и программы для ЭВМ «Speech Quality Assessment». Данные РИДы полностью основаны на полученных в рамках выполнения проекта результатах, а именно полученной базе данных звукозаписей пациентов для проведения исследования и первой версии прототипа разработанного программного комплекса по оценке качества речи при проведении речевой реабилитации после комбинированного лечения онкологических заболеваний органов полости рта и ротоглотки. Полученные результаты были представлены на одной из ведущих международных конференций по анализу речи 19th International Conference, SPECOM: International Conference on Speech and Computer 2017 (SPECOM 2017), Hatfield, UK, September 12-16, 2017, (доклад Correlation Normalization of Syllables and Comparative Evaluation of Pronunciation Quality in Speech Rehabilitation ), на крупной конференции Азиатского региона в области компьютерных технологий обработки информации The International Conference on Computational Sciences, Advanced Database and Computing (CSADC2017), Phuket, Thailand, October 11-12, 2017 (доклад Correlation criterion in assessment of speech quality in process of oncological patients rehabilitation after surgical treatment of the speech-producing tract был отмечен как лучший доклад на секции Intelligent Computing Techniques), на II Международной научной конференции по проблемам управления в технических системах (ПУТС-2017), 25 - 27 октября 2017 года в Санкт-Петербурге (Программное обеспечение для объективной оценки качества произнесения слогов при речевой реабилитации). Кроме того, для оценки не только чисто технических, но и медицинских аспектов работы был сделан доклад на III Петербургском международном онкологическом форуме «Белые ночи», 23.06.2017 - 25.06.2017, Россия, Санкт-Петербург.

Аннотация результатов, полученных в 2018 году
В рамках отчетного 2018 года были проделаны следующие основные работы: 1. Осуществлено внедрение разработанного прототипа программного комплекса по оценке качества произнесения слогов в НИИ онкологии Томского НИМЦ. Работающая версия прототипа, с учетом результатов прошлого года, установлена для выявления проблем в условиях реальной эксплуатации в Отделении опухолей головы и шеи в НИИ онкологии томского НИМЦ. Тестовая эксплуатация в реальном режиме и сбор сведений о ней начат в конце января 2018 года. 2. Проведена комплексная проверка всех ранее реализованных функций в рамках внедренного прототипа. По результатам внедрения собран набор отзывов, связанных с учетом результатов практической эксплуатации. В частности, отмечен высокий уровень практической применимости детектирования голосовой активности, реализованной в рамках прошлого года, который позволил после введения предварительной настройки, направленной на калибровку порогов на основе уровня шумовой обстановки в помещении добиться минимизации участия логопеда в процессе записи слогов для оценки качества произнесения слогов. Кроме того, в рамках внедренного прототипа был использован проверенный ранее алгоритм сегментации слога на фонемы. В рамках тестирования прототипа проведены записи пяти пациентов. Выявлены следующие недостатки: а) проблемы, связанные с работой модуля детектирования голосовой активности. При запаздывании срабатывания обрезается начало слога. В плане накопления материала не критично, т.к. имеется полная запись сеанса, но приводит к необходимости ручной работы в рамках корректировки границ. Проблема снята при доработке прототипа введением дополнительного буфера до и после слога размером 50 мс, полностью исключившим пропуск границ и не приводящим к захвату соседних слогов; б) кроме того, был дополнительно реализован режим пересчета параметров, сегментации на отдельные слоги и расчета качества произнесения качества на основе уже сделанных ранее записей, позволивший применять новые модификации алгоритмов к сделанным ранее записям слогов в рамках готового программного продукта. Без этого режима новые оценки сравнивались бы со старыми, полученными с предыдущими версиями алгоритмов, и были бы не сравнимы с ранее полученными оценками; в) отмечена крайняя медлительность алгоритма сегментации на основе корреляции. В рамках первой модификации работа алгоритма перенесена на постобработку после проведения всех записей, однако, поскольку такой подход исключает применение биологической обратной связи в рамках реабилитации, принято решение о замене алгоритма сегментации, несмотря на неплохие, с точки зрения качества сегментации в рамках решаемой за дачи, результаты. Предложенный к реализации алгоритм контекстно-зависимой сегментации позволил перейти к получению оценок в режиме реального времени и применим для решения следующих задач: - выделение границ гласной в слоге; - выделение согласной в начале слога при расположении гласной сразу после согласной; - выделение согласного в конце слога при расположении гласной перед согласной, однако при решении данной задачи необходимо учитывать отнесение паузы, предшествующей взрыву в рамках согласной к гласной фонеме. Учитывая что выделение гласной фонемы не представляет для нас практического интереса, можно сделать два заключения о применимости выбранного алгоритма сегментации: а) без проблем применим при положении проблемной фонемы в начале слога; б) может быть применим для полного разбиения трехфонемного слога на отдельные фонемы с учетом ошибки в отнесении паузы. Данная ошибки может быть легко исправлена за счет контроля уровня мгновенной энергии сигнала, однако использование только трехфонемных слогов автоматически исключает анализ коартикуляционных переходов в рамках сочетания согласная-согласная. На основе этого данный алгоритм был использован для выделения только проблемной фонемы в начале слога, для которой выполнялось требование работы в режиме реального времени и обеспечения итоговой точности 0,95 для определения соответствующей правой границы (проблемы при простановке границы начала сигнала в рамках данного типа фонем не возникло, все границы были определены). г) ряд недостатков, связанных с визуальным представлением материала (размер шрифта и т.п.), пожелания учтены при реализации программного обеспечения. 3. Проведена практическая апробация комплекса на предмет измерения длительности реабилитации. Эффективность применения методики восстановления речевой функции оценивалась по показателям акустической оценки звучной речи, и интегральному показателю качества жизни. Занятия по речевой реабилитации проводились 3-4 раза в день по 10-12 минут, но при этом учитывалось общее состояние пациента. Речевые тренировки проводились в сочетании согласных [К], [Г], [Т], [Д] и их мягких вариантов, [С], [Ш], [Ч] с гласной [А], затем переходят к гласным [О], [Э], [У], [И]. Оценка качества речи выполнялась с помощью программного комплекса Speech Quality для объективной оценки качества речи: до начала комбинированного лечения, после хирургического этапа комбинированного лечения в начале речевой реабилитации, после окончания речевой реабилитации. До начала лечения нарушение звукопроизношения составило 0,9, это объясняется тем, что опухоль занимала часть языка, с метастазами лимфоузлы шеи. До начала речевой реабилитации после хирургического этапа комбинированного лечения в объеме ½ языка и лимфодиссекции шеи справа отмечается выраженное нарушение речевой функции и составляет 0,466. После окончания курса восстановления звучной речи этот показатель составил 0,78 ( при норме 1.0). Предлагаемым способом было проведено восстановление речевой функции 23 пациентам, находившихся на стационарном лечении в НИИ онкологии Томского НИМЦ. Сроки проведения реабилитационных мероприятий в основной группе составили 4-5 недель, против 4 месяцев в контрольной группе. На основе этого был сделан вывод, по сути являющийся основным результатом проделанной работы: предложенная методика позволяет применить персонализированный подход при планировании тактики речевых тренировок, повысить эффективность восстановления речевой функции и сократить сроки речевой реабилитации. 4. Подготовлены и переданы для регистрации в РосПатент документы для регистрации ПО "Программный комплекс для проведения речевой реабилитации OnkoSpeech v1.0". Принципиальные отличия от зарегистрированного ранее программного комплекса по простой оценке качества речи: а) визуализация в режиме реального времени получаемых оценок качества произнесения, что используется в качестве простейшего подкрепления в рамках реализации обучения с коррекцией произношения на основе принципа биологической обратной связи. В качестве подкрепления используется визуализация в виде графика, что позволяет оценить лучше или хуже по сравнению с предыдущим произнесен текущий слог, что позволяет сделать выводы и пытаться воспроизвести лучшую реализацию. На основе этого можно уже говорить не о простой оценке с предъявлением результатов логопеду, а о именно процессе речевой реабилитации; б) применение автоматической сегментации в реальном времени для локализации проблемных фонем в начале слога. При остальных положениях фонем используется оценка качества по всему слогу целиком, что лучше, чем в предыдущей версии оценки, но еще не идеал, т.к. возможен учет отдельно остальных позиций проблемной фонем при условии качественной и безошибочной ее локализации. 5. Подготовлены и переданы на регистрацию в РосПатент документы на регистрацию заявки на изобретение "Способ восстановления речевой функции у больных раком полости рта и ротоглотки после органосохраняющих операций". Основные элементы заявленной в рамках патента научной новизны: Впервые разработана методика восстановления речевой функции у больных раком полости рта и ротоглотки после органосохраняющих операций, заключающаяся в проведении рациональной психотерапии; дыхательной гимнастики; артикуляционной гимнастики для мимической мускулатуры, губ и нижней челюсти; артикуляционной гимнастики для культи языка, коррекции звукопроизношения на основе использования Программного комплекса Speech Quality Assestment (Свидетельство о государственной регистрации программ ЭВМ №2018613005 от 09.01. 2018 г.). Разработанная программа установлена на базе НИИ онкологии Томского НИМЦ в отделении опухолей головы и шеи. Объективная оценки речи у онкологических больных позволяет применять персонализированный подход при планировании тактики речевых тренировок, оценивать качество произношения слогов и фраз, работать с базой данных записей сеансов речевой реабилитации пациентов по показателям спектрального анализа нарушений звукопроизношения. В настоящее время в рамках методики программный комплекс Speech Quality Assestment заменен на более актуальную с точки зрения речевой реабилитации версию OnkoSpeech v1.0. 6. На практике показана ошибочность предположения о наличии выигрыша при применении ларингофона по сравнению с обычным микрофоном. 7. В рамках накопления информации в виде записей слогов пациентов до операции/до реабилитации и в ее процессе дополнена база данных "Звукозаписи пациентов с заболеваниями органов речеобразующего тракта OnkoSpeechDB". На момент написания отчета в базе данных содержатся сведения о 96 пациентах, из них 43 имеют записи как до проведения операции, так и в процессе проведения речевой реабилитации. Значительно меньшее количество пациентов второй группы объясняется тем, что далеко не все пациенты, которым выполнено хирургическое лечение, остаются для прохождения речевой реабилитации в отделении. 8.Сформулированы направления для дальнейшей доработки программного для его использования с точки зрения тренажера: а) более наглядное представление данных для пациента по сравнению с графиком. Пациенту сложно понять количественные значения на графике, более наглядным является индикация на уровне выше/ниже порога, хуже/лучше чем в первый раз, и предлагается представлять их в виде постепенно появляющейся в случае успеха картинки (по аналогии с голосовой реабилитацией); б) возможность произнесения не только последовательности слогов в рамках таблицы, но и последовательного повторения одного слога в рамках тренировки. 9. Апробирован подход оценке качества произнесения через процесс распознавания. Сам общий подход к такой оценке принципиально новым не является, однако его непосредственная реализация в виде, пригодном для использования на практике, особенно с учетом новых методов обработки больших массивов данных, не существовала. Соответственно, была реализована и экспериментально апробирована концепция к подходу оценки качества произнесения слогов через их распознание. Экспериментально подтверждена применимость такого подхода на уровне ранжирования получаемых оценок при помощи базового экспертного метода и исследуемого подхода. По сути, данный подход является прямым переложением экспертной методики с учетом использования вычислительной системы в качестве эксперта(ов). Дальнейшее исследование практического применения такого подхода для решения задачи оценивания качества произнесения в рамках речевой реабилитации, выделение принципов формирования обучающей базы данных и выделения параметров из нее является новым перспективным направлением проведения дополнительных научных исследований на стыке медицины и информационных технологий.