Аннотация результатов, полученных в 2019 году
Проведена оценка применимости подхода «Оценка качества через распознавание» с учетом существующих средств распознавания. В рамках нее были сравнены системы распознавания от Google, Yandex и Центра речевых технологий. По итогам сравнения для оценки словесной и фразовой разборчивости для задачи использования в рамках комплекса для проведения речевой реабилитации была выбрана система от Google. Данная система позволила достигнуть фразовой разборчивости 0,50 до проведения операции, 0,26 до начала речевой реабилитации и 0,36 после ее прохождения. Аналогичные оценки для словесной разборчивости составили 0,77, 0,42 и 0,59. Видно, что качество речи значительно снижается при проведении операции и частично восстанавливается при прохождении речевой реабилитации. Показана статистическая значимость этих различий, что подтверждает во-первых возможность использования данного средства для получения количественных оценок качества речи, во-вторых эффективность процедуры речевой реабилитации и значимость различий качества речи до и после ее прохождения. Результаты представлены на международной конференции Specom-2019 и в публикации Evgeny Kostuchenko , Dariya Novokhrestova , Marina Tirskaya , Alexander Shelupanov, Mikhail Nemirovich-Danchenko, Evgeny Choynzonov, Lidiya Balatskaya The Evaluation Process Automation of Phrase and Word Intelligibility Using Speech Recognition Systems Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) (2019 г.) (входит во второй квартиль Scopus) К сожалению, для оценки слоговой разборчивости данный подход в аналогичном виде применен быть не может, поскольку указанные системы распознавания являются контекстными и работают со словарями, в которых отсутствуют используемые слоги, а сама система подбирает наиболее близкое слово из словаря. Поэтому была предпринята попытка использования сверточной нейронной сети для распознавания отдельных фонем с последующим их объединением в слог. Попытка полного распознавания на имеющемся акустическом материале оказалась не успешной по причине необходимости значительно большего объема обучающей выборки для эффективной работы алгоритмов глубокого обучения с учетом значительного количества выходных классов (23 при тестировании). По этой причине было принято решение о сокращении количества выходных классов за счет выделения именно проблемных фонем. Полученные результаты позволили находить проблемные фонемы на основе примененного алгоритма сегментации и получать оценку качества их произнесения. Результаты представлены на международной конференции Specom-2019 и в публикациях Evgeny Kostuchenko, Dariya Novokhrestova, Svetlana Pekarskikh, Alexander Shelupanov, Mikhail NemirovichDanchenko, Evgeny Choynzonov, Lidiya Balatskaya Assessment of syllable intelligibility based on convolutional neural networks for speech rehabilitation after speech organs surgical interventions Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) (2019 г.) (входит во второй квартиль Scopus) и Svetlana Pekarskikh,Evgeny Kostyuchenko, Lidiya Balatskaya Evaluation of Speech Quality Through Recognition and Classification of Phonemes Symmetry (2019 г.) (входит во первый квартиль Scopus и второй квартиль Web of Science) Разработан и реализован алгоритм выбора минимального количества слогов для формирования набора для получения оценок слоговой разборчивости с учетом индивидуальных особенностей пациента на основе пожеланий логопеда. Работа представлена на пленарном докладе на III международной конференции по инженерной и прикладной лингвистике в РГПУ им. А.И. Герцена САНКТ-ПЕТЕРБУРГ, РОССИЯ, 27 ноября 2019 г. Ведется эксплуатация разработанного программного комплекса по оценке качества речи OnkoSpeech на базе НИИ онкологии Томского НИМЦ, что позволяет с одной стороны повышать эффективность проведения речевой реабилитации за счет использования объективных количественных оценок качества речи, с другой стороны позволяет расширять используемый в исследованиях набор речевых данных от пациентов, проходящих речевую реабилитацию.

Аннотация результатов, полученных в 2020 году
В рамках года проделаны следующие основные работы и получены результаты: 1. Разработана третья версия программного обеспечения OnkoSpeech. Основные принципиальные отличия от предыдущих версий: - Использование открытой библиотеки Kaldi вместо решения от Google. Это позволило: 1. Отказаться от использования коммерческого решения в пользу открытой бесплатной библиотеки 2. Исключить влияние мирового новостного контекста на результаты распознавания 3. Исключение влияния повторного распознавания фраз и адаптации к их распознаванию для получения постоянных объективных оценок качества речи 4. Полное исключение теоретического влияния внешних неконтролируемых факторов - Внедрено использование познаковых отличий (приближенный аналог фонемной разборчивости, но по буквам) и расчет метрики качества на основе расстояния Левенштейна 2. Реализован речевой корпус, представляющий собой структурированную базу данных собранных звукозаписей и их описания, который станет первым в мире речевым корпусом с записями пациентов, проходящих речевую реабилитацию с информацией о характере и объеме проведенной операции, и содержащий звукозаписи до операции, до, в ходе и после прохождения речевой реабилитации. По сравнению с предыдущей версией в базу данных внесены поля, относящиеся к знаковый различиям на основании расстояния Левенштейна при работе с фразовой разборчивостью. Дополнительно введены поля, связанные с оценкой качества речи на основе изменений при распознавании отдельных знаков с использованием метрики расстояния Левенштейна, что позволяет выделить список наиболее подверженных изменению элементарных речевых единиц при использовании механизма оценки фразовой разборчивости, без отдельного непосредственного самостоятельного анализа произносимых фонем (этот этап интегрирован в использованную библиотеку). База данных отправится на регистрацию после 3 сеансов записи в НИИ онкологии в реальных условиях на модифицированной версии программного обеспечения для гарантии их совместимости и отсутствии необходимости дополнительной модификации структуры базы данных. 3. Разработан принципиально новый подход к оценке разборчивости через решение задач распознавания диктора. Данный подход открывает направление для новых в мировом масштабе исследований в области разборчивости речи. Проведенные предварительные исследования показали следующее: исследованы методы распознавания пользователей к наборам до, после операции и в процессе реабилитации для решения их задачи разбиения на данные классы. Метрика принадлежности к классу "до операции" по сути выступает в качестве оценки качества речи на основа диапазона [0; 1] для большинства методов классификации. При этом, предложенный подход является общим и не регламентирует математический аппарат, используемый при проведении классификации, при проведении исследования для этой цели использовалась верификация диктора на основе глубокого обучения нейронных сетей. Примеры полученных оценок в процессе реабилитации показано в нижеприведенной таблице, при необходимости выполняется нормировка по показателю до операции с целью. приведения в диапазон [0,1]. Speaker id Session id Average log-likelihood Standard deviation Diff. between first evaluation Spk82 29.09.2017 -22.309 11.11 Spk82 24.10.2017 -16.958 9.34 5.351 На примере видно снижение схожести (метрика правдоподобия) для первого сеанса (сразу после операции) и ее рост в процессе реабилитации для второго сеанса. Аналогичная тенденция присутствует для большинства дикторов. Присутствует статистически значимая корреляция между ранее разработананными методами оценки разборчивости и предлагаемым подходом. Однако, для некоторых сеансов и пользователей (в частности, пользователи 37, 48 и 56) нарушается общая тенденция роста метрики качество от точки после операции в сторону точки до операции в процессе реабилитации, что противоречит результатам измерения разборчивости другими методами. В настоящий момент времени ведется исследование с различными методами распознавания диктора для устранения данного эффекта или выявления его природы. Сделано 6 докладов на международных конференциях: 1) Балацкая Л.Н., Восстановление речевой функции у больных раком полости рта и ротоглотки с использованием инновационных технологий, Съезда онкологов и радиологов стран СНГ и Евразии, 23-25 апреля 2020 Казань, Россия (устное выступление) 2) Кульбакин Д.Е. Реконструктивно-пластические операции при резекциях языка у больных онкологического профиля, Съезда онкологов и радиологов стран СНГ и Евразии, 23-25 апреля 2020 Казань, Россия (устное выступление) 3) Кульбакин Д.Е. Способ трахеоглоточного шунтирования как метод голосовой реабилитации у больных местно-распространенным раком гортани и гортаноглотки, Съезда онкологов и радиологов стран СНГ и Евразии, 23-25 апреля 2020 Казань, Россия (устное выступление) 4) Кульбакин Д.Е. Возможности реконструктивного этапа в комбинированном лечении больных злокачественными опухолями полости рта, Съезда онкологов и радиологов стран СНГ и Евразии, 23-25 апреля 2020 Казань, Россия (устное выступление) 5) Рахманенко И.А. Score Normalization of X-Vector Speaker Verification System for Short-Duration Speaker Verification Challenge, 22ND INTERNATIONAL CONFERENCE ON SPEECH AND COMPUTER SPECOM 2020 OCTOBER 7-9, 2020, ST. PETERSBURG, RUSSIA (устное выступление) 6) Харченко С.С. Comparison of recognition using Google and Kaldi to solve the problem of assessing intelligibility, II Всероссийская научная конференция (с приглашением зарубежных ученых) «Фундаментальные проблемы информационной безопасности в условиях цифровой трансформации», Ставрополь, Россия, 30.11.2020 (устное выступление)