Разработка междисциплинарного подхода к диагностике и коррекции нарушений эмоциональной сферы детей с использованием методов искусственного интеллекта: кросс-культурное исследование

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 22-45-02007

НазваниеРазработка междисциплинарного подхода к диагностике и коррекции нарушений эмоциональной сферы детей с использованием методов искусственного интеллекта: кросс-культурное исследование

Руководитель Ляксо Елена Евгеньевна, Доктор биологических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет" , г Санкт-Петербург

Конкурс №63 - Конкурс 2021 года «Проведение фундаментальных научных исследований и поисковых научных исследований международными научными коллективами» (DST)

Область знания, основной код классификатора 05 - Фундаментальные исследования для медицины; 05-304 - Информационные технологии в здравоохранении

Ключевые слова ребенок, эмоциональное состояние, проявление эмоций, диагностика эмоциональных нарушений, атипичное развитие, методический подход, автоматическое распознавание речи и лицевой экспрессии, искусственный интеллект, русский язык, тамильский язык

Код ГРНТИ76.01.37

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Проект направлен на решение фундаментальной проблемы становления эмоций в онтогенезе, их отражения в поведении человека и распознавания. Целью кросс-культурного исследования является разработка междисциплинарного подхода для изучения, диагностики и коррекции нарушения эмоциональной сферы детей с использованием физиологических, психофизиологических, психологических методик и методов искусственного интеллекта. Новизна заключается в разработке комплексного стандартизированного подхода к анализу и диагностике нарушений эмоциональной сферы детей, адаптированного с учетом языковых и культурных особенностей страны проживания ребенка, возраста ребенка, типа его нарушений развития и психоневрологического статуса. Предметом изучения будут являться эмоциональные состояния и их проявления в характеристиках голоса, речи, лицевой экспрессии, поведении детей и особенности восприятия эмоций детьми. Участниками будут 500 детей: по 250 русскоязычных и 250 индийских типично развивающихся детей и детей с нарушением развития. Диапазон проявлений эмоциональных состояний у детей с атипичным развитием и нарушениями развития может быть ограниченным, вследствие заболевания, атипичным, редуцированным, инверсированным, не соответствовать возрасту. Использование стандартизированного подхода к оценке и диагностике нарушений эмоциональной сферы детей, основанного на объективных качественных и количественных данных, может быть применено в клинической, дефектологической и педагогической практике. Теоретической значимостью исследования является выявление культурных особенностей становления эмоциональной сферы детей и отражения эмоциональных состояний в характеристиках речи, голоса, мимической экспрессии детей на материале двух разных языковых семей - индоевропейских (славянская группа) и дравидийских языков (тамильская группа) и двух разных культур – Русской и Индийской. Исследование будет реализовано в двух направлениях: 1. Проведение исследований по разработке комплексного подхода для диагностики нарушений эмоциональной сферы у детей с типичным развитием и нарушениями развития. 2. Использование методов искусственного интеллекта - автоматическая классификация эмоциональной речи и мимической экспрессии детей с учетом их психоневрологического статуса. Для создания методического подхода к оценке сформированности и диагностики нарушений эмоциональной сферы детей будет осуществлен подбор тестов, методик и опросников, двухстороннее согласование их использования, апробация и стандартизация подхода. Новым будет являться применение разных алгоритмов автоматической оценки эмоциональных состояний детей по характеристикам речи, которые ранее использовались при анализе конкретного языка, что позволит определить их универсальность и специфичность, и разработать на их основе новый подход к анализу детской эмоциональной речи. Для классификации эмоциональных состояний по характеристикам голоса и речи детей будут использованы системы автоматического распознавания на основе извлечения набора акустических признаков (Geneva Minimalistic Acoustic Parameter Set, GeMAPS) с классификатором на основе машины опорных векторов (Support Vector Machine, SVM) – схема GeMAPS-SVM; на основе извлечения акустических признаков в виде мел-частотных кепстральных коэффициентов (Mel-Frequency Cepstral Coefficient, MFCC), построения на них статистических моделей в виде смесей гауссовых распределений (Gaussian Mixture Model, GMM) и классификации с использованием оценки максимального правдоподобия (Maximum Likelihood Estimator, MLE) - схема MFCC-GMM-MLE; на основе рекуррентной нейронной сети (Recurrent Neural Networks, RNN), сети с длинной кратковременной памятью (Long-Term Short-Term Memory, LSTM) и их комбинаций – схемы глубокой нейронной сети (Deep Neural Network, DNN). Результаты классификации будут оцениваться с использованием метрик точности и невзвешенного среднего отклика (Unweighted Average Recall, UAR), который использовался в качестве меры эффективности в конкурсах INTERSPEECH Emotion Challenge. Для классификации эмоциональных состояний по изображению лица будут использованы системы на основе глубоких нейронных сетей различной архитектуры, таких как сверточные нейронные сети и рекуррентные нейронные сети. С целью расширения обучающих наборов данных и для увеличения точности распознавания лиц путем фронтализации нефронтального изображения с сохранением информации об идентичности и выражении лица, будет использован новый подход (Zeno et al, 2021), основанный на генеративных состязательных сетях. Применение такого подхода является необходимым условием для оценки мимической экспрессии детей с атипичным развитием, из-за невозможности ими сохранять статичное положение головы. Кросс-культурное и кросс-корпусное распознавание эмоций типично развивающихся детей и детей с атипичным развитием представляет собой новое научное направление исследований, имеющее широкий спектр применения – от клинической практики до мультимедийных обучающих систем. Будут получены новые данные о распознавании эмоциональной речи и мимики ребенка. Получены данные о сходстве и различии эмоциональной сферы Русских и Индийских детей, особенностей восприятия и выражения разных эмоциональных состояний. Будут выявлены сходства и различия информативных признаков речи для эмоциональной речи на двух языках, определены общие и специфические признаки, позволяющие правильно распознавать эмоции детей по их лицевой экспрессии. Будет осуществлено сравнение данных перцептивного эксперимента и машинного распознавания эмоций в речи, мимике и невербальном поведении детей с учетом их диагноза, возраста, пола и языка. Предлагаемый проект будет первым в своем роде, который объединит специалистов из разных областей, что позволит получить новые данные на основе сложных междисциплинарных знаний. Это позволит разработать новые фундаментальные подходы к реабилитации и обучению детей с отклонениями в развитии.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Матвеев Ю.Н., Матвеев А.Ю., Фролова О.В., Ляксо Е.Е., Рубан Н. Automatic speech emotion recognition of younger school age children Mathematics, Vol. 10, Issue 14, 2373 (год публикации - 2022)
10.3390/math10142373

2. Григорьев А.С., Куражова А.В., Клешнев Ю.А., Николаев А.С., Фролова О.В., Ляксо Е.Е. An electroglottographic method for assessing the emotional state of the speaker Lecture Notes in Computer Science / Lecture Notes in Artiﬁcial Intelligence, LNAI, vol. 13721, pp. 214-225 (год публикации - 2022)
10.1007/978-3-031-20980-2_19

3. Ляксо Е.Е., Фролова О.В., Матвеев А.Ю., Матвеев Ю.Н., Григорьев А.С., Махныткина О.В., Рубан Н. Recognition of the emotional state of children with Down syndrome by video, audio and text modalities: Human and automatic Lecture Notes in Computer Science / Lecture Notes in Artiﬁcial Intelligence, LNAI, vol. 13721, pp. 438-450 (год публикации - 2022)
10.1007/978-3-031-20980-2_38

4. Ляксо Е.Е., Фролова О.В., Рубан Н., Мекала А.М., Джозеф Радж А.Н., Матвеев А.Ю., Матвеев Ю.Н. CNN based emotion detection in cross linguistic children speech Proceedings of the 24th International Congress on Acoustics ICA-2022, ABS-0435, p. 8-15 (год публикации - 2022)

5. Ляксо Е.Е., Фролова О.В., Григорьев А.С., Филатова Ю.О., Махныткина О.В. Распознавание эмоциональных состояний детей с синдромом Дауна по мимической экспрессии: перцептивный и автоматический анализ динамических изображений Экспериментальная психология, Т. 15, №3, с. 140-158 (год публикации - 2022)
10.17759/exppsy.2022150310

6. Махныткина О.В., Фролова О.В., Ляксо Е.Е. Morphological and emotional features of the speech in children with typical development, autism spectrum disorders and Down syndrome Springer proceedings of Artificial Intelligence and Natural Language: 10th Conference, AINL 2022, AINL 2022. CCIS, vol. 1731, pp. 49–59 (год публикации - 2022)
10.1007/978-3-031-23372-2_5

7. Матвеев А.Ю., Матвеев Ю.Н., Фролова О.В., Николаев А.С., Ляксо Е.Е. A neural network architecture for children’s audio–visual emotion recognition Mathematics, Vol. 11, Issue 22, 4573 (год публикации - 2023)
10.3390/math11224573

8. Фролова О.В., Клешнев Е.А., Григорьев А.С., Филатова Ю.О., Ляксо Е.Е. Оценка эмоциональной сферы детей с типичным развитием и расстройствами аутистического спектра на основании междисциплинарного подхода Физиология человека, Т. 49, № 3, с. 13-22 (год публикации - 2023)
10.31857/S0131164622600884

9. Фролова О.В., Николаев А.С., Граве П.И., Ляксо Е.Е. Speech features of children with mild intellectual disabilities ICMI' 2023 Companion: Companion Publication of the 25th International Conference on Multimodal Interaction. ACM International Conference Proceeding Series, P. 406-413 (год публикации - 2023)
10.1145/3610661.3616236

10. Ляксо Е.Е., Фролова О.В., Николаев А.С., Клешнев Е.А., Граве П.И., Ильяс А., Махныткина О.В., Нерсиссон Рубан, Мекала А.М., Варалакшми М. Recognition of the emotional state of children by video and audio modalities by Indian and Russian experts Lecture Notes in Computer Science / Lecture Notes in Artiﬁcial Intelligence, LNAI, vol. 14338, pp 469-482 (год публикации - 2023)
10.1007/978-3-031-48309-7_38

11. Ляксо Е.Е., Фролова О.В., Николаев А.С., Гречаный С.В., Матвеев А.Ю., Матвеев Ю.Н., Махныткина О.В., Нерсиссон Рубан Emotional state of children with ASD and intellectual disabilities: Perceptual experiment and automatic recognition by video, audio and text modalities Lecture Notes in Computer Science / Lecture Notes in Artiﬁcial Intelligence, LNAI, vol. 14338, pp. 535-549 (год публикации - 2023)
10.1007/978-3-031-48309-7_43

12. Махныткина О.В., Фролова О.В., Ляксо Е.Е. Методы машинного обучения для анализа морфологических и лексических особенностей речи мальчиков с расстройствами аутистического спектра и синдромом Дауна Вестник Новосибирского государственного университета. Серия: История, филология, Том 23, № 2. С. 39-55. (год публикации - 2024)
10.25205/1818-7919-2024-23-2-39-55

13. Куражова А.В. Речь взрослых в разных эмоциональных состояниях: временные и спектральные характеристики Акустический журнал, Том 70, № 1, с. 104-112 (год публикации - 2024)
10.31857/S0320791924010124

14. Ляксо Е.Е., Фролова О.В., Клешнев Е.А.,Рубан Н., Мекала А.М., Арулалан К.В. Approbation of the Child's Emotional Development Method (CEDM) ICMI' 2021 Companion: Companion Publication of the 2021 International Conference on Multimodal Interaction. ACM International Conference Proceeding Series, P. 201-210 (год публикации - 2022)
10.1145/3536220.3563371

15. Матвеев Ю.Н., Ляксо Е.Е., Матвеев А.Ю., Фролова О.В., Григорьев А.С., Николаев А.С. Automatic classification of the emotional state of atypically developing children Proceedings of the 24th International Congress on Acoustics ICA-2022, ABS-0338, p.1-7 (год публикации - 2022)

16. Ляксо Е.Е., Фролова О.В., Матвеев А.Ю., Николаев А.С., Нерсиссон Рубан Assessment of children’s ability to manifest emotions in facial expressions, voice and speech by humans, automatic, and on a Likert scale Lecture Notes in Computer Science / Lecture Notes in Artiﬁcial Intelligence, LNAI, vol. 15299, pp. 281–294 (год публикации - 2025)
10.1007/978-3-031-77961-9_21

17. Ляксо Е.Е., Фролова О.В. Характеристики речи и эмоциональной сферы детей с расстройствами аутистического спектра Физиология человека (год публикации - 2025)

18. Николаев А.С. Recognition of the psychoneurological state of children with autism spectrum disorders based on speech signals: acoustic and perceptual characteristics Acoustical Physics, Vol. 70, pp. 586-591 (год публикации - 2024)
10.1134/S1063771024602085

19. Клешнев Е.А., Фролова О.В., Ляксо Е.Е. Peculiarities of the emotions manifestation in speech and facial expressions by 7–8 years old children Journal of Evolutionary Biochemistry and Physiology, Vol. 60, N 2, pp. 744-757 (год публикации - 2024)
10.1134/S0022093024020236

20. Фролова О.В., Матвеев А.Ю., Ляксо Е.Е., Кузнецова Т.Г., Голубева И.Ю. Emotion recognition by vocalizations of nonhuman primates: human and automatic classification Lecture Notes in Computer Science / Lecture Notes in Artiﬁcial Intelligence, LNAI, vol. 15300, pp. 85–94 (год публикации - 2025)
10.1007/978-3-031-78014-1_7

21. Матвеев Ю.Н., Матвеев А.Ю., Фролова О.В., Ляксо Е.Е., Нерсиссон Рубан Automatic speech emotion recognition of younger school age children Artificial Intelligence and Machine Learning Based Methods and Applications. MDPI, Basel, Switzerland, Vol. 10, 2373 (год публикации - 2024)
10.3390/books978-3-7258-1068-0

22. Мекала А. Мари, Варалакшми М. , Ачута Гоуда С.П. , Кумар Лети Маниш , Ляксо Е.Е., Фролова О.В., Нерсиссон Рубан Fused YOLO and Traditional Features for Emotion Recognition From Facial Images of Tamil and Russian Speaking Children: A Cross-Cultural Study IEEE Access , Vol. 13, pp. 86828-86840 (год публикации - 2025)
10.1109/ACCESS.2025.3569771

23. Клешнев Е.А., Ляксо Е.Е. Акустические и перцептивные характеристики эмоциональной речи подростков 12–14 лет с интеллектуальными нарушениями и типичным развитием: сравнительный анализ Акустический журнал, Том 71, № 4, с. 609-616 (год публикации - 2025)
10.31857/S0320791925040106

24. Ляксо Е.Е., Фролова О.В., Гречаный С.В., Филатова Ю.О., Куражова А.В., Николаев А.С., Клешнев Е.А. Методика оценки эмоционального развития детей (Child Emotion Development Method — CEDM) Методика оценки эмоционального развития детей (Child Emotion Development Method — CEDM). Санкт-Петербург: Издательско-полиграфическая ассоциация высших учебных заведений. , Санкт-Петербург. Издательско-полиграфическая ассоциация высших учебных заведений. 40 с. (год публикации - 2025)
10.52565/9785911553913

Публикации

Аннотация результатов, полученных в 2024 году
На третьем этапе работы проведено тестирование по методике CEDM (Child’s Emotional Development Method) 126 детей. Осуществлено тестирование 24 типично развивающихся (ТР) детей, 32 детей с расстройствами аутистического спектра (РАС), 23 детей с интеллектуальными нарушениями (ИН -16 детей F3 и 7 детей F70), 5 детей с синдромом Дауна (СД), 24 детей с речевыми нарушениями (ОНР- общим недоразвитием речи и заиканием). Дополнительно проведено тестирование 28 детей, воспитывающихся в условиях Детского дома (22 - ребенка с СД, 6 детей с ИН). Для всех детей (n = 447 – с учетом данных 1-2 этапов тестирования) получены балльные оценки по шкалам Блока 1 (опросники, заполняемые родителями; частично - воспитателями в доме ребенка) и по шкалам Блока 2 (тестовые задания): по шкале Отражение эмоций (ОЭ) и шкале Восприятие эмоций (ВЭ). Показано, что дети всех групп не различаются по баллам опросника «Гестация», дети с РАС и ИН F70 имеют худшие показатели развития по шкалам опросников «Развитие», «Поведение» «Эмоциональная сфера» по сравнению с ТР детьми и детьми с заиканием. Дети с ИН F83 и с СД имеют показатели развития худшие, чем ТР дети, дети с заиканием и ОНР, но лучшие, чем дети с РАС и ИН F70. Выявлены различия между ТР детьми, детьми с РАС, ИН (F83, F70), СД, речевыми нарушениями (ОНР и заиканием) по баллам за ОЭ и ВЭ. Дети с РАС и ИН F70 имеют значимо низкие баллы за тестовые задания по ОЭ и ВЭ, по сравнению с детьми других групп. Дети с заиканием имеют более высокие баллы и лучше выполняют задания по сравнению с детьми с ОНР. Для детей с РАС установлена связь между выраженностью аутистических расстройств и низкими баллами по шкале Лайкерта за выполнение тестовых заданий по ОЭ и ВЭ. Дети с высокими баллами CARS хуже выполняли задания ОЭ и ВЭ, их эмоциональные появления соответствовали младшему возрасту. Получен диапазон баллов для тестовых заданий по ОЭ и по ВЭ для детей всех групп для разного возраста: 5-7 лет, 8-11 лет, 12-14 лет, 15-16 лет. Показано, дети с РАС и ИН F70 имеют низкие баллы во все возрастные срезы по сравнению с данными для детей других групп, баллы линейно не меняются в зависимости от возраста детей. Эти данные указывают на специфические особенности эмоциональной сферы детей с атипичным развитием, что важно при уточнении диагноза, для коррекции нарушений, выбора образовательного маршрута для ребенка. Выявлена связь между физиологическими и психофизиологическими показателями детей и успешностью выполнения ими тестовых заданий. Сформированность фонематического слуха влияет на выполнение тестовых заданий ТР детьми, детьми с РАС, с ИН F83, с ОНР, заиканием и не влияет на балльные оценки детей с ИН F70. Только для детей с ИН F83 низкий уровень тревожности влияет на более высокие баллы за ОЭ и ВЭ. Получены балльные оценки за выполнение детьми, воспитывающимися в условиях детского дома, тестовых заданий по ОЭ и ВЭ. Выявлена связь между возрастом детей с ИН, сформированностью их фонематического слуха и баллами за тестовые задания по ОЭ и ВЭ. При тестировании детей с СД использована краткая версия методики CEDM_Sh, что обусловлено невозможностью выполнения детьми всех тестовых заданий. Дети с ИН и с СД, воспитывающиеся в условиях детского дома, хуже, чем дети, воспитывающиеся в условиях семьи, выполняли часть тестовых задани1. Разработано методическое пособие «МЕТОДИКА ОЦЕНКИ ЭМОЦИОНАЛЬНОГО РАЗВИТИЯ ДЕТЕЙ» (Child Emotion Development Method - CEDM). Таким образом, осуществлена стандартизация методического подхода CEDM для оценки сформированности и диагностики нарушений эмоциональной сферы детей с учетом возраста, нарушений развития разной этиологии, степени выраженности психоневрологических нарушений Создана база данных “CEDM” эмоциональной речи и мимики 447 детей. Общее время записей 447 х 60-120 мин. Данные из базы данных использованы в перцептивных исследованиях и для автоматической классификации эмоциональных состояний детей по мимической экспрессии и речи. Выполнена задача автоматического распознавания эмоций ТР детей, детей с РАС, ИН и СД по их речи и по мимической экспрессии (мономодальное распознавание) и проведен сравнительный анализ точности распознавания. Показано, что перцептивно по мимической экспрессии у детей РАС и ИН детей лучше распознается состояние радости, нейтральное и гнева, у детей с СД – состояние радости, нейтральное и печали. Автоматическая классификация эмоциональных состояний детей с РАС и ИН по лицевой экспрессии с помощью Сверточной нейронной сети выявила лучшие результаты для распознавания состояния радости и нейтрального состояния у ТР детей и детей с РАС и СД, чем для состояний печали и гнева, при лучшем распознавании печали у детей с ИН. Автоматический анализ речи с помощью Рекуррентной нейронной сети выявил более низкую производительность, чем анализ видео. По речи детей нейтральное состояние классифицировано автоматически лучше, чем другие состояния, для детей с РАС состояние радости и печали автоматически не классифицировалось, для детей с ИН - состояние гнева, для детей с СД – состояние печали. Данные по мультимодальному распознаванию (Аудио+Видео) эмоций детей с РАС и ИН показали улучшение результата по сравнению c мономодальным распознаванием (А и В) и улучшение точности распознавания при использовании разработанной модели (2023 г) по сравнению с базовой моделью. В перцептивных экспериментах по распознаванию эмоциональных состояний индийских детей показано, что индийские эксперты лучше распознают эмоциональное состояние по речи детей, чем по мимической экспрессии; русские эксперты - по мимике, чем по речи. Индийские эксперты лучше распознают эмоциональные состояния индийских детей, чем русские эксперты. Для автоматического распознавания эмоций модифицирована модель для анализа эмоциональных состояний детей по мимической экспрессии - YOLO V 5. Проведена классификация эмоциональных состояний русских и тамильских детей. По результатам работы подготовлено и опубликовано: 8 публикаций в изданиях, индексируемых в базах Scopus/Web of Science Core Collection; результаты доложены на 13 конференциях (6 - международных, 1 – с Международным участием, 6 – Всероссийских) в 21 докладе (2 – приглашенных, 15 – устных, 4 - постерных). Организована секция «Акустика речи, акустические проблемы лингвистики» XXXVI сессия Российского акустического общества 21-25 октября 2024 года, Москва; Принято участие в лектории РНФ (26.10.2024 СПбГУ) – прочитана лекция «Особенности речи и эмоциональной сферы детей с атипичным развитием: новые данные и перспективы практического использования»; Принято участие в конкурсе BRICS Solutions Awards в номинации «Biotechnology and National Health», проект « Interdisciplinary approach for the diagnosis and correction of the emotional sphere disorders of children using artificial intelligence methods: a cross-cultural study».

Публикации

Возможность практического использования результатов
Планируем, что результаты исследования найдут широкое применение в медицине, включая персонализированную медицину, и в клинической психологии. Опираясь на клинические диагностические критерии заболевания, используя методику для оценки эмоциональной сферы детей CEDM, врач получит дополненный диагностический инструментарий. Такой подход приведет к своевременной постановке диагноза, определению маршрута ведения пациента, разработке практических рекомендаций по обучению, что приведет к улучшению качества жизни пациента. Разработанный методический подход имеет широкую сферу применения не только в медицине, но и в образовательной сфере, позволяя более точно определить состояние и эмоциональные возможности ребенка, что необходимо для его успешного обучения.