КАРТОЧКА
ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер 20-78-10135
НазваниеАйтрекинг в иммерсивной виртуальной реальности: персонализация образовательных траекторий в химическом образовании
РуководительКурушкин Михаил Вячеславович, Кандидат химических наук
Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет ИТМО", г Санкт-Петербург
Период выполнения при поддержке РНФ | 07.2020 - 06.2022 |
Конкурс№50 - Конкурс 2020 года «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными.
Область знания, основной код классификатора 08 - Гуманитарные и социальные науки, 08-604 - Теория и методология инновационных процессов в образовании, экспериментальная и инновационная деятельность в образовании
Ключевые словаОтслеживание глаз, когнитивные способности, виртуальная реальность, химическое образование
Код ГРНТИ14.35.07
СтатусУспешно завершен
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
С 2018 года в Российской Федерации действует Национальная программа “Цифровая экономика Российской Федерации”, нацеленная на широкое использование сквозных технологий, в числе которых нейротехнологии, искусственный интеллект, а также технологии VR/AR.
С увеличением количества цифровых сервисов, с которыми обучающиеся взаимодействуют в рамках образовательной среды, усиливается и когнитивная нагрузка, что препятствует результативному освоению материала. Обеспечение всестороннего оценивания функционального состояния обучающегося, снижение напряжения, анализ уровня его навыков являются одними из основных факторов, которые в полной мере должны быть учтены при построении обучающей иммерсивной виртуальной среды.
Рассматривая количественную систему оценивания, принятую в современной российской школе, мы должны констатировать, что она не всегда выполняет свои основные функции: информационную, контролирующую, регулирующую. Иммерсионная образовательная среда, в свою очередь, обладает потенциально высокими возможностями для реализации информационно-контролирующе-регулирующей функции при минимальном отвлечении внимания обучающегося на оценочные проциседуры, обеспечивая комплексный подход к оценке результатов освоения программы и формированию образовательного маршрута с учетом динамики индивидуальных достижений и биологических сигналов обучающихся.
Анализ данных биологических сигналов обучающихся позволит получить всю необходимую информацию, создать комфортную среду для обучающегося и сформировать траекторию обучения, адаптированную под его текущее функциональное состояние. Уникальность сигнала траектории взгляда заключается в том, что в нем одновременно содержится три вида информации об обучающемся: информация о его личности, навыках и функциональном состоянии. Для этого потребуется разработка новых моделей, методов и алгоритмов для идентификации функционального состояния, фиксации достигнутых навыков в иммерсивной виртуальной среде на основе анализа движений глаз.
Таким образом, предлагаемый проект направлен на решение научной проблемы разработки и научного обоснования механизма управления процессом обучения в виртуальной иммерсивной образовательной среде с учетом индивидуальных особенностей и достижений обучающихся для реализации внутренней потребности личности в получении адекватной ее возможностям информации.
Научная новизна исследований обусловлена тем фактом, что в рамках выполнения проекта будут:
— созданы новые подходы к оцениванию, когда оценка достижения планируемых результатов выполняет функцию обратной связи и регулирующего (управляющего) элемента системы;
— разработаны новые модели, методы и алгоритмы идентификации функционального состояния обучающегося и его навыков в виртуальной иммерсивной образовательной среде, что потребует расширения существующих результатов в области анализа движений глаз для случая трехмерного пространства;
— впервые с достижением синергетического эффекта одновременно использованы технологии VR и айтрекинга для построения и научно обоснованной оценки результативности виртуальных иммерсивных образовательных сред.
Актуальность решения указанной проблемы заключается в следующем:
Ожидаемый рост эффективности цифровых образовательных технологий и уровня мотивации обучающихся, социотехнический характер разрабатываемой технологии, направленный на индивидуализацию образовательного процесса, возможность удаленного обучения будут способствовать росту конкурентоспособности образовательных учреждений, как внутри страны, так и за ее пределами.
Ожидаемые результаты
Реализация проекта предполагает получение комплекса научных результатов:
— методика персонализированного мониторинга процесса обучения химии в иммерсивной виртуальной реальности на основе технологии айтрекинга;
— инновационная методика оценивания результатов обучения химии в виртуальной образовательной среде, удовлетворяющая требованиям индивидуализации, здоровьесбережения, нестрессогенности, фоновости по отношению к процессу обучения;
— технология формирования персонализированной траектории обучения химии в виртуальной образовательной среде, учитывающей навыки обучающегося и их когнитивные способности.
Научная значимость ожидаемых результатов обусловлена следующим:
Реализация проекта обеспечит создание новых подходов к оцениванию в виртуальной реальности, когда оценка достижения планируемых результатов выполняет функцию обратной связи и регулирующего (управляющего) элемента системы. Указанные подходы, в свою очередь, внесут вклад в представления об оценочных процедурах при обучении в виртуальной реальности, имеющимися на данный момент в педагогических науках.
Разработаны в ходе реализации проекта новые модели, методы и алгоритмы идентификации функционального состояния обучающегося и его навыков в виртуальной иммерсивной образовательной среде приведут к расширению границ применимости существующих результатов в области анализа движений глаз на случаи трехмерного пространства.
Соответствие запланированных результатов мировому уровню гарантировано рядом факторов, в числе которых:
— Высокая мультидисциплинарная научная квалификация руководителя проекта, имеющего, с одной стороны, ученую степень кандидата химических наук, и, с другой стороны, звание Международного инженерного педагога (Ing.Paed.IGIP) и являющегося узнаваемым специалистом в области химического образования на международном уровне с регулярными публикациями в ведущем журнале химического образования “Journal of Chemical Education”;
— Подтвержденный публикациями междисциплинарный научный задел руководителя и исполнителей коллектива на стыке химических, педагогических, компьютерных и когнитивных наук;
— Соответствие предлагаемых методов и подходов мировому уровню исследований в области когнитивных и информационных образовательных технологий, в частности в области цифрового и виртуального обучения.
Возможность практического использования ожидаемых результатов в социальной сфере:
Перспективами их использования при создании высокотехнологичных здоровьесберегающих учебных курсов в иммерсивной виртуальной реальности. Практическое использование технологии персонализированного мониторинга процесса обучения позволит рационализировать способы, формы и скорость предъявления учебной информации. с знания на каждом из этапов занятия алгоритм формирования индивидуализированной траектории обучения химии в виртуальной образовательной среде позволит значительно повысить качество обучения за счет соответствия предъявляемой с учетом интеллектуальных способностей учебной нагрузки возможностям обучающегося на основе мониторинга физиологических функций.
Возможность практического использования ожидаемых результатов в экономике:
Образование и корпоративное обучение является приоритетной отраслью применения VR/AR-технологий и субтехнологий, важной для социального развития и экономического роста (дорожная карта развития “сквозной” цифровой технологии “Технологии виртуальной и дополненной реальности”, Москва 2019). Внедрение VR/AR с применением нейротехнологий и искусственного интеллекта в образовательном сегменте позволит обеспечить доступные инструменты для пользователей и дополнить обучающие программы интерактивным визуальным VR/AR-контентом в размере до 30% всех образовательных материалов (с приоритетом на предметные области, невоспроизводимые в традиционных форматах). Это может привести к следующим эффектам: повышение эффективности онлайн-обучения; обеспечение непрерывного профессионального образования; обеспечение доступности качественного образования в регионах. При развитии маркетплейса образовательных проектов возможно получение российскими компаниями 15% мирового рынка VR-образования.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Аннотация результатов, полученных в 2020 году
Для выявления и маркировки информационно-значимых объектов виртуальной реальности в контексте динамики задач сценария занятия научные группы были обеспечены необходимыми рабочими станциями (в т.ч. системами виртуальной реальности HTC VIVE Pro Full Kit), включающими в себя комплексы компьютерных систем и оборудования, которые были расположены на базе экспериментальных площадок.
Для регистрации продолжительности точек фиксации взгляда, совпадающих с объектами виртуальной реальности, а также отслеживания последовательности переходов взгляда между объектами виртуальной реальности, было использовано программное обеспечение, которое представляет собой проект в среде разработки Unity.
Разработка программного обеспечения условно была разделена на соответствующие части:
1) Серверная часть – модуль, который предназначался для считывания файлов с описанием заданий (в формате pdb или другом), конфигурирования отображения и параметров молекулярной динамики, а также для управления запуском самих заданий и логирования данных с информацией о запускаемых заданиях.
2) Клиентская часть – модуль, в котором был реализован алгоритм айтрекинга и логирования его данных.
Так как в narupa-protocol предоставлена возможность использования нескольких вариантов обработки молекул, то для осуществления работ по серверной части был выбран вариант с инструментарием MDAnalysis (https://www.mdanalysis.org/). Данный вариант позволял считывать большое число форматов файлов с молекулами, имел удобный интерфейс и ,как наиболее важное, не удалял информацию о связях атомов. Для удобства и увеличения скорости выбора и запуска файлов с заданиями было разработано десктопное приложение.
Клиентская часть была реализована на языке программирования C# в инструментарии Narupa iMD (https://gitlab.com/intangiblerealities/narupa-applications/narupa-imd). Данный инструментарий представлен в виде клиента для отображения данных полученных с сервера narupa в устройстве VR. Он реализован с использованием фреймворка Unity (версии 2019.3.7). Непосредственно для работы с айтрекингом в проект был установлен SDK SRanipal, так как в исходной версии проекта реализация работы айтрекинга отсутствовала. Главная функция, которая была использована — это функция получения луча по направлению взгляда человека. С помощью этой функции появлялась возможность сформировать понимание о взаимодействии взгляда человека с объектами виртуальной среды, путем наблюдения пересечения луча взгляда с объектами. Для того, чтобы фиксировать пересечение взгляда в очках VR и атомов, а также получать информацию о траектории взгляда человека (иначе, чтобы осуществлялось логирование), была проделана работа, позволившая получить программный модуль Narupa и SDK SRanipal для взаимодействия с молекулами.
Для реализации исследования по регистрации движений глаз в VR были разработаны задания различного уровня сложности. Суть заданий заключалась в идентификации молекул в программе. Созданные прототипы заданий были написаны в виде кода (скриптов) молекул в формате PDB, для того, чтобы воспроизвести симуляцию на сервере Narupa iMD. В созданных заданиях были выбраны следующие параметры молекул: цвет, молекулярная динамика, размер. Каждый химический элемент в созданных заданиях имел свой уникальный цвет в соответствии с цветовым шифром.
Для выполнения заданий, загруженных в программно-аппаратное обеспечение, были приглашены волонтеры, которые до этого выполняли классическое тестирование. В качестве первичных результатов были получены численные значения по девяти показателям: скорость перемещения взгляда между объектами, время, количество цветов, количество атомов, количество молекул, школьная оценка волонтеров, количество правильных ответов, результаты тестирования, частота перемещения взгляда.
Далее был реализован модуль для разбора, агрегирования и анализа полученных данных. Реализованные агрегирующие функции позволяли определить такие параметры как: среднее количество перемещений взгляда при выполнении заданий, среднее количество перемещений взгляда в секунду (как с атома на атом, так и с молекулы на молекулу), длительность взгляда на объекте и длительность выполнения заданий, количество различных атомов, молекул и цветов в задании, количество взглядов на конкретные химические элементы. С помощью полученного программного модуля были построены и проанализированы графики.
Было получено графическое подтверждение соответствия и аналогичности оценок волонтеров в результате проведенных тестирований: классического и с применением виртуальной реальности.
Проведенные эксперименты в виртуальной реальности, впервые объединили уже существующие программные обеспечения и технологии с целью создания адаптивного теста с использованием технологии айтрекинга в VR.
На основе полученных данных в области когнитивных исследований сделаны выводы о том, что для быстрой и эффективной оценки знаний в VR важно учитывать следующие параметры: частота перемещения взгляда; количество цветов, используемых при шифровке химических элементов, в задании; сложность и количество молекул.
Полученные результаты подтвердили перспективность и реализуемость адаптивного тестирования (технологии тестирования волонтеров, при которой каждый следующий вопрос подбирается автоматически, исходя из ответов данных на предыдущие вопросы при определенном заранее уровне сложности). Главным отличием адаптивного тестирования от классических тестов является динамическое (в реальном времени), а не статическое определение списка вопросов, которые будут заданы тестируемому. При этом выбор очередного вопроса определяется персональными особенностями каждого отдельного слушателя, а не общими правилами «для всех».
Для дальнейшего развития методики необходимо сочетать языки программирования высокого уровня с окулографией и управлением базами данных.
Одной из задач станет получение автоматизированного процесса адаптивного тестирования, при котором будет происходить программная ориентация на частоту перемещения взгляда.
Исходный код проекта находится в репозитории Университета ИТМО по ссылке: https://digital-code.itmo.ru/emotion-ai/htc-vive-pro-eye.
Публикации
1. Максименко Н.И., Окользина А.И., Власова А., Трэйси Ш.Т., Курушкин М.В. Introducing the Atomic Structure to First-Year Undergraduate Chemistry Students with an Immersive Virtual Reality Experience Journal of Chemical Education, - (год публикации - 2021) https://doi.org/10.1021/acs.jchemed.0c01441
Аннотация результатов, полученных в 2021 году
Основной целью проекта являлась разработка персонализированных образовательных траекторий в химическом образовании. В данном исследовании были измерены такие данные как: общая тревожность (опросник), химическая тревожность (опросник), пространственные способность (опросник); пульс, уровень стресса; частота перемещения взгляда; эмоциональное состояние.
Работа состояла из двух частей: программно-аппаратной и педагогического эксперимента.
ПРОГРАММНО-АППАРАТНАЯ ЧАСТЬ
1) Была настроена функция отслеживания эмоций, функция отслеживания размера зрачка;
2) Написан код для преобразования полученных “сырых” данных о мимике с лицевого трекера в более удобный и понятный формат для пользователя;
3) Разработан алгоритм интеграции пульса и VR;
4) Переписан класс обработки взгляда;
5) Изменена обработка направления взгляда;
6) Внедрено новое меню как для участника, так и для оператора.
7) Создана и обучена модель нейронной сети для классификации 8 эмоций с помощью ML.NET Model Builder:
a. Собраны экспрессии 41 человека
b. Создана и обучена модель нейронной сети на основе полученных данных
c. Обученная модель внедрена в приложение
d. Добавлено логирование прогнозируемых эмоций
8) Осуществлён сбор экспрессий с помощью SRanipal:
a. Внедрено логирование данных, полученных с помощью EyeTracker;
b. Исправлена ошибка SRanipal SDK, из-за которой не регистрировались изменение диаметра зрачков.;
c. Внедрено логирование данных, полученных с помощью FaceTracker.
Научно-исследовательский проект реализовывался в программе NarupaXR. В связи с тем, что NarupaXR, — это создание собственных симуляций, которые необходимо проводить в другой программе (Narupa Builder), было создано приложение-компаньон к NarupaXR, которое позволяет создавать, проектировать и редактировать молекулы в виртуальной реальности.
ПЕДАГОГИЧЕСКИЙ ЭКСПЕРИМЕНТ
Была настроена функция «распознавание эмоций». С помощью трекера лица для системы виртуальной реальности «FaceTracker» версия 2.0 было проанализировано эмоциональное состояние участников исследования. Ранее, данный трекер предназначался только для развлекательных целей. Разработанный в рамках выполнения данного проекта код позволяет адаптировать распознавание эмоций под цели обучения.
FaceTracker распознаёт 38 выражений лица, из них 26 базовых эмоций. Но не все эти эмоции человек испытывает во время обучения. Были выявлены наиболее часто встречаемые эмоции во время обучения: нейтральная, удивление, страх, счастье, презрение, скука, интерес, стыд. Также было установлено, что положительные эмоции, такие как удовольствие, надежда и гордость, были положительно связаны с усилиями учащихся, саморегуляцией и более сложными стратегиями обучения, тогда как гнев, стыд, тревога и скука были связаны с более низкой успеваемостью и большей внешней регуляцией.
Для этого была создана и обучена модель нейронной сети для классификации 8 эмоций с помощью ML.NET Model Builder. Помимо этого, были проанализированы результаты теста на общую тревожность, результаты теста на химическую тревожность, результаты теста на ментальное вращение, чтобы выявить корреляции, и в будущем применять эти данные для персонализации образовательных траекторий в химическом образовании.
В исследовании в рамках проекта приняли участие 83 учащихся среднеобразовательных школ города Санкт-Петербурга. Из них 42 человека в первый год и 41 во второй. Для выявления концептуальной поведенческой модели обучающегося в виртуальной иммерсивной образовательной среде были созданы разные условия для 2 экспериментальных групп.
Первая группа проходила тестирование на знание химических молекул, опираясь на цветовую схему моделей Кори — Полинга — Колтуна и остаточные знания по химии. После проведения исследования в VR для первой группы было выделено несколько важных динамических тенденций:
• Изменение уровня стресса до и после исследования (в среднем: падает, повышается, остаётся неизменным);
• Изменение пульса до и после исследования (в среднем: падает, повышается, остаётся неизменной);
• Изменение тревожность до и после эксперимента (тест) (падает, повышается, остаётся неизменным);
• Измерение пространственных способностей (высокие, средние, низкие)
• Измерение преобладающей эмоции во время прохождения задания.
На следующем этапе была установлена зависимость между лидирующей эмоцией и количеством правильных ответов, а также частотой перемещения взгляда. Чем выше пульс, тем больше правильных ответов даёт участник исследования (счастье, страх). И, чем меньше пульс, тем меньше правильных ответов даёт испытуемый.
Следующим пунктом работы являлось проведение исследования с коррекцией продолжительности и сложности изложения педагогических задач сценария занятия согласно результатам, полученным при применении разработанной технологии. В данном разделе была изучена динамику уровня стресса до прохождения заданий в VR и после. Наблюдается, что уровень стресса падает со временем прохождения заданий в VR. Это говорит о том, что проведение занятий в виртуальной среде является благоприятным обстоятельством.
Далее, было выяснено, насколько пространственные способности коррелируют с предиктором успешности. Задействованные пространственные способности при решении пространственных задач в «классическом» виде и в виртуальной реальности очень близки, а значит обычные пространственные тесты могут использоваться для предсказания успешности решения пространственных задач в VR. Исследование в VR показывает высокую предиктивную мощь пространственных тестов в предсказании успешности выполнения химических задач в VR, это значит, что тесты на пространственные способности можно использовать для диагностики будущей успешности в химии и использовать тренировки пространственных способностей для развития успешности в химии.
С помощью электроэнцефалографа получены следующие выводы:
• Существует зависимость способностей к химическим наукам от распределения ритмов мощности ЭЭГ мозга в процессе решения заданий ЕГЭ.
• Существуют определенные области мозга, которые отличаются по ритмам работы мозга в процессе решения химических задач у учащихся контрольной группы и группы со способностями к химии. Эти особенности отражаются в левой лобной области (отведения FC5, F3).
• Существуют достоверные различия в динамике изменения мощности различных частотных диапазонов ЭЭГ в процессе решения химических задач в двух группах испытуемых. Эти различия выражаются в повышении упорядоченности в конце решения задач у учащихся с выраженными химическими способностями, а также в снижении высокочастотных составляющих ритмов.
На основе всех полученных данных было создано программное обеспечение на основе всех разработанных моделей, методов и алгоритмов, была проведена апробация разработанной виртуальной иммерсивной образовательной среды.
Разработанное в рамках данного проекта программное обеспечение базируется на функциональном состоянии, когнитивном утомлении, уровне стресса, пульса и частоте перемещения взгляда. Специально разработанный модуль собирает данные с фитнес-трекера, айтрекера, фейстрекера и электроэнцефалографа, нейронная сеть анализирует данные, сортирует их по числовым группам и выдаёт адаптивные задания. Все задания начинаются с базового уровня сложности (10 молекул, 2 группа сложности). Всего имеется 4 группы сложности, в каждой группе по 12 задач. Все данные с фитнес-трекера, айтрекера, фейстрекера и электроэнцефалографа разделены на 3 - 5 групп, исходя из полученных числовых данных.
Публикации
1. Корсакова Е.А., Соколовская О.А., Минакова Д.А., Гавронская Ю.Ю., Максименко Н.И., Курушкин М.В. Chemist Bot as a Helpful Personal Online Training Tool for the Final Chemistry Examination Journal of Chemical Education, 99, 2, 1110–1117 (год публикации - 2021) https://doi.org/10.1021/acs.jchemed.1c00789
2. Лиханов М.В., Масленникова Е.С., Дж. Константини, Будакова А.В., Есипенко Е.А, Исматуллина В.И, Ковас Ю.В. This is the way: network perspective on targets for spatial ability development programmes British Journal of Educational Psychology, - (год публикации - 2022)
3. Перешивкина П.С., Карандашева Н.А., Михайленко М.Д., Курушкин М.В. Immersive Molecular Dynamics in Virtual Reality: Increasing Efficiency of Educational Process with Companion Converter for NarupaXR Journal of Imaging, 7(6), 97 (год публикации - 2021) https://doi.org/10.3390/jimaging7060097
4. Хукаленко Ю.С., Бажина П.С., Земцов Д.И. Immersive technologies in school education: based on the results of the All-Russian Testing Program Perspektivy Nauki i Obrazovania, - (год публикации - 2022)
5. Михайленко М.Д., Максименко Н.И., Курушкин М.В. Eye-Tracking in Immersive Virtual Reality for Education: A Review of the Current Progress and Applications Frontiers in Education, Article number 697032 (год публикации - 2022) https://doi.org/10.3389/feduc.2022.697032
6. Кузьминов И.И., Михайленко М.Д., Лиханов М.В., Курушкин М.В. Identifying Eyes Patterns Using Eye Tracking for Improving Virtual Chemistry Education Proceedings of 2022 8th International Conference of the Immersive Learning Research Network, iLRN 2022, - (год публикации - 2022)
7. Марковникова А.И., Михайленко М.Д., Курушкин М.В. Teaching Based Personalized Monitoring Chemistry In Immersive Virtual Reality: Eye-tracking Proceedings of 2022 8th International Conference of the Immersive Learning Research Network, iLRN 2022, - (год публикации - 2022)
Возможность практического использования результатов
Возможность практического использования результатов проекта в социальной сфере подтверждается перспективами создания высокотехнологичных здоровьесберегающих учебных курсов в иммерсивной виртуальной реальности. Практическое использование технологии персонализированного мониторинга процесса обучения, созданной в ходе выполнения проекта, позволит рационализировать способы, формы и скорость предъявления учебной информации. Алгоритм формирования индивидуализированной траектории обучения химии в виртуальной образовательной среде позволит значительно повысить качество обучения за счет соответствия предъявляемой с учетом интеллектуальных способностей учебной нагрузки возможностям обучающегося на основе мониторинга физиологических функций.
Возможность практического использования результатов проекта в экономике как нельзя остро ощущается в сегодняшней ситуации, когда в рамках федерального проекта «Цифровые технологии» и в соответствии с постановлением Правительства Российской Федерации от 3 мая 2019 г. № 555 «Об утверждении Правил предоставления субсидии из федерального бюджета некоммерческой организации Фонд развития Центра разработки и коммерциализации новых технологий на обеспечение первого масштабного внедрения российских решений в сфере информационных технологий». Кроме того, реализованный проект связана с дорожной картой EduNet / Эдунет (https://nti2035.ru/markets/edunet ), которая в качестве основных векторов развития этого рынка НТИ называет следующие ключевые векторы для развития рынка: 1) Технологии и методологии, повышающие вовлеченность человека в процесс обучения и развития (включая персонализацию, нативные интеграции в сервисы, удовлетворяющие другие потребности людей, а также искусственный интеллект); 2) Построение процессов на данных; и 3) Коллаборация и интеграция. Пространство для развития и реализации потенциала (избыточность выбора, опережающий контент, доверительное взаимодействие). Реализованный проект работает на стыке технологий, повышающих вовлеченность человека в процесс обучения и развития (включая персонализацию), а также построения процесса обучения, основанного на физиологических данных.