Аннотация результатов, полученных в 2020 году
Для выявления и маркировки информационно-значимых объектов виртуальной реальности в контексте динамики задач сценария занятия научные группы были обеспечены необходимыми рабочими станциями (в т.ч. системами виртуальной реальности HTC VIVE Pro Full Kit), включающими в себя комплексы компьютерных систем и оборудования, которые были расположены на базе экспериментальных площадок. Для регистрации продолжительности точек фиксации взгляда, совпадающих с объектами виртуальной реальности, а также отслеживания последовательности переходов взгляда между объектами виртуальной реальности, было использовано программное обеспечение, которое представляет собой проект в среде разработки Unity. Разработка программного обеспечения условно была разделена на соответствующие части: 1) Серверная часть – модуль, который предназначался для считывания файлов с описанием заданий (в формате pdb или другом), конфигурирования отображения и параметров молекулярной динамики, а также для управления запуском самих заданий и логирования данных с информацией о запускаемых заданиях. 2) Клиентская часть – модуль, в котором был реализован алгоритм айтрекинга и логирования его данных. Так как в narupa-protocol предоставлена возможность использования нескольких вариантов обработки молекул, то для осуществления работ по серверной части был выбран вариант с инструментарием MDAnalysis (https://www.mdanalysis.org/). Данный вариант позволял считывать большое число форматов файлов с молекулами, имел удобный интерфейс и ,как наиболее важное, не удалял информацию о связях атомов. Для удобства и увеличения скорости выбора и запуска файлов с заданиями было разработано десктопное приложение. Клиентская часть была реализована на языке программирования C# в инструментарии Narupa iMD (https://gitlab.com/intangiblerealities/narupa-applications/narupa-imd). Данный инструментарий представлен в виде клиента для отображения данных полученных с сервера narupa в устройстве VR. Он реализован с использованием фреймворка Unity (версии 2019.3.7). Непосредственно для работы с айтрекингом в проект был установлен SDK SRanipal, так как в исходной версии проекта реализация работы айтрекинга отсутствовала. Главная функция, которая была использована — это функция получения луча по направлению взгляда человека. С помощью этой функции появлялась возможность сформировать понимание о взаимодействии взгляда человека с объектами виртуальной среды, путем наблюдения пересечения луча взгляда с объектами. Для того, чтобы фиксировать пересечение взгляда в очках VR и атомов, а также получать информацию о траектории взгляда человека (иначе, чтобы осуществлялось логирование), была проделана работа, позволившая получить программный модуль Narupa и SDK SRanipal для взаимодействия с молекулами. Для реализации исследования по регистрации движений глаз в VR были разработаны задания различного уровня сложности. Суть заданий заключалась в идентификации молекул в программе. Созданные прототипы заданий были написаны в виде кода (скриптов) молекул в формате PDB, для того, чтобы воспроизвести симуляцию на сервере Narupa iMD. В созданных заданиях были выбраны следующие параметры молекул: цвет, молекулярная динамика, размер. Каждый химический элемент в созданных заданиях имел свой уникальный цвет в соответствии с цветовым шифром. Для выполнения заданий, загруженных в программно-аппаратное обеспечение, были приглашены волонтеры, которые до этого выполняли классическое тестирование. В качестве первичных результатов были получены численные значения по девяти показателям: скорость перемещения взгляда между объектами, время, количество цветов, количество атомов, количество молекул, школьная оценка волонтеров, количество правильных ответов, результаты тестирования, частота перемещения взгляда. Далее был реализован модуль для разбора, агрегирования и анализа полученных данных. Реализованные агрегирующие функции позволяли определить такие параметры как: среднее количество перемещений взгляда при выполнении заданий, среднее количество перемещений взгляда в секунду (как с атома на атом, так и с молекулы на молекулу), длительность взгляда на объекте и длительность выполнения заданий, количество различных атомов, молекул и цветов в задании, количество взглядов на конкретные химические элементы. С помощью полученного программного модуля были построены и проанализированы графики. Было получено графическое подтверждение соответствия и аналогичности оценок волонтеров в результате проведенных тестирований: классического и с применением виртуальной реальности. Проведенные эксперименты в виртуальной реальности, впервые объединили уже существующие программные обеспечения и технологии с целью создания адаптивного теста с использованием технологии айтрекинга в VR. На основе полученных данных в области когнитивных исследований сделаны выводы о том, что для быстрой и эффективной оценки знаний в VR важно учитывать следующие параметры: частота перемещения взгляда; количество цветов, используемых при шифровке химических элементов, в задании; сложность и количество молекул. Полученные результаты подтвердили перспективность и реализуемость адаптивного тестирования (технологии тестирования волонтеров, при которой каждый следующий вопрос подбирается автоматически, исходя из ответов данных на предыдущие вопросы при определенном заранее уровне сложности). Главным отличием адаптивного тестирования от классических тестов является динамическое (в реальном времени), а не статическое определение списка вопросов, которые будут заданы тестируемому. При этом выбор очередного вопроса определяется персональными особенностями каждого отдельного слушателя, а не общими правилами «для всех». Для дальнейшего развития методики необходимо сочетать языки программирования высокого уровня с окулографией и управлением базами данных. Одной из задач станет получение автоматизированного процесса адаптивного тестирования, при котором будет происходить программная ориентация на частоту перемещения взгляда. Исходный код проекта находится в репозитории Университета ИТМО по ссылке: https://digital-code.itmo.ru/emotion-ai/htc-vive-pro-eye.

Аннотация результатов, полученных в 2021 году
Основной целью проекта являлась разработка персонализированных образовательных траекторий в химическом образовании. В данном исследовании были измерены такие данные как: общая тревожность (опросник), химическая тревожность (опросник), пространственные способность (опросник); пульс, уровень стресса; частота перемещения взгляда; эмоциональное состояние. Работа состояла из двух частей: программно-аппаратной и педагогического эксперимента. ПРОГРАММНО-АППАРАТНАЯ ЧАСТЬ 1) Была настроена функция отслеживания эмоций, функция отслеживания размера зрачка; 2) Написан код для преобразования полученных “сырых” данных о мимике с лицевого трекера в более удобный и понятный формат для пользователя; 3) Разработан алгоритм интеграции пульса и VR; 4) Переписан класс обработки взгляда; 5) Изменена обработка направления взгляда; 6) Внедрено новое меню как для участника, так и для оператора. 7) Создана и обучена модель нейронной сети для классификации 8 эмоций с помощью ML.NET Model Builder: a. Собраны экспрессии 41 человека b. Создана и обучена модель нейронной сети на основе полученных данных c. Обученная модель внедрена в приложение d. Добавлено логирование прогнозируемых эмоций 8) Осуществлён сбор экспрессий с помощью SRanipal: a. Внедрено логирование данных, полученных с помощью EyeTracker; b. Исправлена ошибка SRanipal SDK, из-за которой не регистрировались изменение диаметра зрачков.; c. Внедрено логирование данных, полученных с помощью FaceTracker. Научно-исследовательский проект реализовывался в программе NarupaXR. В связи с тем, что NarupaXR, — это создание собственных симуляций, которые необходимо проводить в другой программе (Narupa Builder), было создано приложение-компаньон к NarupaXR, которое позволяет создавать, проектировать и редактировать молекулы в виртуальной реальности. ПЕДАГОГИЧЕСКИЙ ЭКСПЕРИМЕНТ Была настроена функция «распознавание эмоций». С помощью трекера лица для системы виртуальной реальности «FaceTracker» версия 2.0 было проанализировано эмоциональное состояние участников исследования. Ранее, данный трекер предназначался только для развлекательных целей. Разработанный в рамках выполнения данного проекта код позволяет адаптировать распознавание эмоций под цели обучения. FaceTracker распознаёт 38 выражений лица, из них 26 базовых эмоций. Но не все эти эмоции человек испытывает во время обучения. Были выявлены наиболее часто встречаемые эмоции во время обучения: нейтральная, удивление, страх, счастье, презрение, скука, интерес, стыд. Также было установлено, что положительные эмоции, такие как удовольствие, надежда и гордость, были положительно связаны с усилиями учащихся, саморегуляцией и более сложными стратегиями обучения, тогда как гнев, стыд, тревога и скука были связаны с более низкой успеваемостью и большей внешней регуляцией. Для этого была создана и обучена модель нейронной сети для классификации 8 эмоций с помощью ML.NET Model Builder. Помимо этого, были проанализированы результаты теста на общую тревожность, результаты теста на химическую тревожность, результаты теста на ментальное вращение, чтобы выявить корреляции, и в будущем применять эти данные для персонализации образовательных траекторий в химическом образовании. В исследовании в рамках проекта приняли участие 83 учащихся среднеобразовательных школ города Санкт-Петербурга. Из них 42 человека в первый год и 41 во второй. Для выявления концептуальной поведенческой модели обучающегося в виртуальной иммерсивной образовательной среде были созданы разные условия для 2 экспериментальных групп. Первая группа проходила тестирование на знание химических молекул, опираясь на цветовую схему моделей Кори — Полинга — Колтуна и остаточные знания по химии. После проведения исследования в VR для первой группы было выделено несколько важных динамических тенденций: • Изменение уровня стресса до и после исследования (в среднем: падает, повышается, остаётся неизменным); • Изменение пульса до и после исследования (в среднем: падает, повышается, остаётся неизменной); • Изменение тревожность до и после эксперимента (тест) (падает, повышается, остаётся неизменным); • Измерение пространственных способностей (высокие, средние, низкие) • Измерение преобладающей эмоции во время прохождения задания. На следующем этапе была установлена зависимость между лидирующей эмоцией и количеством правильных ответов, а также частотой перемещения взгляда. Чем выше пульс, тем больше правильных ответов даёт участник исследования (счастье, страх). И, чем меньше пульс, тем меньше правильных ответов даёт испытуемый. Следующим пунктом работы являлось проведение исследования с коррекцией продолжительности и сложности изложения педагогических задач сценария занятия согласно результатам, полученным при применении разработанной технологии. В данном разделе была изучена динамику уровня стресса до прохождения заданий в VR и после. Наблюдается, что уровень стресса падает со временем прохождения заданий в VR. Это говорит о том, что проведение занятий в виртуальной среде является благоприятным обстоятельством. Далее, было выяснено, насколько пространственные способности коррелируют с предиктором успешности. Задействованные пространственные способности при решении пространственных задач в «классическом» виде и в виртуальной реальности очень близки, а значит обычные пространственные тесты могут использоваться для предсказания успешности решения пространственных задач в VR. Исследование в VR показывает высокую предиктивную мощь пространственных тестов в предсказании успешности выполнения химических задач в VR, это значит, что тесты на пространственные способности можно использовать для диагностики будущей успешности в химии и использовать тренировки пространственных способностей для развития успешности в химии. С помощью электроэнцефалографа получены следующие выводы: • Существует зависимость способностей к химическим наукам от распределения ритмов мощности ЭЭГ мозга в процессе решения заданий ЕГЭ. • Существуют определенные области мозга, которые отличаются по ритмам работы мозга в процессе решения химических задач у учащихся контрольной группы и группы со способностями к химии. Эти особенности отражаются в левой лобной области (отведения FC5, F3). • Существуют достоверные различия в динамике изменения мощности различных частотных диапазонов ЭЭГ в процессе решения химических задач в двух группах испытуемых. Эти различия выражаются в повышении упорядоченности в конце решения задач у учащихся с выраженными химическими способностями, а также в снижении высокочастотных составляющих ритмов. На основе всех полученных данных было создано программное обеспечение на основе всех разработанных моделей, методов и алгоритмов, была проведена апробация разработанной виртуальной иммерсивной образовательной среды. Разработанное в рамках данного проекта программное обеспечение базируется на функциональном состоянии, когнитивном утомлении, уровне стресса, пульса и частоте перемещения взгляда. Специально разработанный модуль собирает данные с фитнес-трекера, айтрекера, фейстрекера и электроэнцефалографа, нейронная сеть анализирует данные, сортирует их по числовым группам и выдаёт адаптивные задания. Все задания начинаются с базового уровня сложности (10 молекул, 2 группа сложности). Всего имеется 4 группы сложности, в каждой группе по 12 задач. Все данные с фитнес-трекера, айтрекера, фейстрекера и электроэнцефалографа разделены на 3 - 5 групп, исходя из полученных числовых данных.