КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер проекта 25-18-00751
НазваниеПерсонализация обучения и оценивания с применением алгоритмов искусственного интеллекта: разработка моделей и оценка рисков
Руководитель Карданова Елена Юрьевна, Кандидат физико-математических наук
Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет "Высшая школа экономики" , г Москва
Конкурс №104 - Конкурс 2025 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»
Область знания, основной код классификатора 08 - Гуманитарные и социальные науки; 08-604 - Теория и методология инновационных процессов в образовании, экспериментальная и инновационная деятельность в образовании
Ключевые слова искусственный интеллект, ИИ в образовании, ИИ в оценивании, персонализация обучения, оценивание, персонализация оценивания, адаптивное тестирование
Код ГРНТИ14.01.85
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Проект направлен на исследование потенциала использования искусственного интеллекта для персонализации обучения и оценивания, а также анализ и предупреждение связанных с этим рисков.
Персонализация обучения является широко обсуждаемой темой в развитии системы образования. В условиях роста цифровизации образовательных процессов ИИ-технологии открывают новые перспективы для персонализации обучения, в частности, позволяя адаптировать содержание и сложность материала под потребности каждого учащегося. В рамках данного проекта предполагается выстроить персонализированную систему оценивания на основе ИИ как необходимую компоненту персонализированной системы обучения, которая способна в реальном времени адаптировать оценивание под потребности ученика, проверять и анализировать результаты оценивания, корректировать задания в зависимости от уровня подготовки, автоматически выдавать персонализированную обратную связь.
Несмотря на значительное количество научных разработок, связанных с использованием ИИ в образовании и особенно в оценивании, общий научный подход к построению такой системы в настоящий момент не выработан. Кроме того, само применение ИИ в оценивании в образовании связано с рядом потенциальных рисков [Bulut et al., 2024; Lee et al., 2024]. В предлагаемом исследовании особое внимание будет уделено вопросам валидности результатов, полученных с использованием ИИ-алгоритмов. Будут проанализированы вызовы, связанные с внедрением персонализированных систем обучения и оценивания, и рассмотрены способы их минимизации. Работа будет включать как теоретический анализ, так и практическую реализацию персонализированных систем с использованием ИИ-алгоритмов в образовательных программах, делая акцент на необходимости разработки четких этических стандартов для их применения. Исследование подчеркивает, что успех внедрения ИИ в образование зависит от сбалансированного подхода, сочетающего технологические достижения с обеспечением этической ответственности и соблюдением прав учащихся.
Достижение цели проекта позволит решить сразу несколько проблем:
1) Персонализация - использование ИИ-алгоритмов откроет новые возможности для создания образовательных программ, которые подстраиваются под уровень знаний, способности и темп обучения каждого ученика.
2) Точность и справедливость оценивания – внедрение персонализированных систем оценивания на базе ИИ позволит не только повысить точность измерений, но и минимизировать влияние внешних факторов, таких как стресс или усталость, за счет гибкости и динамичности тестов и оценочных процедур.
3) Риски предвзятости и валидности алгоритмов – исследование поможет выявить потенциальные ошибки в работе ИИ-систем, которые могут привести к искажению результатов, а также предложить подходы к минимизации рисков их возникновения.
4) Этические вызовы – будет проведен анализ этических проблем, связанных с использованием ИИ в оценивании, включая вопросы приватности данных, прозрачности работы алгоритмов и возможные социальные последствия автоматизированного оценивания. Проект позволит разработать рекомендации по созданию этических стандартов использования ИИ в оценивании.
Основная научная гипотеза данного исследовательского проекта - использование персонализированной системы оценивания с использованием ИИ будет способствовать повышению образовательных результатов обучающихся, повышению у них мотивации к учебе, снижению когнитивной нагрузки на учащихся, снижению нагрузки на школы.
Научный задел коллектива исполнителей показывает, что методы ИИ позволяют сделать процесс оценивания более эффективным и экономичным, адаптировать его под потребности учащихся и тем самым способствовать оптимизации процесса обучения.
Таким образом, результаты исследования помогут сформировать научные и практические основания для безопасного и эффективного использования ИИ в области персонализации обучения и оценивания, в том числе, обеспечив адаптацию к современным вызовам.
Ожидаемые результаты
В результате исследовательского проекта будут достигнуты следующие научные результаты:
1) Систематизирована научная литература и создана подробная база исследований по существующим ИИ-алгоритмам и ИИ-моделям для персонализации обучения и оценивания, включая данные о метриках качества, подходам к снижению предвзятости и обеспечению валидности.
2) Разработана концептуальная модель персонализированной системы оценивания на основе предмета “Математика” для начальной школы. Будут изучены вопросы по переносу модели на другие предметные области.
3) Разработана модель предметной области “Математика” в начальной школе, которая послужит основой для дальнейших разработок и применения ИИ в образовании.
4) Описана и реализована процедура подготовки банка заданий для персонализированной системы оценивания, включающая генерацию банка на основе имеющихся у исполнителей тестов, калибровку и оптимизацию заданий.
5) Разработаны ИИ-модели для автоматической оценки ответов на задания с открытым конструируемым ответом для внедрения в персонализированную систему оценивания.
6) Разработаны модели и обучена нейронная сеть для генерации автоматической обратной связи ученикам и учителям по результатам персонализированного тестирования для внедрения в персонализированную систему оценивания.
7) Разработан прототип ИИ-системы для персонализированного оценивания по предмету “Математика” для начальной школы, включающий следующие запрограммированные модули: модуль управления контентом, психометрический модуль, модуль адаптивного тестирования, модуль обратной связи, модуль предсказательной аналитики.
8) Оценена эффективность персонализированной ИИ-системы оценивания, в том числе проверена гипотеза о положительном влиянии персонализированного подхода на обучение и оценивание.
Исследование позволит ответить на ряд важных исследовательских вопросов, включая:
1. Как использовать ИИ для мониторинга учебных достижений в начальной школе на безопасной, справедливой, этичной основе?
2. Какие показатели корректно использовать для измерения успешности внедрения ИИ в оценивании в образовании?
3. Какие алгоритмы машинного обучения наиболее эффективны для создания персонализированных систем оценки? Какие данные следует собирать и анализировать для оптимальной адаптации среды оценивания под индивидуальные потребности учащихся?
4. Как ИИ может помочь в создании более справедливых/точных оценочных процедур? Как избежать искажений в процессе оценивания при использовании ИИ?
5. Как обеспечить валидность результатов оценивания, полученных при использовании ИИ?
Общественная значимость данного проекта подчеркивается тем, что в условиях роста цифровизации образовательных процессов ИИ-технологии смогут открыть новые перспективы для индивидуализации учебных программ, позволят адаптировать содержание и сложность оценки под потребности каждого учащегося. В федеральных государственных образовательных стандартах (ФГОС) разных уровней образования декларируются принципы индивидуализации обучения. Однако, практика их реализации сталкивается с рядом трудностей, среди которых, с одной стороны, отсутствие технических решений и платформ, которые учитывали бы разную подготовку учащихся, разный темп освоения ими предметного содержания и практики использования таких платформ, а с другой, риски предвзятости, несправедливости, искажений в результатах. Одним из шагов на пути к разрешению возникших противоречий может стать настоящее исследование, которое ставит целью изучение возможностей применения адаптивных систем оценивания на основе ИИ.
Несмотря на значительное количество научных разработок, связанных с использованием ИИ в образовании и особенно в оценивании, общий научный подход к построению такой системы в настоящий момент не выработан, в нашем исследовании он будет сделан. В данном проекте особое внимание будет уделено исследованию проблем валидности результатов оценивания, полученных с использованием алгоритмов ИИ. Будут проанализированы как технические, так и этические вызовы, связанные с внедрением персонализированных систем обучения и оценивания, и рассмотрены способы их минимизации.
Научная новизна проекта заключается в разработке нового междисциплинарного научного подхода к построению комплексной персонализированной системы оценивания с использованием искусственного интеллекта и современных алгоритмов машинного обучения, с учетом требований психометрики, на основе классических и современных педагогических принципов. Концептуальная рамка модели персонализированного оценивания, которая будет разработана в рамках проекта, представляет собой также новое и уникальное решение. Наконец, применение современной психометрики, включая когнитивные диагностические модели (CDM) в данном проекте и обнародование планируемых результатов позволит новым российским разработкам в этой сфере быть шире представленными в мировом исследовательском поле.
Практическая значимость проекта состоит в том, что планируемая научная работа будет включать и практическую реализацию комплексной персонализированной системы оценивания с использованием ИИ-алгоритмов. С учетом лучшего накопленного мирового опыта в построении отдельных систем адаптивного тестирования, генерации заданий, автоматической проверки, планируемое нами исследование завершится созданием конкретного продукта, для которого будет проведена серия исследований по его эффективности. Данный продукт потенциально можно будет генерализировать на другие дисциплины и уровни образования.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Аннотация результатов, полученных в 2025 году
В соответствии с планом работы в отчетном году работа по проекту велась по следующим направлениям:
1. Исследование существующих ИИ-алгоритмов для персонализации обучения и адаптивного оценивания:
1.1. Систематический анализ современных научных источников в области применения искусственного интеллекта для персонализации обучения и адаптивного оценивания в системе образования.
1.2. Проведение первичных исследований по разработке алгоритмов автоматизации процесса разработки заданий, проверки заданий и предоставления обратной связи с помощью ИИ, а также по разработке архитектуры персонализированной системы оценивания с использованием ИИ.
2. Исследование рисков предвзятости и валидности оценивания с помощью ИИ:
2.1. Анализ рисков предвзятости и валидности оценивания с помощью ИИ
2.2. Определение методик и алгоритмов, направленных на уменьшение риска предвзятости и повышение валидности оценок, выявления ключевых факторов предвзятости.
По направлению 1.1 был проведен систематический анализ по методологии PRISMA современных научных источников в области применения ИИ для персонализации обучения и адаптивного оценивания в системе образования. Поиск источников проводился с использованием 7 международных реферативных баз данных и научных платформ. В результате систематического анализа был выявлен системный дисбаланс в разработке образовательных ИИ-систем, проявляющийся в доминировании решений для персонализированного обучения над системами адаптивного оценивания при минимальном количестве работ по их глубокой интеграции. Также был выявлен критический пробел в психометрическом обосновании ИИ-систем оценивания: 88% исследований не содержат данных по критериям надежности, валидности и справедливости, что ограничивает их применение для оценивания.
По направлению 1.2 была проделана следующая работа:
1) Разработка алгоритмов автоматизации процессов разработки заданий с помощью ИИ. Проведен критический анализ литературы по методам автоматической генерации заданий (Automatic Item Generation, AIG) для тестирования в STEM дисциплинах, а именно: 1) проведено комплексное картирование методов AIG в разные эпохи; 2) проведен обзор стратегий промпт-инжиниринга для AIG и их эффективности; 3) показана необходимость согласования предметной области и когнитивной сложности заданий; 4) описан анализ методов оценивания качества сгенерированных заданий, включая психометрическую валидацию и аудит искажений.
В эмпирической части работы по данному направлению была выполнена работа по содержательному и психометрическому анализу теста математической грамотности для начальной школы ПРОГРЕСС-МГ, который был создан при участии членов рабочей группы и который взят за основу для создания банка заданий с помощью автоматизированной генерации. Предполагается, что автоматическая генерация банка заданий будет проводиться на основе так называемой Q-матрицы - матрицы соответствия заданий и набора атрибутов, определяющих их трудность. Были сформированы и закодированы четыре альтернативные Q-матрицы, различающиеся принципами структурирования признаков. Результаты проведенного эмпирического исследования по сравнению четырех Q-матриц теста показали существенные различия в их способности объяснять вариативность эмпирической трудности заданий. Наилучшие показатели были получены для гибридной LLM-ассистированной матрицы, которая включала как когнитивные операции, так и тематические домены.
2) Разработка алгоритмов автоматизации процессов проверки заданий с помощью ИИ. Для автоматического оценивания коротких открытых ответов учащихся начальной школы проведен сравнительный анализ результатов применения ИИ-алгоритмов из трех разных парадигм – контролируемое обучение (или обучение с учителем), неконтролируемое обучение (или обучение на основе семантического сходства), а также оценивание с помощью больших языковых моделей (LLM + промпт-инжиниринг). Все три подхода демонстрируют высокое совпадение с экспертами в задачах на воспроизведение фактов и логическое рассуждение. Однако с ростом когнитивной сложности заданий разница между оценками моделей и экспертными подходами возрастает. Анализ практических различий моделей показал, что выбор ИИ-алгоритма зависит от ряда факторов, связанных не только с точностью оценок, но и с вычислительными и экономическими ресурсами и целями оценивания.
3) Разработка архитектуры персонализированной системы оценивания с использованием ИИ. Были проанализированы используемые алгоритмы адаптивного тестирования, способы их применения и интерпретируемость результатов. Изучалась необходимость разделения функциональных ролей LLM в системе адаптивного тестирования: генерация заданий, автоматический скоринг; персонализированная обратная связь. Проведенный анализ показал высокий потенциал гибридных архитектур, которые комбинируют интерпретируемые модели (например, Generalized Linear Models) и современные нейросетевые подходы (LLM) и позволяют разделить функции точной диагностики и гибкой генерации контента, повышая как эффективность, так и прозрачность процесса персонализации.
По направлению 2.1 был проведен анализ исследований о предвзятости и факторах, влияющих на справедливость в ИИ-алгоритмах с акцентом на особенности оценки когнитивных и учебных результатов. Проведенный обзор позволил сформулировать следующие интегральные выводы исследований в сфере этики ИИ для текущего проекта: 1) алгоритмическая предвзятость систематически воспроизводит социально-демографическое неравенство; 2) непрозрачность и отсутствие объяснимости значительно подрывают валидность и доверие к ИИ оценке; 3) ИИ-алгоритмы могут демонстрировать дифференцированную точность по отношению к разным демографическим группам; 4) предиктивная аналитика ИИ зависит от накопленных данных, которые могут быть искажены и неравномерно распределены по группам.
По направлению 2.2 был проведен анализ литературы для исследования возможностей применения методов причинного анализа для выявления ключевых факторов предвзятости и моделирования корректирующих механизмов, а также определения методик стратифицированного анализа и аудита алгоритмов, направленных на уменьшение риска предвзятости и повышение валидности оценок. В результате анализа были систематизированы и сгруппированы в три категории источники смещения: социально-экономические, культурно-языковые и психологические. Построена причинная модель в формате направленного ациклического графа (DAG), описывающая структуру связей между неуправляемыми переменными контекста и управляемыми параметрами системы. Классифицированы и отобраны алгоритмы, направленные на уменьшение предвзятости, по трем группам: предварительная обработка данных, модификация алгоритмов и последующая обработка результатов. Определены методики для стратифицированного анализа.
Публикации
1.
Карданова Е.Ю. (научная редакция), Тарасов С.В., Иванова А.Е., Юсупова Э.М., Грачева Д.А. и др.
Новые подходы к оцениванию: искусственный интеллект как драйвер изменений в образовании
Современная аналитика образования, Новые подходы к оцениванию: искусственный интеллект как драйвер изменений в образовании / Е. Ю. Карданова (научная редакция), С. В. Тарасов, А. Е. Иванова, Э. М. Юсупова, Д. А. Грачева, К. В. Тарасова, И. С. Денисов, Д. П. Талов, А. С. Струкова ; Национальный исследовательский университет «Высшая школа экономики», Институт образования. — М.: НИУ ВШЭ, 2025. —88 с. — 100 экз. — (Современная аналитика образования. № 5 (88)). (год публикации - 2025)
Нет