Интеллектуальные технологии поддержки принятия решений на основе моделирования и контроля взаимодействия человек-искусственный интеллект

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 24-11-00272

НазваниеИнтеллектуальные технологии поддержки принятия решений на основе моделирования и контроля взаимодействия человек-искусственный интеллект

Руководитель Ковальчук Сергей Валерьевич, Кандидат технических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет ИТМО" , г Санкт-Петербург

Конкурс №92 - Конкурс 2024 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-201 - Искусственный интеллект и принятие решений

Ключевые слова Искусственный интеллект, человеко-компьютерное взаимодействие, поддержка принятия решений, объяснимый искусственный интеллект, моделирование поведения, машинное обучение

Код ГРНТИ28.23.24, 28.23.20

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
В рамках проекта предлагается разработка, реализация и исследование научно-технического задела в части обеспечения взаимодействия человек-ИИ (искусственный интеллект) в рамках решения прикладных задач поддержки принятия решений. Целью проекта является преодоление системного разрыва между исследованиями/разработками в области ИИ и их практическим применением. Разрыв планируется сократить за счет повышения готовности ИИ-решений к внедрению путем построения механизмов активной адаптации, повышения доверия и контролируемого двустороннего взаимодействия человек-ИИ, ориентированного на совместное достижение общей цели оператором/ЛПР (лицом, принимающим решения) и ИИ. Для достижения цели в рамках проекта исследуются особенности поведения ЛПР в ходе принятия решений, возможности ИИ по самонастройке и адаптации, подходы к оптимизации информационного взаимодействия человек-ИИ (в частности, выбор передаваемой информации, ее формат и т.д.), методы и модели масштабных сложных систем с подобным типом взаимодействия. Ключевыми особенностями проекта являются учет индивидуальных особенностей оператора/ЛПР (персонализация), работа с моделями ценностей, двунаправленное взаимодействие человек-ИИ, оценка эффекта от внедрения предлагаемых решений по выбору стратегии информационного взаимодействия на системном уровне. Исследования принципиально ориентированы на практическую направленность решений и рассматривают серию различных прикладных областей (медицина, гидрометеорология, правоприменение, программирование – список планируется расширить в ходе проекта) для разработки, исследования и внедрения практически значимых решений уровня СППР (систем поддержки принятия решений).

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Аннотация результатов, полученных в 2024 году
В ходе выполнения работ по проекту в 2024 году были получены следующие научные результаты. Была разработана общая концептуальная модель двунаправленного взаимодействия человек-ИИ. В основе предложенной модели лежит структурированное взаимодействие трех контекстов принятия решений и взаимной оценки состояний со стороны ЛПР и агента ИИ. Три упомянутых контекста включают внешний контекст принятия решений, учитывающий доступные ресурсы, структуру эпизода принятия решений, внешнюю нормативную регуляцию; внутренний контекст принятия решений, учитывающий профессиональные характеристики (опыт, типовые модели поведения и пр.) и общечеловеческие когнитивные и поведенческие модели (мотивация, ценности, механизмы рассуждения и пр.); социальный контекст принятия решений, учитывающий модели взаимодействия с другими ЛПР (принимающими те же решения в сходных ситуациях-прецедентах или принимающими смежные решения связанные с текущим). В качестве базовых механизмов моделирования совместного принятия решений ИИ и ЛПР были выбраны такие подходы как Theory of Mind (ToM), Inverse Reinforcement Learning (IRL), Technology Acceptance Model (TAM), модели динамики мнений и др. Были структурированы сценарии поддержки принятия решений по избранным предметным областям. Были выбраны четыре сценария принятия решений из различных предметных областей, обеспеченные доступными наборами данных, собранными в рамках текущего проекта, имеющиеся ранее у коллектива в рамках научно-технического задела или доступные как готовые открытые источники данных. Сценарии были разделена на две группы: основные сценарии (принятие врачебных решений, принятие решений при разработке программного обеспечения) и дополнительные сценарии (принятие судебных решений, принятие организационных решений в научной деятельности). Была разработана и исследована серия разработанных оригинальных моделей поведения ЛПР с точки зрения различных аспектов его внешнего, внутреннего и социального контекста. Основной акцент был сделан на наименее покрытые компоненты (внутренний и социальный контекст) в рамках основных сценариев принятия решений. Была разработана предсказательная модель субъективного восприятия информации от ИИ на основе модели TAM, идентифицируемой по результатам опроса, Байесовской сети доверия для предсказания основных характеристик предложенной модели и персонализированных характеристик ЛПР. На двух наборах данных было показано снижение средней абсолютной ошибки по шкале Ликерта предсказания субъективной полезности ответа на 76-77%. Также было показано повышение качества предсказания (снижение ошибки в 2-3 раза) при введении 6-8 типовых моделей поведения (кластеров) для рассмотренных наборов данных. Была разработана модель рассуждения ЛПР при субъективном восприятии информации от ИИ на основе методов IRL и модели рассуждений MDP, состояния которой сответствуют бинарному выбору по субъективным характеристикам (целостность, корректность, полезность). Была показана возможность обучения индивидуальных моделей с учетом внутреннего и внешнего контекста. Вместе с тем, была показана возможность предсказания субъективных характеристик по объективным, что может быть использовано далее для предсказания параметров внутреннего контекста по параметрам внешнего. В рамках исследования возможностей моделирования внутреннего контекста ЛПР и его использования в моделях ИИ было проведено исследование возможностей обучение с подкреплением на основе человеческой обратной связи на примере вопросно-ответных систем в области программирования. Была показан возможность обучения моделей вознаграждения по данным оценок онлайн-форумов. Далее, было показана возможность использования этой модели для дообучения большой языковой модели с получением качества сопоставимого с бОльшими моделями из рассматриваемого семейства (GPTNeo) при использовании меньшей модели. Было проведено исследование определения возможного различия в восприятии ЛПР рекомендаций ИИ и человека. Для этого на примере данных обсуждения задач (issue) в открытых проектах GitHub была решена задача классификации ответных комментариев на предложения с явным использованием ChatGPT и без такого использования. Было показано, что с использованием векторизации эмоциональной окрашенности текста ответного комментария можно обеспечить заметную точность работы классификатора. Эксперимент может служить косвенным свидетельством влияния эмоциональной (общечеловеческой) составляющей внутреннего контекста на профессиональное восприятие ЛПР информации от ИИ. Был разработан и исследован подход к описанию эмерджентного поведения агентов в рамках моделирования социального контекста. На примере искусственной эталонной модели HeatBug была показана возможность идентификации и интерпретации типовых моделей поведения агентов с использованием суррогатных моделей поведения, кластеризации веков значимости факторов этих моделей, обратного отображения сформированных кластеров на пространство макропараметров моделей. В рамках исследования социального контекста принятия решений была проведена серия экспериментов по моделированию распространения «практик» и социального восприятия норм в системе здравоохранения на примере данных о выборе стратегии диагностики и лечения головокружения. Было показано, что построенная имитационная модель динамики практик на основе подходов к описанию динамики мнений и теоретико-информационной оценки практик может воспроизводить не только приверженность врачей отдельным стратегиям, но и изменение этих предпочтений в рамках общения с другими врачами. В рамках исследования технологий взаимодействия ЛПР и ИИ была проведена серия экспреиментов по передаче социального и внутреннего контекста в современные модели ИИ. В частности, были исследованы современные подходы на основе механизмов RAG (Retrieval Augmented Generation) для оптимального структурирования запросов (промптов) и их компонентов, применения ансамбля моделей, организации диалоговой генерации кода. На открытых наборах данных было показано повышение качества при использовании отдельных техник, а также потенциал к передаче повышению эффективности взаимодействия с БЯМ.

Публикации

1. Иредди А. Т. Ш., Ионов М. В., Белоглазов Л. А., Зацепина Е. А., Ковальчук С. В. Evaluating Perceived Complexity of Process Models from a Targeted Survey of Healthcare Domain Specialists Communications in Computer and Information Science (год публикации - 2024)

2. Ковальчук С. В., Ли Ч., Кубряк О. В. Towards explaining emergent behavior in multi-agent systems micro-parameter space structuring with feature importance in Heatbug model 2024 IEEE International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT) (год публикации - 2024)

3. Ковальчук С. В., Иредди А. Т. Ш. Prediction of Users Perceptional State for Human-Centric Decision Support Systems in Complex Domains through Implicit Cognitive State Modeling Proceedings of the Annual Meeting of the Cognitive Science Society, Том 46, страницы 3257-3264 (год публикации - 2024)

4. Пименов А., Ковальчук С. В. Evaluation and Prediction of Human Software Developers' Perception of Large Language Models Suggestions Using GitHub Data Lecture Notes in Computer Science (год публикации - 2024)

5. Горбатовский А. В., Разин А. Д., Алиев А. А., Ковальчук С. В. Improving question answering in programming domain with pretrained language model finetuning using structured diverse online forum data Scientific and Technical Journal of Information Technologies, Mechanics and Optics, Том 24 № 6, страницы 899-909 (год публикации - 2024)

Аннотация результатов, полученных в 2025 году
В рамках проекта в 2025 году были проведены комплексные исследования в области интеллектуальных технологий поддержки принятия решений, фокусирующиеся на моделировании и оптимизации взаимодействия человека и искусственного интеллекта. Основой исследований стала разработанная концепция гибридных когнитивных систем (ГКС), которая рассматривает взаимодействие агента естественного интеллекта (АЕИ) и агента искусственного интеллекта (АИИ) как единую когнитивную систему с определенной структурой и принципами функционирования. В рамках разработки методов идентификации когнитивных состояний лиц, принимающих решения (ЛПР), была предложена оригинальная марковская модель процесса принятия решений (MDP), реализующая трехэтапную оценку по модели CAU (consistency-agreement-usefulness). Эта модель, включающая этапы оценки понятности, корректности и готовности использовать результаты, продемонстрировала значительное повышение качества предсказания поведения специалистов (до 0,829 против 0,689 у прямых методов). Для персонализации взаимодействия были разработаны методы кластеризации ЛПР на основе политик принятия решений с применением обратного обучения с подкреплением (Inverse Reinforcement Learning, IRL). Для моделирования состояния ЛПР со стороны ИИ был внедрен принцип двойственного моделирования, согласно которому АИИ принимает решения с учетом оценок как по модели внутреннего состояния АИИ, так и по модели состояния АЕИ. На примере поддержки врачебных решений была разработана обобщенная модель MDP, состояния которой соответствуют субъективным оценкам ЛПР по модели CAU. Для разработки программного обеспечения был реализован подход адаптивного контекстного усиления, учитывающий специализацию разработчика, тестовые примеры, формат ответа и сложность задачи, что позволило повысить метрику качества генерации кода pass@1 с 0,622 до 0,842. Значительное внимание было уделено разработке обобщенных моделей ценностей и оценки информации. На основе принципа асимметричности ГКС была систематизирована проблема выравнивания моделей ИИ в профессиональных задачах принятия решений с выделением трех ключевых аспектов: объективная корректность и этичность рекомендаций ИИ, субъективное соответствие ожиданиям ЛПР и многомасштабная адаптация. Для исследования объяснимости ИИ был разработан расширяемый бенчмарк XAIB, основанный на фреймворке Co-12 Framework. Важным результатом стало создание единого фреймворка, интегрирующего модель динамики диффузии-миграции мнений на основе дифференциальных уравнений в частных производных с агентным подходом SINP-OBJ. Этот фреймворк позволяет динамически обновлять параметры ядра восприятия с использованием расстояния Вассерштейна между субъективным индивидуальным восприятием нормы и объективной коллективной нормой. На базе фреймворка была разработана расширенная модель динамики диффузионно-миграционных мнений с нелокальным ядром взаимодействия для описания распространения, совместного использования, сходимости и нарушения коллективных норм в многоагентных системах. В рамках экспериментальной апробации разработанных моделей были исследованы четыре ключевых сценария: принятие врачебных решений, разработка программного обеспечения, принятие судебных решений и сотрудничество в научном сообществе. Для медицинского сценария были собраны и структурированы новые наборы данных с анонимизированными электронными медицинскими картами пациентов с коронавирусом и артериальной гипертензией. В сценарии разработки ПО был разработан метод предварительной фильтрации при генерации кода, использующий в реальном времени поведенческую телеметрию разработчика, что позволило увеличить показатель принятия кодовых предложений с 18,4% до 34,2% и сократить количество вызовов ИИ на 35%. В юридической сфере были исследованы методы тематической сегментации судебных решений для автоматического структурирования текстов на фактическую, нормативную и резолютивную части. Была создана эталонная разметка сегментов и проведена сравнительная оценка четырех методов (K-means, LDA, TextTiling, BERTopic), при этом TextTiling показал наилучшие результаты (Precision = 0,6793, IoU = 0,5125). Для прогнозирования сотрудничества в научном сообществе была разработана модель на основе графовых нейронных сетей, достигшая ROC-AUC ~0,86 и F1-score ~0,78 при использовании 5-7 лет исторических данных.

Публикации

1. Ли. Ч., Петручик О. В., Гришанина Е. О., Ковальчук С. В. Multi-agent norm perception and induction in distributed healthcare Journal of Biomedical Informatics, Journal of Biomedical Informatics 166 (2025), Article 104835 (год публикации - 2025)
10.1016/j.jbi.2025.104835

2. Моисеев И., Балабаева К., Ковальчук С. Open and Extensible Benchmark for Explainable Artificial Intelligence Methods Algorithms, Algorithms. – 2025. – Т. 18. – №. 2. – С. 85. (год публикации - 2025)
10.3390/a18020085

3. Кубряк О.В., Ковальчук С.В. Искусственный сенсорный компонент в системе человек - машина с комбинированной обратной связью Проблемы управления, Проблемы управления. – 2024. – Т. 6. – №. 0. – С. 27-37 (год публикации - 2024)

4. Гофман О.О., Кузьмин А. Ю., Ковальчук С. В. Симбиотическое взаимодействие «человек — искусственный интеллект» в системах поддержки принятия решений Организационная психология, Организационная психология. 2025. Т. 15. № 1., С. 297-321 (год публикации - 2025)
10.17323/2312-5942-2025-15-1-297-321

5. Ли. Ч., Жанг Д., Рен Ф., Ковальчук С.В Cross-Scale Modeling of Healthcare Norms and Patient Features Dynamics with Interpretable Machine Learning Lecture Notes in Computer Science, International Conference on Computational Science. – Cham : Springer Nature Switzerland, 2025. – С. 113-127 (год публикации - 2025)
978-3-031-97557-8_9

6. Витко М.А, Ковальчук С.В Structuring and optimization of personalized context for large language models in software developer's support Lecture Notes in Networks and Systems (год публикации - 2025)

7. Ковальчук С.В., Кубряк О.В. Проблема выравнивания моделей искусственного интеллекта в задачах профессионального принятия решений Нравственный прогресс: уроки прошлого и вызовы настоящего, Материалы конференции 20–22 ноября 2025 г., С. 158-159 (год публикации - 2025)

8. Иредди Ашиш Тара Шивакумар, Ковальчук С.В. Simulation Modeling of Clinical Decision Making for Personalized Policy Identification Lecture Notes in Computer Science, International Conference on Computational Science. – Cham : Springer Nature Switzerland, 2025. – С. 412-420 (год публикации - 2025)
10.1007/978-3-031-97635-3_49

9. Иредди Ашиш Тара Шивакумар, Ковальчук С.В. Analysis of Internal and External Context in Clinical Decision Scenarios with Expert Feedback Lecture Notes in Networks and Systems (год публикации - 2025)

10. Мохаммад Нур Аль Авад, Иванов С.В, Тихонова О.Б Pre-Filtering Code Suggestions using Developer Behavioral Telemetry to Optimize LLM-Assisted Programming Proceedings of the 40th IEEE/ACM International Conference on Automated Software Engineering Workshops (год публикации - 2025)
10.48550/arXiv.2511.18849

11. Кузьмин А. Ю., Гофман О. О., Ковальчук С. В Цифровые технологии поддержки принятия решений в юриспруденции: психологический профиль и доверие пользователей Управленческое консультирование, Управленческое консультирование. – 2025. – №. 5. – С. 106–114. (год публикации - 2025)

12. Доржу Н. Ш., Сухомлинова Т. А., Луо Л., Ковальчук С.В. Predicting Future Collaborations in a Scientific Community Using Graph Neural Networks Lecture Notes in Computer Science, International Conference on Computational Science. – Cham : Springer Nature Switzerland, 2025. – С. 377-384 (год публикации - 2025)
10.1007/978-3-031-97635-3_45

13. Гофман О.О., Ковальчук С.В., Кузьмин А.Ю. Взаимодействие человек-искусственный интеллект в системах поддержки принятия врачебных решений Ананьевские чтения – 2025 (год публикации - 2025)

14. С.В. Ковальчук, М.А. Витко, Я. Ли, О.В. Кубряк Когнитивно-ориентированный подход к проектированию гибридных систем поддержки принятия решений для сложных предметных областей Нелинейная динамика в когнитивных исследованиях, Нелинейная динамика в когнитивных исследованиях – 2025: труды IX Всероссийской конфе- ренции / Федер. исслед. центр Ин-т приклад. физики им. А.В. Гапонова-Грехова РАН [и др.] ; отв. ред. В.А. Антонец, С.Б. Парин, В.Г. Яхно. – Нижний Новгород : ИПФ РАН, 2025. – 168 с. (год публикации - 2025)