Аннотация результатов, полученных в 2021 году
В рамках выполнения проекта в 2021 был выполнен аналитический обзор по тематике проекта, а также разработаны: концептуальная модель системы поддержания водителя в определенном состоянии с помощью персонализированных воздействий; метод анализа состояния водителя на основе обработки его физиологических характеристик с использованием технологий компьютерного зрения; алгоритм идентификации трехмерных объектов на изображении на основе методов машинного обучения с использованием изображений камеры; метод динамического формирования трехмерной карты местности на основе двумерного изображения; и экспериментальный стенд для исследования различных алгоритмов поиска стратегий воздействия на пользователя для поддержания его в определенном состоянии. Новизна разработанной концептуальной модели системы поддержания водителя в определенном состоянии с помощью персонализированных воздействий (формируемых, в том числе, с помощью обучения с подкреплением) обусловлена тем, что в существующих публикациях, посвященных системам поддержки водителя, аспект персонализации воздействий игнорируется. Поддержание водителя в определенном состоянии основывается на данных, получаемых в ходе наблюдения системы водитель-транспортное средство. Эти данные могут собираться как непосредственно о водителе (видеомониторинг с помощью камеры, направленной на водителя, носимые датчики), так и о характере движения транспортного средства и действиях по управлению, поскольку изменениям состояния водителя могут вызвать и изменения динамики транспортного средства. Собранные данные подвергаются обработке, включая как достаточно простую обработку (чистку выбросов, удаление шумов), если речь идет о простых датчиках, так и применение сложных моделей компьютерного зрения (например, определение открытости глаз, продолжительности моргания и пр.). Результатом является набор производных характеристик, которые описывают текущее состояние системы водитель-транспортное средство. Разработанный метод анализа состояния водителя на основе обработки его физиологических характеристик с использованием технологий компьютерного зрения направлен на мониторинг состояния водителя с целью оценки его способности управлять автомобилем. Метод состоит из двух основных этапов. На первом этапе, который включает в себя шаги по получению данных, их предварительной обработки и расчета анализируемого параметра, применяются нейронные сети для оценки физиологических характеристик водителя (а именно, частоты дыхания, частоты сердечных сокращений, артериального давления и степени насыщения крови кислородом) на основе анализа последовательности изображений, снятых с помощью монокулярной камеры, работающей в видимом цветовом диапазоне. На втором этапе рассчитанные значения используются в качестве входных данных для модели распознавания состояния водителя (шаг определение состояния водителя). Модель представляет собой совокупность правил, организованных в виде дерева решений. Результатом работы метода является одно из состояний (нормальное или ненормальное). Нормальное состояние означает, что водитель здоров и способен управлять транспортным средством, в то время как ненормальное состояние означает, что водителю необходимо остановиться и прекратить управление. Научная новизна метода заключается в том, что в рамках проекта предложено определять физиологические характеристики на основе анализа изображений именно с монокулярной камеры и делать выводы о состоянии водителя на основании его физиологических характеристик. При этом необходимо отметить, что разработанная модель определения частоты дыхания основана на обнаружении ключевых точек, анализе оптического потока и методах обработки сигнала, за счет чего она не подвержена существенному влиянию освещенности и позволяет достичь лучших результатов по сравнению с существующими на сегодняшний день моделями. И наконец, модель оценки частоты сердечных сокращений, артериального давления и насыщения крови кислородом основана на анализе последовательности изображений, снятых с помощью монокулярной камеры, работающей в видимом цветовом диапазоне и предложенных собственных нейросетевых архитектурах. Разработанный алгоритм идентификации трехмерных объектов на изображении на основе методов машинного обучения с использованием изображений камеры позволяет не только размечать объекты на изображении, но и строить их трехмерные модели (определять координаты и размеры в трех измерениях). Для обнаружения трехмерных динамических объектов, в том числе автомобилей, пешеходов, велосипедов и т.д. на одном изображении в видимом цветовом диапазоне в рамках проекта был разработан алгоритм, включающий в себя использование двух нейронных сетей для обнаружения трехмерных объектов. Первая нейронная сеть основана на отслеживании центра объекта, который используется для обнаружения пешеходов, велосипедистов и мотоциклов. Значения глубины (ось z) корректируются с помощью модели оценки глубины. Вторая нейронная сеть отвечает за предсказание местоположения, ориентации и типа трехмерной модели для каждого транспортного средства в сцене. При этом каждое изображение обрабатывается тремя нейронными сетями. Первая нейронная сеть генерирует маску глубины для конкретной сцены. Вторая нейронная сеть выполняет обнаружение 3D-объектов с их отслеживанием, для ускорения времени работы алгоритма. Она отвечает за обнаружение динамических объектов (пешеходов, велосипедистов и т. д.), за исключением транспортных средств. Выход этой нейронной сети представляет собой ограничивающую трехмерную рамку, в которой есть информация о координатах центра рамки x, y, z и ее размер. Координаты z корректируются с помощью масок глубины, сформированных первой моделью. Третья нейросетевая модель отвечает за определение расположения в трехмерном пространстве, ориентации транспортного средства в сцене, а затем заменяет объект в рамке соответствующей трехмерной моделью из базы данных и создаст трехмерное окно, окружающее 3D-модель. Результатом работы всех компонентов будет обнаружение в трехмерном пространстве всех динамических объектов на сцене и трехмерные модели обнаруженных транспортных средств. Было определено, что для решения данной задачи достаточно изображения одного ракурса, выполненного из кабины транспортного средства. Разработанный в рамках проекта метод динамического формирования трехмерной карты местности на основе двумерного изображения основывается на разработанных трех основных моделях. Первая модель отвечает за создание карты глубины для всей сцены из одного цветного изображения. Используя эту маску глубины вместе с исходным изображением, осуществляется построение трехмерного облака точек для каждой сцены. Вторая модель отвечает за обнаружение динамических объектов в трехмерном пространстве (транспортные средства, пешеходы, велосипеды и т. д.). Обнаружение трехмерного объекта предоставит информацию о его расположении в трехмерном пространстве, а также о его ориентации. В частности, для транспортных средств модель будет генерировать 3D-модели, которые соответствуют реальной сцене. Третья модель отвечает за распознавание статических объектов, таких как деревья, здания и знаки. В итоге результаты работы моделей обеспечивают построение 2D карты для сцены с видом сверху, трехмерную карту (облако точек) для сцены и 3D-модели для транспортных средств в сцене. Научная новизна предложенного метода главным образом заключается в предложенном наборе шагов для построения на первом этапе 2D карты и перехода от 2D карты к 3D карте на втором этапе, а также модифицированной архитектуре EfficientNet для 3D предсказания локализации и ориентации транспортного средства. Также в рамках работ по Проекту был реализован экспериментальный стенд для исследования различных алгоритмов поиска стратегий воздействия на пользователя для поддержания его в определенном состоянии. Для обучения и оценки алгоритмов формирования персонализированных воздействий была разработана имитационная модель бдительности водителя.

Аннотация результатов, полученных в 2022 году
В рамках выполнения проекта в 2022 году были получены следующие основные результаты: (1) создан набор данных (1506 видеозаписей), содержащий информацию о скорости движения транспортного средства; координатах; видеопотока с камеры, направленной на водителя и видеопотока с камеры, направленной на дорогу; состоянии водителя, полученном на основе использования методов определения сонливости, разработанных в проекте 2018, а также подтвержденную общую оценку его состояния; разработан метод анализа состояния водителя на основе его поведения на дороге; (3) разработана информационная модель зависимости состояния водителя от внешних факторов; (4) разработан алгоритм оценки безопасной скорости движения транспортного средства; (5) разработан метод поддержания водителя в определенном состоянии. На дату подачи отчета за два года выполнения проекта было опубликовано 11 научных работ: две работы в журнале из первого квартиля согласно системе цитирования Web of Science, две работы в журнале второго квартиля согласно системе цитирования Scopus и семь статей опубликованы в трудах международных конференций и проиндексированы в системах цитирования Web of Science и Scopus. Помимо этого, две статьи были приняты к публикации на международной конференции, труды которой будут проиндексированы в системах цитирования Web of Science и Scopus. Метод анализа состояния водителя на основе его поведения на дороге показал наличие корреляции между событием «Обгон» и углами поворота и наклона головы водителя, а также нижней и верхней границей кровяного давления и в меньшей степени частотой сердечных сокращений водителя транспортного средства. Корреляции между остальными параметрами статистически незначимы. Полученные корреляции объяснимы с физической точки зрения. При обгоне водителю необходимо повернуть голову, чтобы убедиться в безопасности маневра. Информационная модель зависимости состояния водителя от внешних факторов ориентирована на поиск корреляция между параметрами состояния водителя: количество вдохов и выдохов, частота сердечных сокращений, кровяное давление и насыщенность крови кислородом и маневрами транспортного средства. Эксперименты показали, что существует значительная корреляция между всеми жизненными показателями и наличием маневров, коэффициенты корреляции между артериальным давлением и маневрами имеют высокое значение, что указывает на сильную связь между этими признаками. Корреляцию можно объяснить тем фактом, что обеспокоенность и/или сосредоточенность человека вызывает снижение значений артериального давления в целом. Кроме того, заметна умеренная положительная корреляция между частотой сердечных сокращений и маневрами, что также ожидаемо, поскольку сердце человека может биться быстрее при выполнении любого действия, требующего внимания. При этом систолическое артериальное давление показывает существенную, хоть и слабую корреляцию с расстоянием до впередиидущего транспортного средства, что указывает на незначительное изменение значений систолического артериального давления при изменении расстояния между транспортными средствами. Алгоритм оценки безопасной скорости движения транспортного средства на основе адаптивного изменения ограничения скорости в соответствии с изменениями внешней среды на основе данных монокулярной камеры основан на комплексном анализе следующих факторов: (1) количество транспортных средств вокруг автомобиля; (2) статическое ограничение скорости; (3) ширина дороги; (4) относительное расстояние до каждого транспортного средства; (5) кривизна дороги; (6) погода; (7) степень освещенности дороги. Таким образом, предлагаемая система учитывает ограничение скорости, установленное правилами дорожного движения, и корректирует его значение в зависимости от количества транспортных средств, расстояния до ближайшего транспортного средства, кривизны и ширины дороги, погодных условий и времени суток на конкретной сцене. Разработанный алгоритм рекомендует максимальную скорость, согласно ограничению скорости на данном отрезке дороги, а в случае влияния дополнительных факторов риска ДТП он предлагает водителю снизить скорость, что повышает общую безопасность. В целом система показывает многообещающие результаты на небольшом количестве данных с ручным тестированием и оценкой. В рамках задачи по разработке и апробации метода поддержания водителя в определенном состоянии было проведено экспериментальное исследование, преследующее две цели: а) оценка влияния внешних (аудиальных) воздействий на уровень бдительности водителя; б) построение вычислительной модели влияния воздействий на уровень бдительности. Было показано, что применение аудиальных воздействий оказывает положительное влияние на уровень бдительности. Построены линейная вычислительная модель, позволяющая предсказывать уровень бдительности на основе времени монотонной деятельности и времени, прошедшего с последнего воздействия, и генеративная вероятностная модель, позволяющая моделировать распределение времени реакции. Предложенные модели были использованы для отладки и сравнения алгоритмов формирования воздействий. Предложен комплекс специализированных алгоритмов онлайн-обучения, позволяющих формировать эффективные персонализированные стратегии воздействий для поддержания водителя в определенном состоянии. Проведено тестирование алгоритмов в экспериментах с реальными людьми. Показано, что формируемые стратегии воздействий позволяют повысить средний уровень бдительности.