КАРТОЧКА ПРОЕКТА,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 18-71-10065

НазваниеМодели и методы интеллектуальной поддержки водителя на основе мониторинга ситуации в кабине транспортного средства

РуководительКашевник Алексей Михайлович, Кандидат технических наук

Организация финансирования, регионфедеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет ИТМО", г Санкт-Петербург

Срок выполнения при поддержке РНФ 07.2021 - 06.2023 

КонкурсКонкурс на продление сроков выполнения проектов, поддержанных грантами Российского научного фонда по мероприятию «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными (30)

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-201 - Искусственный интеллект и принятие решений

Ключевые словаКонтекст, поддержка водителя, рекомендующие системы, онтологии, анализ изображений, персонификация

Код ГРНТИ28.23.29


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Проект направлен на снижение аварийности на дорогах общего пользования за счет разработки инновационных моделей и методов для повышения эффективности функционирования интеллектуальных систем информационной поддержки водителя. Предлагается разработка комплекса моделей, методов и алгоритмов для целенаправленного планирования действий системы информационной поддержки водителя для поддержания его в определенном состоянии (бодр, сконцентрирован на дорожной ситуации) на основе интеграции доступной информации о водителе транспортном средстве и информации о дорожной обстановке. Для этих целей будут использованы современные технологии из области искусственного интеллекта, такие как обучение с подкреплением, компьютерное зрение, коллаборативная фильтрация, профилирование и управление контекстом. Задачи проекта являются логичным продолжением проекта 2018 и ориентированы на получения социально значимых результатов, имеющих широкое практическое использование. Актуальность тематики не вызывает сомнений, так как дорожно-транспортные происшествия являются на сегодняшний день одной из основных причин смерти людей в мире. За 2019 год в Европе в дорожно-транспортных происшествиях погибло более 39 000 человек, из которых более 16 000 человек погибло в Российской Федерации. При этом усталость, сонливость и невнимательность являются составляющими причинами 20-30% дорожно-транспортных происшествий. Научная новизна проекта главным образом заключается в применении подхода обучения с подкреплением для задачи интеллектуальной поддержки водителя (на данный момент в мире нет публикаций, свидетельствующих о выполнении таких исследований) с целью поддержания его в определенном состоянии. В рамках проекта будет создан комплекс инновационных моделей, методов и алгоритмов, направленных на решение данной задачи. Полученные в рамках проекта результаты могут быть использованы в современных системах поддержки водителя, разрабатываемых как заводами-изготовителями транспортных средств, так и сторонними компаниями, производящими комплексные системы для мониторинга водителя в кабине транспортного средства.

Ожидаемые результаты
Основной целью работ по проекту 2018 являлась оценка состояния водителя с целью предотвращения аварийных ситуаций. Был разработан ряд перспективных моделей и алгоритмов мирового уровня, что подтверждается публикациями в престижных ведущих международных изданиях из первого квартиля системы цитирования Web of Sciences, а также вхождением статей с результатами проекта в 25% лучших статей (https://www.altmetric.com/details/66739284 и https://www.altmetric.com/details/77118544) согласно данным ресурса Publons (Web of Science). Продолжение исследований планируется посвятить решению задачи целенаправленного планирования действий системы поддержки (генерации рекомендаций) водителя для поддержания его в определенном состоянии и для этих целей использовать современные технологии компьютерного зрения для анализа не только ситуации в кабине транспортного средства, но также и дорожной обстановки. Необходимо отметить, что в настоящее время не существует исследований, которые бы интегрировали эти два информационных потока (анализ изображений с камеры, направленной на водителя и камеры, направленной на дорогу). Анализ обстановки в кабине транспортного средства был детально проработан в рамках проекта 2018, а анализ дорожной обстановки на данный момент является перспективным направлением исследований и даже существуют коммерческие разработки (например, компания Mobileye: https://www.mobileye.com/). При этом исследования, предполагающие интеграцию этих двух информационных потоков, являются на сегодняшний день передовыми и востребованными. Таким образом, можно сделать вывод, что результаты, полученные в рамках предлагаемого проекта будут превосходить мировой уровень, что подтверждается с одной стороны востребованностью в мире подходов к обучению с подкреплением для систем персонализации и, с другой стороны, отсутствием в настоящее время научных публикаций, посвященных применению таких подходов в системах интеллектуальной поддержки водителя, а также учета как ситуации внутри транспортного средства, так и снаружи него (что также подчеркивает научную новизну и значимость исследования). Возможность практического использования ожидаемых результатов не вызывает сомнений, так как повышение безопасности дорожного движения в настоящее время является глобальным вызовом, относящимся к социальной сфере. В мире ежедневно происходит огромное количество дорожно-транспортных происшествий, которые приводят как экономическому ущербу, так и к смертельным исходам. Основной целью данного проекта, равно как и целью проекта 2018 года является снижение аварийности на дорогах общего пользования за счет разработки инновационных моделей и методов для повышения эффективности систем поддержки водителя. При этом результаты исследований проекта 2018 уже частично были реализованы в рамках системы Drive Safely для смартфонов на базе OS Android, которая доступна в магазине приложений GooglePlay. Планируется развитие данной системы с целью реализации в ней последних научных результатов, полученных в данном проекте. При этом в отличие от мониторинга состояния водителя, активное поддержание определенного состояния с учетом как ситуации внутри транспортного средства, так и снаружи него, можно считать следующим качественным уровнем обеспечения безопасности в области дорожного движения, что несомненно обладает высокой общественной значимостью. Таким образом, можно сделать вывод о том, что предлагаемые исследования имеют высокую степень актуальности и востребованности, а результаты будут обладать научной новизной и соответствовать, а в ряде аспектов и превосходить мировой уровень. В рамках решения поставленной задачи планируется получение следующих основных результатов (схема задач проекта наглядно представлена на рисунке в приложении к отчету): 1. Концептуальная модель системы поддержания водителя в определенном состоянии (бодр, сконцентрирован на дорожной ситуации) с учетом комплексного анализа контекста водителя, включающего как его состояние, так и воздействующие на него факторы (например, дорожная обстановка, рекомендации, ситуации в кабине) на основе генерации соответствующих рекомендаций и диалогов с водителем. 2. Метод анализа состояния водителя на основе обработки его физиологических характеристик (частоты и ритмичности дыхания, кровяного давления, частоты и ритмичности пульса, уровня кислорода в крови) с использованием методов компьютерного зрения (в том числе удаленной фотоплетизмографии), позволяющий в отличие от существующих подходов с одной стороны повысить точность моделей, основанных на анализе закрытости глаз и зевоты, поскольку модели, основанные на анализе физиологических параметров как правило существенно точнее, а с другой стороны, не требующий сложного оборудования, необходимого для фиксации физиологических параметров. 3. Создание набора данных, содержащего информацию о скорости движения транспортного средства; координатах; видеопотока с камеры, направленной на водителя и видеопотока с камеры, направленной на дорогу; состоянии водителя, полученном на основе использования методов определения сонливости, разработанных в проекте 2018, а также подтвержденную общую оценку его состояния. В настоящее время такого набора данных не существует, однако, при этом он необходим для разработки метода анализа состояния водителя на основе его поведения на дороге. Данный набор данных является логичным расширением набора данных, созданного в рамках проекта 2018 и дополняет его (видеопотоком с камеры, направленной на дорогу, а также подтвержденную общую оценку его состояния). 4. Метод анализа состояния водителя на основе его поведения на дороге (характер выполнения перестроений, соблюдение дистанции, время реакции на дорожные события). Планируется интеграция результатов работы данного метода с результатами методов, разработанных в проекте 2018 и заключающихся в оценке сонливости и ослабленного внимания на основе анализа таких параметров как: Percentage of Eyelid Closure over the Pupil over Time (PERCLOS), зевота, положение головы, характер изменения скорости движения транспортного средства, что существенно повысит качество оценки состояния водителя. 5. Информационная модель (например, нейросетевой аппроксиматор) зависимости состояния водителя от внешних факторов, описывающая зависимости психофизиологических характеристик водителя (выражение лица, дыхание, пульс) от таких внешних факторов, как появление перед автомобилем препятствия, смена полосы, пропуск пешехода, получение рекомендаций и взаимодействие с системой поддержки. 6. Алгоритм идентификации трехмерных объектов на изображении, отличающийся от существующих методов отсутствием необходимости использования каких-либо сенсоров (например, лидаров) кроме видеокамеры, и позволяющий не только размечать объекты на изображении, но именно строить их трехмерные модели (координаты и размеры в трех измерениях). 7. Метод динамического формирования трехмерной карты местности на основе двумерного изображения, интегрирующий алгоритм идентификации трехмерных объектов и подход к одновременной локализации и построению карты (SLAM) и позволяющий существенно повысить качество получаемых результатов по сравнению с обычным SLAM подходом. 8. Алгоритм оценки безопасной скорости движения транспортного средства на основе динамически формируемой трехмерной карты местности. Данный алгоритм позволит сравнить выбранную водителем скорость движения и скорость движения, безопасную для текущей ситуации. 9. Метод поддержания водителя в определенном состоянии на основе генерации персонифицированных контекстно-зависимых рекомендаций (персонификация рекомендаций для конкретного водителя достигается посредством выбора значений параметров различных моделей) с использованием подходов обучения с подкреплением.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2021 году
В рамках выполнения проекта в 2021 был выполнен аналитический обзор по тематике проекта, а также разработаны: концептуальная модель системы поддержания водителя в определенном состоянии с помощью персонализированных воздействий; метод анализа состояния водителя на основе обработки его физиологических характеристик с использованием технологий компьютерного зрения; алгоритм идентификации трехмерных объектов на изображении на основе методов машинного обучения с использованием изображений камеры; метод динамического формирования трехмерной карты местности на основе двумерного изображения; и экспериментальный стенд для исследования различных алгоритмов поиска стратегий воздействия на пользователя для поддержания его в определенном состоянии. Новизна разработанной концептуальной модели системы поддержания водителя в определенном состоянии с помощью персонализированных воздействий (формируемых, в том числе, с помощью обучения с подкреплением) обусловлена тем, что в существующих публикациях, посвященных системам поддержки водителя, аспект персонализации воздействий игнорируется. Поддержание водителя в определенном состоянии основывается на данных, получаемых в ходе наблюдения системы водитель-транспортное средство. Эти данные могут собираться как непосредственно о водителе (видеомониторинг с помощью камеры, направленной на водителя, носимые датчики), так и о характере движения транспортного средства и действиях по управлению, поскольку изменениям состояния водителя могут вызвать и изменения динамики транспортного средства. Собранные данные подвергаются обработке, включая как достаточно простую обработку (чистку выбросов, удаление шумов), если речь идет о простых датчиках, так и применение сложных моделей компьютерного зрения (например, определение открытости глаз, продолжительности моргания и пр.). Результатом является набор производных характеристик, которые описывают текущее состояние системы водитель-транспортное средство. Разработанный метод анализа состояния водителя на основе обработки его физиологических характеристик с использованием технологий компьютерного зрения направлен на мониторинг состояния водителя с целью оценки его способности управлять автомобилем. Метод состоит из двух основных этапов. На первом этапе, который включает в себя шаги по получению данных, их предварительной обработки и расчета анализируемого параметра, применяются нейронные сети для оценки физиологических характеристик водителя (а именно, частоты дыхания, частоты сердечных сокращений, артериального давления и степени насыщения крови кислородом) на основе анализа последовательности изображений, снятых с помощью монокулярной камеры, работающей в видимом цветовом диапазоне. На втором этапе рассчитанные значения используются в качестве входных данных для модели распознавания состояния водителя (шаг определение состояния водителя). Модель представляет собой совокупность правил, организованных в виде дерева решений. Результатом работы метода является одно из состояний (нормальное или ненормальное). Нормальное состояние означает, что водитель здоров и способен управлять транспортным средством, в то время как ненормальное состояние означает, что водителю необходимо остановиться и прекратить управление. Научная новизна метода заключается в том, что в рамках проекта предложено определять физиологические характеристики на основе анализа изображений именно с монокулярной камеры и делать выводы о состоянии водителя на основании его физиологических характеристик. При этом необходимо отметить, что разработанная модель определения частоты дыхания основана на обнаружении ключевых точек, анализе оптического потока и методах обработки сигнала, за счет чего она не подвержена существенному влиянию освещенности и позволяет достичь лучших результатов по сравнению с существующими на сегодняшний день моделями. И наконец, модель оценки частоты сердечных сокращений, артериального давления и насыщения крови кислородом основана на анализе последовательности изображений, снятых с помощью монокулярной камеры, работающей в видимом цветовом диапазоне и предложенных собственных нейросетевых архитектурах. Разработанный алгоритм идентификации трехмерных объектов на изображении на основе методов машинного обучения с использованием изображений камеры позволяет не только размечать объекты на изображении, но и строить их трехмерные модели (определять координаты и размеры в трех измерениях). Для обнаружения трехмерных динамических объектов, в том числе автомобилей, пешеходов, велосипедов и т.д. на одном изображении в видимом цветовом диапазоне в рамках проекта был разработан алгоритм, включающий в себя использование двух нейронных сетей для обнаружения трехмерных объектов. Первая нейронная сеть основана на отслеживании центра объекта, который используется для обнаружения пешеходов, велосипедистов и мотоциклов. Значения глубины (ось z) корректируются с помощью модели оценки глубины. Вторая нейронная сеть отвечает за предсказание местоположения, ориентации и типа трехмерной модели для каждого транспортного средства в сцене. При этом каждое изображение обрабатывается тремя нейронными сетями. Первая нейронная сеть генерирует маску глубины для конкретной сцены. Вторая нейронная сеть выполняет обнаружение 3D-объектов с их отслеживанием, для ускорения времени работы алгоритма. Она отвечает за обнаружение динамических объектов (пешеходов, велосипедистов и т. д.), за исключением транспортных средств. Выход этой нейронной сети представляет собой ограничивающую трехмерную рамку, в которой есть информация о координатах центра рамки x, y, z и ее размер. Координаты z корректируются с помощью масок глубины, сформированных первой моделью. Третья нейросетевая модель отвечает за определение расположения в трехмерном пространстве, ориентации транспортного средства в сцене, а затем заменяет объект в рамке соответствующей трехмерной моделью из базы данных и создаст трехмерное окно, окружающее 3D-модель. Результатом работы всех компонентов будет обнаружение в трехмерном пространстве всех динамических объектов на сцене и трехмерные модели обнаруженных транспортных средств. Было определено, что для решения данной задачи достаточно изображения одного ракурса, выполненного из кабины транспортного средства. Разработанный в рамках проекта метод динамического формирования трехмерной карты местности на основе двумерного изображения основывается на разработанных трех основных моделях. Первая модель отвечает за создание карты глубины для всей сцены из одного цветного изображения. Используя эту маску глубины вместе с исходным изображением, осуществляется построение трехмерного облака точек для каждой сцены. Вторая модель отвечает за обнаружение динамических объектов в трехмерном пространстве (транспортные средства, пешеходы, велосипеды и т. д.). Обнаружение трехмерного объекта предоставит информацию о его расположении в трехмерном пространстве, а также о его ориентации. В частности, для транспортных средств модель будет генерировать 3D-модели, которые соответствуют реальной сцене. Третья модель отвечает за распознавание статических объектов, таких как деревья, здания и знаки. В итоге результаты работы моделей обеспечивают построение 2D карты для сцены с видом сверху, трехмерную карту (облако точек) для сцены и 3D-модели для транспортных средств в сцене. Научная новизна предложенного метода главным образом заключается в предложенном наборе шагов для построения на первом этапе 2D карты и перехода от 2D карты к 3D карте на втором этапе, а также модифицированной архитектуре EfficientNet для 3D предсказания локализации и ориентации транспортного средства. Также в рамках работ по Проекту был реализован экспериментальный стенд для исследования различных алгоритмов поиска стратегий воздействия на пользователя для поддержания его в определенном состоянии. Для обучения и оценки алгоритмов формирования персонализированных воздействий была разработана имитационная модель бдительности водителя.

 

Публикации

1. - Автомобильные стартапы запускаются один за другим, но цифровизация отрасли идёт медленно Деловой Петербург, - (год публикации - ).

2. - Студент ИТМО стал победителем конкурса по машинному обучению от Национального управления океанических и атмосферных исследований США Новости ИТМО, - (год публикации - ).

3. - КОМПЬЮТЕРНОЕ ЗРЕНИЕ. ИНТЕРВЬЮ С ДОЦЕНТОМ ИТМО АЛЕКСЕЕМ КАШЕВНИКОМ Научная Россия, - (год публикации - ).

4. Осман В., Кашевник А., Али А., Шилов Н. DriverMVT: In-Cabin Dataset for Driver Monitoring Including Video and Vehicle Telemetry Information Data, Vol. 7(5). P. 1–13. (год публикации - 2022).

5. Осман В., Кашевник А., Рябчиков И., Шилов Н. Contactless Camera-Based Approach for Driver Respiratory Rate Evaluation in Vehicle Cabin 2022th Intelligent Systems Conference (IntelliSys 2022), - (год публикации - 2022).

6. Уваров К., Пономарев А. Maintaining Vehicle Driver’s State Using Personalized Interventions 31th Conference of Open Innovation Association FRUCT, P. 347–354 (год публикации - 2022).