Аннотация результатов, полученных в 2018 году
По данным опубликованного доклада по безопасности дорожного движения Всемирной организации здравоохранения за 2018 год, в результате дорожно-транспортных происшествий ежегодно в мире погибает около 1,35 млн человек и до 50 млн получают те или иные виды несмертельных травм. Революционный прогресс в области информационных и коммуникационных технологий в последние годы позволяет создавать системы интеллектуальной поддержки водителя в кабине транспортного средства. Основным отличием от существующих исследований в области систем содействию водителю (Advanced Driver Assistance Systems), ориентированных на работу в составе программно-аппаратных комплексов, интегрируемых в транспортные средства на заводах-изготовителях и доступных только в транспортных средствах премиальных сегментов, является то, что предлагаемая система ориентирована на использование на массовом рынке, так как не потребует дополнительных существенных затрат за счет использования смартфона для мониторинга ситуации в кабине транспортного средства. В отчетном периоде участники проекта успешно выполнили все запланированные научно-исследовательские работы и опубликовали результаты исследований. Проведенный анализ текущего состояния исследований в области систем поддержки водителей, в области групповых рекомендующих систем и в области управления контекстом показал актуальность и востребованность работ в данном направлении, а также позволил выделить основные требования, которые предъявляются к системам данного класса: (1) распознавание опасных состояний сонливости, ослабленного внимания, повышенного пульса, вождения в состоянии алкогольного или наркотического опьянения, агрессивного вождения, состояния стресса; (2) генерация рекомендации водителю транспортного средства; (3) функционирование системы как в штатном режиме (при наличии доступа к сети Интернет), так и в ограниченном режиме (при отсутствии доступа к сети Интернет или наличии ограниченного доступа); (4) использование информации о дорожной обстановке; (5) обеспечение механизмов персонификации при взаимодействии с водителем для определения опасных состояний и генерации рекомендаций; (6) оценка качества рекомендаций в широком смысле (учет разнообразия рекомендаций); (7) применение гибридных схем формирования рекомендаций (8) применение метаэвристик. Кроме того, были выявлены основные подходы, используемые для персонализации и адаптации систем поддержки водителя, а также принятые в научном сообществе методы оценки качества персонализации таких систем. Научная новизна предложенной в отчетном периоде концептуальной модели системы интеллектуальной поддержки водителя заключается в классификации опасных состояний водителя транспортного средства на онлайн-определяемые и офлайн-определяемые и использовании подходов к персонификации взаимодействия водителя с системой на основе машинного обучения как при определении онлайн и офлайн опасных состояний, так и при генерации рекомендаций водителю, а также применении концепции открытых данных для формирования контекста (модели ситуации, в которой находится транспортное средство). Онлайн-определяемые опасные состояния водителя транспортного средства (сонливость и ослабленное внимание) необходимо детектировать непосредственно с использованием смартфона, так как временные затраты на передачу информации в облачный сервис и получение рекомендаций в данном случае недопустимы, поскольку время передачи информации сопоставимо с временем реакции водителя для предотвращения дорожно-транспортного происшествия. При этом учитывается тот факт, что не все дороги общего пользования как в Российской Федерации, так и в других странах, охвачены средствами связи, предоставляющими надежные каналы доступа в сеть Интернет, более того, большое количество дорог и вовсе находится вне зоны действия сотовой связи. Офлайн-определяемые опасные состояния (повышенный пульс, вождение в состоянии алкогольного или наркотического опьянения, агрессивное вождение, состояние стресса), напротив, не требуют реакции системы, измеряемой несколькими секундами и, при этом, требуют существенно большие вычислительные мощности по сравнению с онлайн-определяемыми опасными состояниями. В связи с этим было предложено осуществлять вычисления по определению офлайн-определяемых опасных состояний с использованием облачных технологий. Предложенный в рамках концептуальной модели системы интеллектуальной поддержки водителя облачный сервис нацелен на детектирование офлайн-определяемых опасных состояний, выявление особенностей водителей, кластеризацию водителей, а также паттернов поведения для каждого конкретного водителя, что направлено на персонификацию взаимодействия водителя с системой, которая заключается как в адаптации модулей определения опасных состояний (онлайн и офлайн) под индивидуальные особенности водителя, так и в генерации персонифицированных рекомендаций. В связи с этим в рамках разработанной концептуальной модели системы был выделен модуль персонификации и предложена его реализация с использованием механизма адаптивных порогов. Роль персонификации на основе механизма адаптивных порогов на данном этапе заключается в следующем: во-первых, это модельный пример, демонстрирующий наличие в разработанной концептуальной модели всех связей и функциональных блоков, необходимых для реализации механизмов персонификации, во-вторых, относительно простая персонификация с помощью адаптивных порогов в дальнейшем будет выступать в качестве эталона для сравнения при оценке более сложных методов персонификации, в-третьих, она призвана повысить привлекательность использования системы, что важно, в частности, при сборе статистики использования для оптимизации моделей распознавания опасных состояний. Для генерации рекомендаций водителю транспортного средства было предложено использовать как информацию об определенном опасном состоянии и информацию, вычисляемую на основе анализа данных сенсоров смартфона (скорость транспортного средства, его ускорение, освещенность в кабине и т.п.), так и контекст транспортного средства, вычисляемый на основе анализа информации от доступных источников связанных и открытых данных, подключенных к сети Интернет и имеющих отношение к транспорту (например, сервер статистики ГИБДД, веб камеры на трассе и на перекрестках, информация о пробках, данные от транспортных средств других участников дорожного движения, а также информация о придорожных кафе и автозаправочных станциях для отдыха водителей). В одной из публикаций, подготовленной в рамках проекта авторы предложили термин Internet of Transportation Things суть которого заключается в том, что для формирования контекста транспортного средства используются любые вычислительные устройства и сервисы, подключенные к сети Интернет и имеющие отношение к транспорту. Профиль водителя транспортного средства был разработан с использованием онтологической модели, созданной в свободно распространяемом редакторе онтологий Protégé с использованием языка OWL. Подход, основанный на использовании онтологий, в последние годы хорошо себя зарекомендовал, что отражено в ряде научных работ. Онтологическая модель была разработана с использованием 117 аксиом, 38 классов, 9 свойств-данных и 5 свойств-отношений. В качестве технологии обращения к понятиям онтологии использован язык запросов SPARQL, который используется при работе с аннотированными данными онтологической модели. В рамках отчетного периода план работ на следующий год был уточнен и детализирован. В начале 2019 года коллектив исполнителей проекта провел переговоры с сотрудниками департамента гражданской инженерии университета г. Порто, Португалия о потенциальном сотрудничестве в области исследования мониторинга состояния сонливости водителя при управлении транспортным средством. Достигнута предварительная договоренность о тестировании разрабатываемой в рамках проекта системы на автомобильном тренажере, которым располагает Университет г. Порто. Помимо этого, на втором этапе выполнения проекта планируется проведение экспериментов с разрабатываемой системой поддержки водителя на базе автопарка медицинской клиники «XXI век» в Санкт-Петербурге. По результатам первого этапа проекта было подготовлено восемь научных работ. Две статьи были опубликованы в трудах международных конференций, индексируемых системами цитирования научных работ Scopus и WoS. Две статьи были опубликованы в журналах, один из которых индексируется в системе цитирования РИНЦ и один в системе цитирования Scopus. Три статьи были приняты на международные конференции, индексируемые в системе цитирования Scopus, одна из которых состоится в этом отчетном периоде (в конце мая) и одна – в следующем. Одна статья была принята в ведущий международный журнал по интеллектуальным транспортным системам – IEEE Transactions on Intelligent Transportation Systems, который индексируется в системах цитирования Scopus и Web of Science, относится к квартилю Q1 и имеет импакт-фактор издания 5.14.

Аннотация результатов, полученных в 2019 году
В рамках отчетного периода коллектив исполнителей проекта «Модели и методы интеллектуальной поддержки водителя на основе мониторинга ситуации в кабине транспортного средства» получил следующие основные результаты: (1) разработан метод определения опасных состояний в кабине транспортного средства на основе информации с датчиков смартфона, закрепленного на лобовом стекле транспортного средства; (2) разработан метод генерации рекомендаций водителю на основе определенного опасного состояния и текущей ситуации в кабине транспортного средства; (3) разработан метод самообучения системы для генерации групповых рекомендаций в процессе функционирования на основе статистики определения опасных состояний и оценки водителем корректности работы системы; (4) выполнена реализация и тестирование прототипов базовых модулей системы мониторинга поведения водителя в кабине транспортного средства. В рамках разработанного метода определения опасных состояний в кабине транспортного средства на основе информации с датчиков смартфона, закрепленного на лобовом стекле транспортного средства была выполнена классификация опасных состояний водителя транспортного средства. Было предложено распознавать онлайн-определяемые опасные состояния, к которым относятся опасное состояние сонливости и опасное состояние ослабленного внимания. Онлайн-определяемые опасные состояния определяются с использованием смартфона в кабине транспортного средства, так как они требуют реакцию системы на проявление таких состояний в реальном времени. При этом для определения опасного состояния сонливости было предложено два алгоритма, которые могут быть использованы для корректировки точности друг друга в зависимости от текущей ситуации. Первый алгоритм ориентирован на определение состояния сонливости с использованием анализа психофизиологических параметров лица водителя и определение таких характеристик как степень закрытости глаз, частота морганий в секунду, углы поворота и наклона головы, степень открытости рта, а второй алгоритм ориентирован на классификацию водителей на основе анализа скорости и ее изменений при движении транспортного средства. При этом монотонность движения говорит о засыпании водителя, в то время как постоянные изменения скорости говорят об исключении состояния сонливости. Определение опасного состояния ослабленного внимания ориентировано на анализ динамики абсолютных значений и изменений поворота и наклона головы водителя, в зависимости от скорости транспортного средства. Было предложено динамически вычислять время, которое является критичным для отклонения взгляда водителя от дороги. Так, например, если автомобиль двигается на небольшой скорости (например, по территории парковки, что вынуждает водителя постоянно контролировать транспортные средства справа и слева), то такое время должно быть больше, нежели он двигается с максимальной разрешенной скоростью по автомагистрали. В рамках предложенного метода также были разработаны алгоритмы определения офлайн-определяемых опасных состояний, к которым относятся опасные состояния агрессивного вождения и повышенного пульса (который может говорить в зависимости от степени агрессивности вождения о таких сопутствующих опасных состояниях как проблема со здоровьем, алкогольное опьянение, наркотическое опьянение, состояние стресса). Для каждого из вышеперечисленных опасных состояний была разработана схема определения, базирующаяся на пороговых значениях, а также предложена модель, функционирующая в облачном сервере, позволяющая анализировать статистику, поступающую от смартфона водителя методами машинного обучения и улучшать пороговые значения алгоритмов. Определение опасного состояния агрессивного вождения основано на анализе ускорения транспортного средства и сравнение полученного значения со средним ускорением, сохраненным для этого водителя. При это важным фактом является не абсолютное значения данного параметра, а относительное, показывающее на сколько агрессивно водитель управляет автомобилем в текущий момент времени по сравнению с обычными поездками. Определение пульса по изображениям, полученным с камеры смартфона, базируется подходе удаленной фотоплетизмографии, основанной на изменении цвета кожи при прохождении крови в капиллярах. В рамках работы были адаптированы и улучшены известные алгоритмы удаленной фотоплетизмографии. В рамках работы была поставлена задача определения, находится ли пульс водителя в нормальной зоне или он повышен, что может свидетельствовать о том, что водитель находится в состоянии алкогольного или наркотического опьянения или состоянии стресса В рамках разработанного метода генерации гибридных групповых рекомендаций была решена задача определения наилучшей в данный момент времени для данного пользователя рекомендации на основе работы одного из следующих модулей: (1) модуль генерации рекомендаций на основе знаний; (2) модуль генерации рекомендаций на основе открытых источников данных; и (3) модуль генерации рекомендаций на основе машинного обучения. Модуль генерации рекомендаций на основе знаний является базовым, так как он не зависит от внешних факторов и генерирует рекомендации при наступлении опасного состояния используя внутреннюю базу знаний. Модуль генерации рекомендаций на основе открытых источников данных формирует рекомендации при наступлении опасных состояний или не зависимо от них при наличии данных по дорожно-транспортным происшествиям в том регионе, в котором находится транспортное средство. Модуль генерации рекомендаций на основе методов машинного обучения используется для персонификации рекомендаций для конкретного водителя после того как в базе данных облачного сервера накоплено достаточно информации для учета особенностей конкретного водителя и его предпочтений относительно получения тех или иных рекомендаций. Разработанный метод самообучения для генерации групповых рекомендаций ориентирован на группировку водителей системы мониторинга для использования опыта взаимодействия с одним водителем при взаимодействии с другим. Для этого был предложен ряд моделей, позволяющих отслеживать следование водителем тех или иных рекомендаций в процессе вождения на примере опасного состояния сонливости. В рамках исследования была выполнена классификация рекомендаций по степени автоматизации проверки следования им водителем, были выделены рекомендации, проверка следования которым выполняется достаточно просто путем анализа информации с камеры и сенсоров смартфона. Также были выделены рекомендации, проверка которых требует разработки дополнительных алгоритмов: например, рекомендации, связанные с определением типа звуков в салоне транспортного средства, а также рекомендации, проверку которых можно осуществить только по косвенным признакам. Также был предложен алгоритм кластеризации водителей на основе их реакции на рекомендации. Реализация прототипов базовых модулей была выполнена для операционной системы Android, что позволило производить их оценку непосредственно в кабине транспортного средства во время вождения. Были реализованы: модуль определения сонливости, модуль определения ослабленного внимания, модуль определения пульса, модуль автоматической калибровки угла поворота головы водителя транспортного средства. Тестирование и оценка реализованных прототипов проводилась как доступных наборов данных, так и с использованием собственных данных, полученных при управлении транспортным средством. Собственный набор данных, который был получен в ходе проведения испытаний включает в себя: 22 267 км пройденного расстояния водителями транспортных средств, которые суммарно провели за рулем 463 часа. Общее количество поездок: 504 (учитывались поездки от 5 км, длительностью от 10 минут с сентября 2019 года). Для тестирования модуля определения сонливости были проведены натурные эксперименты в кабине транспортного средства при которых водитель, убедившись в безопасности совершаемых действий, прищуривал глаза (имитировал опасное состояние сонливости) в течение трех секунд. Приблизительная точность модуля определения сонливости составила 69% суммарно по обоим критериям (5% ложных срабатываний). Похожие эксперименты были проведены для расчёта процента определяемых состояний ослабленного внимания. Задачей водителя было осуществить поворот головы в сторону на время около 3 секунд. Приблизительная точность модуля определения отвлечения внимания составила 95% и 2% ложных срабатываний. Модуль определения повышенного пульса был протестирован на наборе данных Public Benchmark Dataset for Testing rPPG Algorithm Performance. Эксперименты показали точность определения порядка 80%-90% в зависимости от тестируемого видео. Результаты тестирования модуля автоматической калибровки угла поворота головы водителя показали, что достаточно около минуты движения на скорости от 30 км/ч для определения угла с точностью до нескольких градусов, что является вполне приемлемым для поставленной задачи.

Аннотация результатов, полученных в 2020 году
В рамках выполнения проекта в отчетном периоде было опубликовано пять научных статей, индексируемых в системах цитирования Scopus и Web of Science, при этом одна из опубликованных в отчётном периоде статей опубликована в журнале IEEE Access, который входит в первый квартиль журналов по Web of Science. Статья была опубликована совместно с австрийскими коллегами (организация Virtual Vehicle Research GmbH), что подчеркивает актуальность и значимость как тематики исследования, так и полученных результатов. Также 13 мая 2021 года коллективом исполнителей совместно с австрийскими коллегами был организован воркшоп, посвященный обсуждению моделей и методов для мониторинга поведения водителя в кабине транспортного средства. Руководитель проекта организовал специальный выпуск в журнале Sensors (Q1, Web of Science), посвященный тематике мониторинга водителя в кабине транспортных средств, в котором на момент написания отчета опубликовано уже три научных статьи. Среди полученных основных фундаментальных научных результатов можно выделить гибридный метод определения состояния сонливости, заключающиеся в использовании технологий машинного обучения для классификации данного опасного состояния. Было предложено применять метод градиентного бустинга на основе деревьев решений. При этом в качестве первичных данных для гибридного метода было предложено использовать: данные о динамике транспортного средства (координаты GPS/ГЛОНАСС, скорость, показания акселерометра), лицевые характеристики (бинарный признак обнаружения лица в кадре, вероятность зевка, вероятность открытости глаз, вероятность улыбки). В качестве целевой переменной использовалась сонливость по шкале Karolinska Sleepiness Scale (KSS). Первичные данные были определены на основе исследований, выполненных на первом и втором годах выполнения проекта, а также выполненных экспериментах с накопленной статистикой вождения. Также к фундаментальным результатам относится исследование возможности применения обучения с подкреплением для поиска стратегии формирования персонализированных рекомендаций водителю с учетом следования водителем рекомендациям и их воздействиям на состояние водителя. Сформированная системой рекомендация оказывают определенное влияние на состояние водителя. В целом, при определенной частоте, сами по себе предупреждения способны на определенное время фокусировать внимание водителя на дорожной ситуации. Однако при слишком частом использовании предупреждений, во-первых, водитель может адаптироваться к ним и перестать на них реагировать, во-вторых, водитель может начать раздражаться (что, в свою очередь, может привести к отключению системы мониторинга). Среди полученных практических результатов можно выделить информационную модель облачного сервера, поддерживающую предложенные на втором этапе проекта методы, модели и алгоритмы. Облачный сервер ориентирован на сбор статистики водителей транспортных средств, ее анализ и представление диспетчерам автопарков. В рамках информационной модели была спроектирована модель данных, которая позволяет хранить статистику в таком виде, чтобы она могла быть использована в разработанных на втором этапе выполнения проекта моделях и методах. Модель данных включает в себя 18 таблиц, содержащих как информацию от систем мониторинга, так и персонифицированные шаблоны и настройки, которые передаются с облачного сервера в клиентские устройства в кабинах транспортных средств. Также была разработана сервис-ориентированная архитектура системы интеллектуальной поддержки водителя с использованием информации с датчиков смартфона, закрепленного на лобовом стекле транспортного средства. Архитектура включает в себя следующий набор сервисов: сервис сбора статистики дорожно-транспортных происшествий, сервис сбора статистики вождения и ее визуализации, сервис анализа данных вождения транспортного средства, сервис формирования паттернов поведения водителя. Разработка данных сервисов имеет существенную прикладную значимость, так как позволила реализовать разработанные на предыдущих этапах проекта модели и методы и оценить их эффективность и практическую значимость. Другим практическим результатом проекта является сценарная модель системы мониторинга водителя, в рамках которой были определены пять вариантов ролей действующих лиц, включая водителя с личным транспортным средством, представителя страховой компании, администратора автопарка, диспетчера автопарка и водителя из штата автопарка, участвующих в процессе взаимодействия с системой мониторинга поведения водителя. Для каждого случая были описаны основные сценарии использования системы, которые положили основу разработанного сервиса сбора статистики вождения и ее визуализации. Одним из важнейших практических результатов выполнения проекта является разработка исследовательского прототипа системы мониторинга, основанного на разработанной методологии, методах и моделях. В рамках создания прототипа были реализованы следующие основные модули системы мониторинга: гибридный модуль определения состояния сонливости (как с использованием видеоанализа, так и с использованием анализа скорости транспортного средства), модуль определения агрессивного вождения, модуль персонификации (включающий в себя определение степени закрытости глаза индивидуально для водителя), модуль определения поворотов и разворотов в процессе движения транспортного средства, модуль генерации рекомендаций, модуль анализа следования рекомендациям водителем транспортного средства, модуль определения контекста движения транспортного средства (движется ли автомобиль по шоссе или в городе). Данные модули вошли в состав мобильного приложения для мониторинга состояния водителя транспортного средства Drive Safely (https://play.google.com/store/apps/details?id=ru.igla.drivesafely), которое использовалось коллективом для проведения экспериментов. Разработка прототипа позволила оценить эффективность разработанной системы мониторинга водителя для чего были проведены натурные эксперименты. В экспериментах приняло участие пять водителей, которые передвигались на транспортных средствах в течение двух недель. Оценивались опасные состояния сонливости и невнимательности. Эффективность системы мониторинга оценивалась по ошибкам первого и второго рода. При этом оценка ошибок первого рода определялась самим водителем в кабине транспортного средства, который в случае, если система не производила детектирование опасного состояния закрывал рукой камеру, что генерировало и отсылало на сервер соответствующее событие. Таким образом в рамках эксперимента было зафиксировано 10 событий, при которых система не детектировала опасное состояние, а водитель считал, что оно должно было быть детектировано. Опасное состояние сонливости было пропущено 8 раз, а опасное состояние невнимательности 2 раза. Ошибки второго рода оценивались путем ручного просмотра всех определённых системой мониторинга опасных состояний и просмотра сопровождающих их видеофрагментов и пометкой действительно ли данное опасное состояние имело место быть или же это было ложно срабатывание. Таким образом точность по определению сонливости составила 89%, а по невнимательности –74%. Также в рамках работ по оценке эффективности разработанной системы мониторинга были произведены работы по нагрузочному тестированию на разработанный веб сервер. Для этих целей были сгенерированы 5 000 виртуальных водителей, которые посылали статистику на сервер таким образом, как бы это делала реальная система мониторинга. Увеличение нагрузки на систему осуществлялось постепенно: каждые 100 водителей начинали осуществлять свои тестовые поездки с интервалом в 10 секунд, после завершения поездок водитель осуществлял новую. Среднее время отклика системы достигало 5 секунд, что является допустимым значением для систем обработки данных в режиме реального времени. В некоторых случаях задержка достигала 30 секунд, что объясняется логированием поступаемых данных и неиспользованием прямой передачи данных между бекендом и базой данных через внутренний Unix-сокет. В результате можно сделать вывод что полученные результаты по точности работы системы, а также по времени загрузки статистики позволяют говорить о том, разработанные в рамках проекта методы и модели имеют перспективы коммерческого использования.