Аннотация результатов, полученных в 2019 году
На данном этапе проекта был разработан ряд программных средств, обеспечивающих реакции робота на смысл входящих высказываний и на события в окружении робота, проведена серия экспериментов по оценке коммуникативного поведения робота в различных ситуациях взаимодействия с пользователем. Для моделирования невербального взаимодействия с роботом была разработана общая схема для взаимодействия систем анализа текста, компьютерного зрения и управления движениями робота. В составе данный схемы были использованы библиотеки систем технического зрения, адаптированные и обученные для распознавания лиц собеседников, оценки ориентации лица и оценки количества движений собеседника в кадре. Сообщения, получаемые роботом по речевому акустическому каналу, и сообщения, получаемые по каналу компьютерного зрения, преобразуются в общий формат и вызывают на роботе речевые и коммуникативные реакции. Коммуникативные реакции робота описываются пакетами на языке BML (Behavior Markup Language) и исполняются системой управления поведением робота, существенно доработанной за отчётный период. Робот может комбинировать несколько пакетов BML для получения более сложного поведения, а также способен модифицировать движение в зависимости от положения собеседника в пространстве, например, при переводе взгляда на заданного собеседника. Разработана теоретическая модель эмоциональной динамики (основанная на гидравлической модели инстинктов К. Лоренца), а также прототип имитационной модели в виде программного компонента. Модель состоит из «общих эмоциональных состояний» (например, общее негативное состояние, чувство вины и т. д.), а также сценариев, распознающих заданные шаблоны в структуре входящих событий. Сценарий активируются входящим событием и далее выражается в поведении с помощью связанных пакетов BML, при этом чувствительность сценария связана с активацией общего эмоционального состояния. Данный компонент был опробован на последовательном анализе роботом большого числа входящих высказываний. Поддержание диалога реализуется с помощью подключения к роботу чат-бота или с помощью собственной системы автоматического анализа текста. Для робота было разработано демонстрационное программное приложение, с помощью которого к роботу можно подключить чат-бота, созданного в системе DialogFlow. В ответных высказываниях чат-бота указывается ссылка на поведенческий пакет BML, в этом случае робот произносит высказывание и выполняет заданное в пакете действие. Данные функции были использованы в ряде образовательных проектов для школьников. Для автоматического анализа текста и управления роботом также применяется собственная система понимания текста, включающая синтаксический парсер и обработчик семантических представлений. Парсер строит семантическое представление каждой клаузы в предложении и вычисляет его расстояние до шаблонов сценариев. Для выбранного сценария рассчитывается активация самого сценария и соответствующего общего эмоционального состояния. Далее сценарий выражается в коммуникативном поведении с помощью пакетов BML, что последовательно снижает его активацию. Для расширения возможностей поддержания диалога выполнена классификация вопросов и разработаны подходы к ответам робота на простые вопросы (вопросы с помощью вопросительных местоимений к актантам ситуаций). Выполнена проверка для ограниченного числа шаблонов вопросов: ответы обеспечиваются запросами к базе данных уже разобранных роботом текстов объёмом 80 млн. словоупотреблений. Более полно данная функция будет реализована на следующем этапе. Разработана система виртуализации робота и его окружения, позволяющая визуализировать на экране 3D-модель робота, а также «объекты интереса», окружающие робота. Система позволяет выполнять движения не только на реальном роботе, но и на его виртуальном аналоге. Была проведена серия экспериментов с целью оценить разработанные средства коммуникативного взаимодействия робота. В Эксперименте №1 оценивалась динамическая модель управления движениями глаз робота. Испытуемые должны были оценить робота в двух экспериментальных условиях: в одном из условий глаза робота управлялись разработанной моделью, основанной на балансе коммуникативных состояний, во втором условии управление взгляда переключалось случайно каждые 6 секунд. Было показано преимущество разработанной модели. В Эксперименте №2 оценивался вклад различных средств коммуникативного взаимодействия робота (движений глаз, рта, головы и рук) в формирование положительного впечатления. Показано, что испытуемые предпочитают полное (full-motion) поведение, при этом движения глаз влияют на оценку, но не выделяется испытуемым в опросе, что указывает на «имплицитный» характер влияния движения глаз на испытуемых. В Эксперименте №3 оценивалось влияние ориентированных (указательных) жестов робота на поведение испытуемых в ситуации, где робот помогал человеку собрать головоломку Танграм. Различие между экспериментальными условиями не является очевидным для испытуемых: не более половины выборки замечают разницу между экспериментальными условиями – разделяют в поведении робота ориентированные и симметричные жесты. Вместе с тем, если робот сопровождает свои слова указательным жестом, то испытуемые следуют инструкции робота в 91,1% случаев, что свидетельствует об устойчивом влиянии ориентированных жестов на поведение пользователя, даже если пользователь не отражает это влияние в самоотчете. На последующих этапах проекта планируется существенно расширить программу экспериментов на базе разработанных программных компонентов. Описанию проекта посвящён сайт: http://www.f2robot.com

Аннотация результатов, полученных в 2020 году
Была разработана модель сценариев – механизм когнитивной обработки роботом входящих событий: высказываний и данных от системы технического зрения. Выполнена компьютерная реализация модели сценариев. Система сценариев основывается на концепции "продукций" классического искусственного интеллекта, при этом используются современные модели "векторной семантики" (word embeddings). При разработке мы ориентируемся на системы когнитивного моделирования CogAff и SOAR. Аппарат сценариев позволяет моделировать целый ряд существенных когнитивных навыков – интерпретацию текста, реакцию на события реального мира, эмоциональную динамику, естественно-языковой вывод и коммуникативное поведение. Разработана процедура автоматического выделения сценариев из корпуса текстов на естественном языке. Процедура позволяет сгруппировать похожие ситуация на основе близости их семантических представлений. С помощью данной процедуры сконструировано 11371 сценариев, используемых при автоматическом анализе текста для снятия омонимии, а также при поддержании диалога для поиска ситуаций, похожих на ситуацию в исходном высказывании. За отчётный период были разработаны решения, позволяющие роботу поддерживать коммуникативное взаимодействие с человеком в реальной среде: в личном диалоге, в небольшой компании и при решении человеком задачи. Были разработаны (а) средства получения данных с модулей технического зрения и конструирования роботом модели своего окружения, (б) средства распознавания просодии высказывания, (в) средства баланса при обработке нескольких входящих стимулов и средства моделирования эмоциональной динамики, (г) средства мимической экспрессии – два новых лица с возможностью анимации, (д) средства баланса активности на продолжительных (до нескольких часов) промежутках времени. На базе разработанной модели окружения реализованы стратегии поведения, позволяющие роботу реагировать на события в своём окружении: на появление лица пользователя, поворот лица человека к роботу, улыбку пользователя. Также робот автоматически реагирует на правильные и неправильные действия человека в игре, помогает пользователю собирать головоломку с помощью речевых подсказок и указательных жестов. Комплекс этих инженерных решений позволил сформировать модель, достаточную для воспроизведения роботом базовых коммуникативных функций: реакции на входящее высказывание, ответы на вопросы, реакции на действия пользователя в игре, реакции на появление пользователя и поворот головы к роботу. Предложенная комплексная архитектура имеет существенную научную ценность и может использоваться для моделирования дальнейших когнитивных функций и элементов коммуникативного поведения. На основе операций сценариев с семантическими представлениями были представлены подходы к компьютерному моделированию сознания. Проблема сознания – одна из сложнейших проблем современной науки. Вместе с тем, разработка и тестирование систем понимания текста и естественно-языкового вывода позволяют сделать предположения о том, какие механизмы могут оказаться ключевыми для возможного моделирования сознания в компьютерных когнитивных архитектурах. Предлагаемый метод состоит в следующем. В рамках предложенной архитектуры семантика входящего текста (или репрезентация события) сравнивается с посылками (начальными признаковыми моделями) всех имеющихся сценариев. Начальные признаковые модели разных сценариев могут различаться по составу своих признаков. При активации сценарии могут дополнять входящую репрезентацию своими фокальными признаками. Таким образом, репрезентация входящего текста или события получит несколько различающихся репрезентаций для разных сценариев. Отдельный референт может оказаться, с одной стороны, 'хорошим', а с другой стороны - 'плохим'. Действие может оказаться 'нормальным' или 'слишком интенсивным'. Такое различие признаков у одного референта позволяет имитировать ощущение субъективного пространства, обычно приписываемое сознанию. Другая особенность модели состоит в возможности разделить "собственные" и "нереальные" (принадлежащие другому человеку, фантастические, ироничные) репрезентации входящего события. После того, как для входящего текста построено семантическое представление, оно вызывает активацию сценариев. Самый активированный сценарий формирует наиболее релевантную репрезентацию входящего события. Если другие сценарии с меньшей активацией сформировали несовместимые репрезентации входящего события, то эти репрезентации могут быть признаны ироничными (моделирование этого процесса было выполнено), а также могут использоваться для конструирования мнения другого человека (theory of mind) или в качестве материала воображения - для создания репрезентаций нереальных, но "пугающих" или, наоборот, "желанных" ситуаций. Результаты исследований опубликованы в научных статьях и представлены на конференциях. В целом, описание механизмов, которые могут воспроизводить ключевые признаки сознания, является, по нашему мнению, ключевым результатом проекта за отчетный период. Разработаны и апробированы на пилотных стадиях исследования протоколы экспериментов по оценке влияния на поведение пользователя и на привлекательность робота для пользователя: (а) указательных жестов, выполненными руками, головой и глазами, (б) жестовых и словесных инструкций, в ситуации конфликта инструкций, (в) разных типов жестов "открытых" и "закрытых", (г) общих коммуникативных стратегий робота при взаимодействии с пользователем: "формальная стратегия", "вежливая стратегия", сложная эмоциональная стратегия, сложная рационально-эмоциональная стратегия. На следующем этапе проекта будут проведены эксперименты по оценке разработанных функций на группах испытуемых. Разработаны два новых лица робота: более натуралистичное лицо и более условное лицо. Лица позволяют выводить анимированные движения глаз, бровей, раскрытие век, выполнять анимированные движения ртом. Проекту посвящён сайт www.f2robot.com У робота есть твиттер: https://twitter.com/f2robot/

Аннотация результатов, полученных в 2021 году
За отчётный период была завершена разработка системы управления роботом, позволяющая ему имитировать эмоциональную динамику и реагировать на смысл поступающих текстов, на прикосновения и на события, распознаваемые системой компьютерного зрения. Был исследован эффект антропоморфизации, возникающий за счёт имитации физическим объектом (роботом) естественного коммуникативного поведения: жестов, мимики, речи, а также ответных реакций на высказывания пользователя, его направление взгляда и прикосновения. В рамках проекта были определены: (а) коммуникативные средства, которые могут выражаться роботом, (б) коммуникативные средства, которые должны распознаваться роботом в поведении человека, и (в) психологические характеристики испытуемого (пользователя), такие что при определённом сочетании этих параметров пользователь будет чаще и активнее антропоморфизировать робота и рассматривать взаимодействие с роботом как более комфортное и приятное. В рамках проекта создано 6 экземпляров робота, включая робота с датчиками касания, робота со встроенным компьютером (Raspberri Pi), робота, перемещающегося по комнате на колёсной тележке. Разработка коммуникативных средств, которые могут выражаться роботом для повышения антропоморфизации За последний год с привлечением мультипликаторов было создано новое лицо робота и разработаны элементы невербального поведения робота: элементы мимики и жесты. Была переработана система управления роботом, позволяющая комбинировать невербальные элементы для создания сложной динамики. Особый акцент сделан на экспрессивность глаз: разработаны движения для век (моргание, прищуривание век на разную величину, закрытие глаз и др.), бровей (поднятие и опускание бровей на короткие и длительные интервалы, нахмуривание и др.), разработаны аналоги саккад – короткие и быстрые перемещения зрачков робота, позволяющие моделировать внимательный взгляд. Разработка эмоциональной и когнитивной модели робота Разработана общая теория сценариев для описания механизмов восприятия эмоциональной речи, теория описана в монографии Котов А.А. Механизмы речевого воздействия (2021). Создан инвентарь из 155 доминантных сценариев для моделирования эмоциональных реакций и 3800 рациональных сценариев для снятия омонимии и распознавания стандартных ситуаций в поступающих текстах. Разработана модель использования вытесненных сценариев, которая может стать основой для моделирования иронии, юмора, воображения, модели психического (theory of mind) и некоторых эффектов сознания. Проведены исследования, показывающие возможность механизма естественно-языкового вывода с помощью рациональных сценариев на множестве автоматически проанализированных текстов. Унифицирована модель представления семантики текстов и событий, распознаваемых системой компьютерного зрения и системой регистрации прикосновений. Это позволило применить аппарат сценариев к событиям любых модальностей, воспринимаемых роботом. Сценарии выражаются с помощью приписанных им пакетов на языке BML (международный стандарт описания поведения роботов), что создаёт сложное и разнообразное поведение, отличающее данного робота от других примеров эмоциональных интерфейсов и игрушек. Разработка и интеграция компонентов компьютерного зрения Доработана система агрегатора, позволяющая роботу строить модель окружающих объектов и событий. Реализован протокол подключения к агрегатору модулей компьютерного зрения. Разработан модуль определения направления лица пользователя. Реализовано подключение модуля поддержки игры танграм (разработан участниками коллектива в рамках другого проекта), модулей распознавания элементов одежды, мимики, направления взгляда и положения тела (скелетонизации) пользователя. Исследованы психологические характеристики пользователей, связанные с восприятием поведения робота. Показано что робот, отвечающий взглядом на взгляд пользователя, скорее предпочитается людьми с высоким уровнем эмоционального интеллекта (по шкале: внимание к эмоциям других людей). Робот использовался для обучения в рамках курса Психология и Искусственный интеллект (Департамент психологии Вышей школы экономики, 2021). В качестве отчётности по курсу студенты должны были разработать протокол поведения для робота на языке BML для некоторой эмоциональной ситуации, представить и защитить этот протокол перед аудиторией. Робот также использовался при обучении школьников на фестивале «Билет в будущее» (Санкт-Петербург, 12-14 ноября 2021 года). За 3 дня более 300 школьников обучились писать скрипты поведения для робота на языке BML, разработали и протестировали свои скрипты на роботе (см. Рисунок 14 Приложения А). Данное применение показывает, что робот может служить инновационным учебным средством, демонстрирующим разработку коммуникативных стратегий для роботов-компаньонов.