Аннотация результатов, полученных в 2017 году
В отчетном году к базовой агент-ориентированной модели (АОМ), включающей популяции агентов разных типов, образующих иерархию, (агент-человек → агент-предприятие → агент-муниципальный район → агент-регион), была добавлена конструкция, реализующая новый тип объектов, называемый проектом (тип объектов в терминологии объектно-ориентированного программирования называется «классом»). В структуре АОМ проект играет роль временного предприятия, созданного для достижения конкретной цели в заданные сроки. Назначение такого объекта – дать пользователям АОМ инструмент комплексного воздействия на искусственную среду для максимально правдоподобной имитации запуска различного рода проектов, Программ развития и т.д. Последующая имитация в модели поэтапной «реализации» проектов, то есть, включение запланированных результатов проектов в характеристики среды агентов, изменяет условия виртуальной жизни агентов и побуждает их к действиям. В реальной действительности проекты могут различаться используемыми ресурсами, длительностью реализации, источниками финансирования, составом стейкхолдеров и т.д. Все эти характеристики проектов учитываются в работе модели, и каждая из подобных категорий может служить основой для классификации проектов. С точки зрения разработчиков АОМ основным, принципиальным отличием проектов друг от друга служит характер тех изменений, которые должны произойти во внутренней среде модели в результате их выполнения, то есть, основа классификации проектов – характер результатов их реализации. Проекты могут быть направлены на развитие таких основных факторов/условий социально-экономического развития, как: • человеческий капитал; • нормативно-правовая база; • производство; • инфраструктура. К соответствующим типам и относятся проекты, причем, для каждого из этих типов характерен специфический набор свойств, таких как: • цели проекта, список отслеживаемых показателей и соответствующих критериев достижения поставленных целей; • необходимые для реализации проекта ресурсы и/или условия; • вид результата реализации проекта (например, это может быть создание нового предприятия или же изменение условий экономической деятельности); • процедуры расчета полученных результатов в терминах отслеживаемых показателей; • процедуры оценки достижения заявленных целей по отслеживаемым критериям. Выделение управляющих воздействий экспериментатора, работающего с агентной моделью, в отдельный класс проектов позволяет структурировать эти воздействия. А кроме того, позволяет выстраивать из экземпляров этого класса конструкции любой сложности, когда проекты должны быть реализованы в определенной последовательности в течение длительного времени и с привлечением множества участников на различных этапах (вплоть до имитации реализации больших Федеральных целевых программ или же региональных Стратегий развития). Добавление в архитектуру АОМ нового класса потребовало разработки алгоритмов взаимодействия объектов этого класса между собой и с агентами разных типов. Взаимодействие взаимосвязанных проектов осуществляется путем обмена сообщениями по создающейся в модели временной локальной сети, если их действия должны быть синхронизированы в течение одного шага работы модели. В остальных случаях взаимодействие объектов этого типа происходит косвенно, через общую для всех среду. То есть, результаты реализации одного проекта изменяют среду как условия функционирования других проектов. Взаимодействие проектов с агентами-предприятиями зависит от характера их отношений. Если агент-предприятие является исполнителем проекта, то он в соответствии с графиком работ получает от проекта положенное финансирование и выполняет запланированную работу в указанный срок. То есть, сообщает агенту-инициатору проекта, что этап выполнен, после чего изменяются отслеживаемые показатели проекта. Если же агент-предприятие должно появиться как результат реализации проекта, то оно создается в момент успешного завершения проекта и ему присваиваются все характеристики, заложенные в проекте (место локализации, вид деятельности, численность занятых и требования к квалификации работников, размеры заработной платы по уровням образования и т.д.). Во всех остальных случаях взаимодействие проектов с агентами-предприятиями осуществляется косвенно через общую среду. Так же через среду реализовано и взаимодействие проектов с агентами-людьми, причем, в качестве среды здесь уже выступают и агенты-предприятия, после реализации проекта изменяющие параметры рынка труда (например, создающие новые рабочие места для агентов-людей с различным уровнем образования). В свою очередь, трудовой вклад агентов-людей, занятых в различных видах деятельности, имитирует в модели фактор труда в обеспечении результатов деятельности соответствующих агентов-предприятий, и уже опосредовано через агрегирование результатов деятельности предприятий, – в обеспечении результатов различных отраслей, муниципальных образований и регионов, на территории которых расположены предприятия. Так как агенты-люди являются необходимым ресурсом для реализации любого проекта, то появление каждого проекта влияет на рынок труда, а значит, на поведение агентов-людей. Фактически, функционирующие в модели проекты могут конкурировать между собой и с агентами-предприятиями за трудовые ресурсы. Выстроенная в соответствии с предложенной конструкцией АОМ способна стать полигоном для апробации планируемых больших проектов и для оценки последствий комплексного воздействия их реализации на всю моделируемую социально-экономическую систему. Таким образом, она может стать одним из инструментов практической реализации проектного подхода в экономике. Апробация разработанной конструкции модели была проведена на примере реализации в региональной АОМ программы строительства дошкольных образовательных учреждений. В отчетном году также велись работы по совершенствованию инструментов реализации больших АОМ в суперкомпьютерной среде. Разработанная ранее в рамках гранта тестовая АОМ с популяцией агентов большой численности, обменивающихся сообщениями, которая использовалась для исследования эффективности распараллеливания работы АОМ при различных параметрах, была адаптирована для запуска на более мощных суперкомпьютерах – МВС-100K (Межведомственный суперкомпьютерный центр РАН, г. Москва) и Tianhe-2 (Национальный университет оборонных технологий КНР, г. Гуанчжоу). На этих суперкомпьютерах для модели с числом агентов 10 000 000 были повторены численные эксперименты, проведенные ранее. Кроме того, было проведено сравнение скорости работы тестовой агентной модели на суперкомпьютерах Tianhe-2 и МВС-100K и сравнение скорости работы C++ и C# версий модели.

Аннотация результатов, полученных в 2018 году
За второй год исследований были решены следующие задачи, направленные на расширение возможностей системы проектирования агент-ориентированных моделей для запуска на суперкомпьютерах: • разработаны алгоритмы декомпозиции моделей на сетях агентов с учётом географической привязки этих агентов; • разработаны механизмы имитации в моделях основных процессов естественного движения населения, учитывающие географическое распределение агентов и локальные свойства транспортной сети; • разработаны механизмы эффективного распараллеливания работы моделей за счет динамического распределения агентов по разным процессам в кластере (суперкомпьютере) с учётом их связей и с использованием алгоритмов графовой декомпозиции, таких как METIS/ParMETIS; • апробированы разработанные алгоритмы декомпозиции моделей на примере тестовых задач и оценена их эффективность в зависимости от интенсивности обмена сообщениями, числа связей и прочих параметров модели; • проведено исследование численной устойчивости результатов работы модели и сравнение запусков с одинаковыми входными параметрами, исследовано статистическое распределение результатов работы модели; • апробированы разработанные механизмы распараллеливания и оценена их эффективность в зависимости от свойств конкретных моделей, а также типов реализуемых на базе моделей проектов. Разработанные алгоритмы декомпозиции и механизмы распараллеливания были апробированы в рамках ведущейся в течение ряда лет в ЦЭМИ РАН масштабной работе по созданию методологии разработки больших агент-ориентированных моделей, воссоздающих в искусственной среде структуру и особенности функционирования реальных социально-экономических систем, а также технологии реализации подобных моделей в суперкомпьютерной среде. Выбор технологии распараллеливания работы больших агент-ориентированных моделей определялся следующими критериями: 1. Система должна быть масштабируемой на множество узлов вычислительного кластера (то есть использовать ресурсы нескольких узлов для ускорения счета), поэтому многопоточная модель расчета оказалась не подходящей, так как она ограничена одним узлом кластера. 2. Модель должна быть легкой в разработке и при дальнейшем развитии, поэтому был выбран язык программирования высокого уровня C#. 3. Система должна быть эффективной и использовать системную библиотеку MPI вместо стандартного механизма сетевого взаимодействия TCP/IP или библиотек .Net, таких как Windows Communication Foundation, поскольку эти технологии не оптимальны для суперкомпьютеров. Библиотеки MPI, установленные на каждом кластере, обычно настраиваются на конкретную сетевую систему кластера и обеспечивают максимальную пропускную способность и минимальные задержки передачи данных. Кроме того, библиотека MPI доступна и для использования на обычных персональных компьютерах, что позволяет применять одну технологию и при разработке, и при проведении расчётов с использованием суперкомпьютеров без специальной доработки. На уровне отдельных агентов должно поддерживаться моделирование эволюции внутреннего состояния агента, формирование постоянных и временных связей между агентами, обмен сообщениями, а также появление и исчезновение агентов в системе. Кроме того, для того чтобы эффективно проводить моделирование, в системе необходимо реализовать динамический механизм балансировки нагрузки между вычислительными процессами, т.е. переносить агентов с более загруженных процессов на другие с сохранением их состояния и связей. Для балансировки нагрузки между процессами были выбраны алгоритмы METIS/ParMETIS, которые обычно используются для декомпозиции больших графов (до 10^9 вершин), расчётных сеток и матриц. Эти алгоритмы позволяют разделить граф агентов и связи между ними на части сходного размера с наименьшим возможным числом связей между частями. Алгоритм можно применять рекурсивно для эффективного расчета иерархического распределения графа. Использование алгоритма позволяет строить как начальную декомпозицию (распределение) системы, так и проводить уточнение декомпозиции в процессе расчета, что необходимо для поддержания балансировки нагрузки по мере добавления новых агентов в систему и удаления части старых агентов. Динамическая декомпозиция и перераспределение агентов должны позволить эффективно использовать до 1000 процессорных ядер современных суперкомпьютеров. В результате вызова алгоритма METIS для заданной матрицы связей и весов и заданного числа процессоров создаётся массив чисел, описывающий оптимальную привязку ячеек сетки к процессорам. Эти данные используются для распределения ячеек и агентов по процессорам во время расчёта, но не влияют на процедуру агрегирования полученных результатов расчёта, так как агрегировать результаты необходимо по регионам, независимо от используемого варианта декомпозиции. Были опробованы два варианта автоматической декомпозиции сетки с использованием алгоритма METIS: без учёта числа агентов в ячейках (вес каждой ячейки = 1) и с учётом числа агентов (вес ячейки равен числу агентов). В первом случае алгоритм выравнивает число ячеек сетки на разных процессорах при минимальной длине границы между ними. Во втором случае выравнивается число агентов, приписанных к ячейкам конкретного процессора при минимизации длины границы. Очевидно, что во втором случае площади областей на карте, приписанных к разным процессорам, не равны из-за разницы в плотности населения. Ещё одним эффектом, связанным с формулировкой критериев оптимизации распределения, является то, что ячейки, расположенные на островах и эксклавах (пример – Калининградская область) изолированы, то есть, не связаны напрямую с ближайшими регионами, и могут считаться на любом из процессоров. Равномерное распределение числа агентов по процессорам позволяет также равномерно распределять загрузку оперативной памяти каждого узла кластера. Но при существенном увеличении числа агентов возникают сложности уже не только в обеспечении эффективности распараллеливания, но и в обеспечении самой возможности расчетов. Так, при расчете примера многоагентной системы с 148 миллионами агентов (что примерно соответствует реальной численности населения России) на 192 процессорах кластера основной сложностью было то, что при суммарном объёме оперативной памяти выделенных узлов в 192 ГБ на каждом узле кластера находилось только 8 ГБ оперативной памяти, при необходимом потреблении памяти примерно 500-600 байт на одного агента. Таким образом, необходимо было распределить агентов равномерно, чтобы ни на одном узле кластера процессы симуляции не превышали лимит потребления памяти. В построенном распределении среднее число агентов, приходящихся на один процессор, было равно 772000. Численность агентов, приходящихся на один процессор варьировалась в диапазоне от 743711 до 787266, т.е. разброс числа агентов на одном процессоре составлял ~6% от среднего значения. Расчёт одного шага в данной симуляции занимал примерно 15 секунд. В дальнейшем разброс числа агентов может быть снижен за счёт использования более мелкой расчётной сетки, что повысит точность декомпозиции. Для моделирования поведения искусственного общества в целом требуется создание агент-ориентированных моделей с числом агентов до 10^9 и использование суперкомпьютерных технологий для проведения симуляций. Важной задачей в таких расчётах становится оптимальное распределение агентов по процессорам кластера с учётом основных особенностей агент-ориентированных моделей. Для решения этой задачи была разработана новая библиотека для параллельного выполнения многоагентного моделирования и показаны результаты ее апробации. Эта библиотека соединяет использование высокоуровневого языка программирования C# и высокопроизводительной платформы для обмена сообщениями, написанной с использованием C++-библиотеки и системной библиотеки MPI, установленной на суперкомпьютере, а также средства автоматической и динамической декомпозиции моделей с использованием алгоритма METIS. Представленные результаты тестового моделирования показывают хорошую масштабируемость программы на множестве вычислительных узлов, даже в случае создания в модели популяции агентов, сопоставимой по численности с населением России. На наш взгляд, эксперименты с крупномасштабной демографической агент-ориентированной моделью России подтверждают применимость предложенного подхода к моделированию больших социально-экономических систем со сложными взаимодействиями агентов.