КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер проекта 23-11-00340
НазваниеРазработка новых кодовых конструкций и алгоритмов декодирования для систем связи следующих поколений
Руководитель Фролов Алексей Андреевич, Доктор физико-математических наук
Организация финансирования, регион Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий» , г Москва
Конкурс №80 - Конкурс 2023 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»
Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-216 - Математические модели и методы защиты, преобразования и передачи информации
Ключевые слова математическое программирование, линейное программирование, квадратичное программирование, машинное обучение, алгоритмы декодирования, линейные коды, коды на решетках, нелинейные коды, графы
Код ГРНТИ28.21.19
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Помехоустойчивое кодирование является неотъемлемой частью любой современной системы передачи информации. Известно, что случайно выбранный код с большой вероятностью обладает хорошими корректирующими свойствами. Однако, задача декодирования такого кода методом максимального правдоподобия является NP-трудной. В этом случае сложность декодирования, вероятно, растет экспоненциально с длиной кода.
На практике применяют специальные конструкции кодов, методы декодирования которых имеют малую вычислительную сложность. При этом выбор кодовой конструкции зачастую определяется конкретным алгоритмом декодирования. В частности, в стандарте 3GPP New Radio, основном кандидате для стандарта беспроводной связи 5-го поколения (5G), для канала передачи данных используются коды с малой плотностью проверок (МПП-коды), а для контрольного канала - полярные коды. МПП-коды оптимизированы для алгоритма декодирования на основе метода распространения доверия (англ. belief propagation), а полярные коды - для метода последовательных исключений. В результате используются не лучшие коды, а лучшие коды для конкретных алгоритмов декодирования.
При этом для алгоритма распространения доверия наблюдается так называемая “полка” (деградация корректирующей способности с улучшением качества канала), а алгоритм последовательного исключения в силу своей природы не допускает параллельных вычислений, и время декодирования ограничивает применение таких кодов при передаче больших объемов данных с высокой скоростью. Дальнейшее улучшение этих конструкций весьма сложно, поскольку они практически достигли своих потенциальных возможностей.
В настоящем проекте предлагается рассмотреть альтернативные алгоритмы декодирования и разработать новые кодовые конструкции. Планируется провести исследования по трем основным направлениям: 1) исследование алгоритмов декодирования на основе методов математического программирования (в частности, линейного и квадратичного программирования), 2) применение методов машинного обучения в построении и декодировании помехоустойчивых кодов, 3) построение разреженных регрессионных (англ. sparse regression) кодов, основанных на методах сжатия измерений (англ. compressed sensing).
Методы математического программирования уже были рассмотрены в литературе, но в основном применялись для кодов из стандартов, т.е. кодов, оптимизированных для других алгоритмов декодирования. В частности, они применялись для линейных кодов над полем GF(2), в то время как ограничения, линейные над полем GF(2), не являются линейными над вещественным полем. Для обоснования второго направления отметим, что задача декодирования является, по сути, задачей классификации, но с экспоненциально большим числом классов. В связи с этим использование методов машинного обучение является естественным. Разреженные регрессионные коды являются новым направлением исследований. Они достигают пропускной способности канала с аддитивным белым гауссовским шумом, однако их эффективность при конечной длине блока является актуальным вопросом исследований. Кроме того необходимо значительно уменьшить сложность алгоритма декодирования таких кодов, а также исследовать возможность применения таких кодов в реальных каналах связи.
Актуальность и практическая значимость проекта состоит в решении научных задач, принципиально важных для выполнения требований систем связи будущих поколений таких, как системы связи 6-го поколения (6G). Полученные в проекте кодовые конструкции и алгоритмы декодирования должны превосходить по своим параметрам существующие решения, широко используемые в современных стандартах связи, а также удовлетворять ожидаемым требованиям систем связи будущих поколений.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Публикации
1.
Артемасов Д.А., Андреев К.В., Рыбин П.С., Фролов А.А.
Soft-Output Deep Neural Network-Based Decoding
2023 IEEE Global Communications Conference (GLOBECOM), pp. 1692-1697 (год публикации - 2023)
10.1109/GCWkshps58843.2023.10465120
2.
Артемасов Д.А., Андреев К.В., Фролов А.А.
On a Unified Deep Neural Network Decoding Architecture
2023 IEEE 98th Vehicular Technology Conference (VTC2023-Fall), 1-5 (год публикации - 2023)
10.1109/VTC2023-Fall60731.2023.10333739
3.
Артемасов Д.А., Благодарный А.С., Шерстобитов А.И., Ляшев В.А.
Vector Autoregression Model Utilization for Massive-MIMO Channel Denoising
2023 International Balkan Conference on Communications and Networking (BalkanCom), 1-6 (год публикации - 2023)
10.1109/BalkanCom58402.2023.10167957
4.
Артемасов Д.А., Фоминых А.А., Фролов А.А., Рыбин П.С., Андреев К.В.
Short codes for ADMM-based decoding
2023 XVIII International Symposium Problems of Redundancy in Information and Control Systems (REDUNDANCY), 133-137 (год публикации - 2023)
10.1109/Redundancy59964.2023.10330182
5.
Андреев К.В., Рыбин П.С., Фролов А.А.
On the Error-Reducing Properties of Superposition Codes
2023 XVIII International Symposium Problems of Redundancy in Information and Control Systems (REDUNDANCY), 148-152 (год публикации - 2023)
10.1109/Redundancy59964.2023.10330085
Аннотация результатов, полученных в 2024 году
Были разработаны алгоритмы декодирования низкоплотностных кодов на решетках, обладающие низкой вычислительной сложностью, с использованием методов математического программирования. Исследована конструкция LDLC кодов на вещественной решетке с малым числом проверок. Разработана конструкция LDLC кодов на основе модулярных линеек Голомба, что позволяет избегать циклов длиной четыре, ухудшающих вероятность ошибки декодирования. Показано, что корректирующая способность кода, основанного на модулярных линейках Голомба, превосходит корректирующую способность кодовой конструкции, основанной на латинских квадратах.
Был разработан простой алгоритм декодирования недвоичных МПП-кодов, основанный на методе покоординатного градиентного спуска. Сложность реализации данного алгоритма декодирования значительно ниже сложности алгоритма распространения доверия недвоичного МПП-кода, что позволяет использовать его на практике. Результаты имитационного моделирования показали эффективность данного алгоритма декодирования.
Было проведено исследование обобщенных МПП-кодов с компонентным кодом Кордаро-Вагнера. Был разработан алгоритм минимум-сумма с малой сложность реализации. Показано, что при декодировании по предложенному алгоритму минимум-сумма обобщенный МПП-код имеет корректирующую способность, заметно превосходящую корректирующую способность двоичных МПП-кодов из стандарта связи пятого поколения. Также для данного класса обобщенных МПП-кодов разработан алгоритм декодирования, основанный на покоординатном градиентном спуске, целевую функцию оптимизации которого удалось записать в замкнутом аналитическом виде, что позволило значительно уменьшить сложность реализации данного алгоритма. Результаты имитационного моделирования показали, что при оптимальном выборе коэффициентов, корректирующая способность алгоритма декодирования, основанного на покоординатном градиентном спуске, приближается к корректирующей способности при декодировании по алгоритму минимум-сумма.
Была разработана нейронная сеть на основе графа Таннера, включающая в себя обучаемые весовые коэффициенты в уравнениях узлов проверки и узлов переменных, а также средства квантования сообщений, передаваемых между узлами графа. Итеративный процесс декодирования был приведен к виду многослойной структуры, формирующей разреженную нейронную сеть. Для обеспечения требований по снижению вычислительной сложности и объему используемой памяти, нейросетевая модель была оснащена средствами оптимизации таблиц квантования промежуточных сообщений. Для возможности оптимизации квантования в процессе совместной оптимизации параметров декодера, была применена функция квантования мягкой ступенчатой функцией. Была определена стратегия совместного обучения декодера и квантователя, позволившая произвести тонкую настройку параметров модели. Совместное обучение декодера и квантователя продемонстрировало выигрыш по производительности и по времени обучения (за счет отсутствия необходимости в предварительном обучении декодера) по сравнению с последовательным обучением.
Был разработан метод мягкого декодирования на основе глубокой нейронной сети, использующий синдромный подход. Для повышения качества мягкого декодирования применялось обучение с регуляризацией, ориентированное на воспроизведение мягких выходных данных декодера максимума апостериорной вероятности. Разработанный нейросетевой декодер был адаптирован для декодирования кодов-произведений с использованием последовательной методологии обучения. Итеративный декодер на основе нейронной сети превзошел по производительности используемый на практике алгоритм Чейза-Пиндиаха со списком до 256 и уступает декодеру по максимуму апостериорной вероятности лишь 0,2–0,25 дБ. Это первый нейронный декодер, демонстрирующий конкурентоспособную производительность в рамках итеративной схемы для кодов и сообщений с длинами (n=4096, k=2025). Также были рассмотрены проблемы вычислительной сложности и объема памяти, необходимой для хранения весов обученной модели, с помощью применения методов выкалывания весов и усеченного сингулярного разложения. Разработанные методы позволили сбалансировать ресурсные ограничения и точность декодирования.
Был предложен метод эволюции плотностей для анализа разреженных регрессионных кодов со структурированной кодовой книгой, построенной на основе МПП-кодов. Метод позволяет достаточно точно предсказать вероятность битовой ошибки при декодировании с использованием алгоритма мягкой оценки интерференции. Конструкция была оптимизирована с помощью генетического алгоритма. Также была проведена совместная оптимизация разработанного внутреннего кода и внешнего кода. В частности, был подобран перемежитель, позволивший приблизить распределение выходных ошибок внутреннего кода к биномиальному. Результирующая кодовая конструкция с двумя секциями обеспечивает выигрыш около 1 дБ по сравнению с известными методами. Кроме того в рамках данной задачи были предложены методы теоретической оценки достижимой вероятности ошибки на бит для разреженных регрессионных кодов.
Было предложено два новых метода для улучшения оценки MIMO канала с замираниями. Первый метод использовал тензорную глубокую сверточную нейронную сеть и продемонстрировал высокую эффективность в условиях крайне низкого отношения сигнал-шум в восходящем канале связи. Второй метод решал задачу реконструкции высокоразмерной оценки канала на базовой станции, используя измерения, полученные с пассивных сенсоров. Благодаря использованию методов глубокого обучения и архитектуры трансформера, данный метод достиг 95% точности в реконструкции матрицы предварительного кодирования для более чем 70% пользователей, находящихся в условиях отсутствия прямой видимости. Кроме были получены уравнения для итеративного алгоритма приближенного распространения доверия. Было показано, что в такой модели канала алгоритм с ортогональным преследованием демонстрирует худшую корректирующую способность по сравнению с предложенным алгоритмом.
Публикации
1.
Артемасов Д.А., Благодарный А.С., Шерстобитов А.И., Ляшев В.А.
On Autoregressive and Neural Methods for Massive‑MIMO Channel De‑noising
ITU Journal on Future and Evolving Technologies, Volume 5 (2024), Issue 1, Pages 62-72 (год публикации - 2024)
10.52953/MCKV3131
2.
Кузурман В.А., Артемасов Д.А., Андреев К.В., Фролов А.А.
On Joint Neural Min-Sum Decoding and Quantization Optimization
2024 IEEE International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), 58-64 (год публикации - 2024)
10.1109/SIBIRCON63777.2024.10758454
3.
Артемасов Д.А., Шерстобитов А.И., Ляшев В.А.
Distributed Sensor-Assisted DNN-Based Massive-MIMO Channel Reconstruction
2024 International Scientific and Technical Conference Modern Computer Network Technologies (MoNeTeC), 1-6 (год публикации - 2024)
10.1109/MoNeTec60984.2024.10768110
4.
Фоминых А.А., Устинова Д.Т., Рыбин П.С., Фролов А.А.
Low-Density Lattice Codes Based on Golomb Rulers
2024 IEEE International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), 70-73 (год публикации - 2024)
10.1109/SIBIRCON63777.2024.10758537
5.
Сименг Д.C., Андреев К.В., Рыбин П.С., Фролов А.А.
On the Design of LDPC-Based Error-Reducing Codes
2024 19th International Symposium on Wireless Communication Systems (ISWCS), 1-6 (год публикации - 2024)
10.1109/ISWCS61526.2024.10639052
Аннотация результатов, полученных в 2025 году
В отчетном периоде 2025 года в рамках проекта были получены важные научные результаты, направленные на развитие современных методов помехоустойчивого кодирования, оптимизацию структуры кодов на разреженных графах, исследование возможностей машинного обучения для построения эффективных кодовых конструкций, а также совершенствование алгоритмов декодирования в условиях реальных каналов связи. Полученные результаты развивают как фундаментальные аспекты теории кодирования, так и прикладные направления, связанные с системами связи следующего поколения (5G/6G), беспроводными сетями, системами хранения данных и высоконадежным оптическими линиями связи.
В ходе выполнения проекта были продолжены исследования компонентных кодов, используемых в современных конструкциях на разреженных графах. Удалось показать, что в классических каналах с аддитивной ошибкой нелинейные компонентные коды не дают преимуществ по корректирующей способности и сложности реализации по сравнению с линейными кодами сопоставимых параметров. В то же время выявлено, что в ряде несимметричных и нелинейных каналов такие коды могут обеспечивать лучшую устойчивость, что открывает новые перспективы для их дальнейшего изучения.
Существенное внимание в отчетном периоде было уделено развитию методов построения и анализа обобщенных МПП-кодов. Впервые были получены компактные аналитические правила обновления сообщений для декодирования обобщенных МПП-кодов с компонентным кодом, построенным на основе дуального кода Кордаро–Вагнера. Эти результаты позволили сформулировать алгоритм декодирования «минимум-сумма» с малой сложностью реализации. На основе разработанных аналитических представлений была создана новая методика анализа корректирующей способности кодов, основанная на эволюции плотностей сообщений (density evolution). С её помощью удалось оптимизировать структуру проверочных матриц обобщенных МПП-кодов и показать, что такие конструкции способны превосходить по скорости сходимости и эффективности стандартные МПП-коды, используемые в спецификации 5G. Это является важным шагом в создании кодов для систем связи будущих поколений, предъявляющих более жёсткие требования к задержке декодирования. Полученные результаты легли в основу работы, опубликованной в ведущем журнале IEEE Wireless Communications Letters (см. https://www.skoltech.ru/news/code-future-skoltech-develops-faster-and-more-reliable-solution-6g-networks и https://www.cnews.ru/news/line/2025-09-03_kod_dlya_svyazi_budushchego_v).
Также особое внимание было посвящено разработке алгоритмов итеративного декодирования для кодов-произведений (TPC), которые широко применяются в высокоскоростных оптическим линиях связи. В рамках проекта предложена новая нейросетевая модель, позволяющая улучшить качество формирования оценок надёжности символов. Модель автоматически выявляет некорректные обновления в процессе итерационного декодирования и подавляет их, предотвращая накопление ошибок. Этот подход обеспечивает улучшение помехоустойчивости, сопоставимое с использованием расширенных вариантов алгоритма Чейза–Пиндиа, но не требует увеличения вычислительных затрат. Результаты опубликованы в журнале IEEE Communications Letters.
Важным направлением также стало развитие методов анализа итеративного декодирования SPARC-кодов в условиях замираний и систем с множеством антенн (MIMO). Установлено, что их поведение демонстрирует структурное сходство с поведением двоичных МПП-кодов в каналах с ошибками и стираниями. Это позволило перенести методы анализа эволюции плотностей сообщений на SPARC-коды и сформировать рекомендации по построению устойчивых к ошибкам оценки канала структур. Данные результаты готовятся к публикации и развивают фундаментальную теорию итеративного декодирования.
Отдельное внимание было уделено применению методов машинного обучения к построению эффективных кодовых конструкций. Разработан единый подход к оптимизации двоичных и недвоичных МПП-кодов, основанный на представлении проверочной матрицы в тензорной форме и применении методов обратного распространения ошибки. Такой подход позволил отказаться от переборных методов подбора проверочной матрицы кода и показал значительное ускорение сходимости к оптимальной конструкции кода. Полученные результаты демонстрируют потенциал применения нейросетевых методов для автоматизированного синтеза кодов нового поколения.
Научные результаты проекта представлены публикациями в ведущих рецензируемых журнала, входящих в первый квартиль (Q1) по импакт-фактору JCR Science Edition, и докладах на международных конференциях.
Публикации
1.
Симегн Д.C., Артемасов Д.А., Андреев К.В., Рыбин П.С., Фролов А.А.
Generalized LDPC Codes With Low-Complexity Decoding and Fast Convergence
IEEE Wireless Communications Letters, vol. 14, no. 11, pp. 3700-3704 (год публикации - 2025)
10.1109/LWC.2025.3600912
2. Кузьмин В.В., Чевтаев И.А., Черная М.А., Фролов А.А., Рыбин П.С. On the Correcting Capability of Hard-Decision Error-and-Erasure Iterative Decoding of LDPC Codes for Data Storage 2025 XIX International Symposium on Problems of Redundancy in Information and Control Systems (Redundancy) (год публикации - 2025)
3.
Артемасов Д.А., Нестеренков О.А., Андреев К.В., Рыбин П.С., Фролов А.А.
Iterative Neural Rollback Chase-Pyndiah Decoding
IEEE Communications Letters, pp. 1-5 (год публикации - 2025)
10.1109/LCOMM.2025.3638970
Возможность практического использования результатов
Результаты проекта формируют значимый научно-технологический задел в области современных методов помехоустойчивого кодирования, нейросетевого декодирования и обработки сигналов для беспроводных систем связи. Разработанные алгоритмы и кодовые конструкции ориентированы на практическую реализацию, обладают низкой вычислительной сложностью, высокой корректирующей способностью и устойчивостью к неблагоприятным условиям передачи, что подтверждено как численными, так и натурными экспериментами.
Практическая реализуемость ключевых решений проекта продемонстрирована их внедрением и испытаниями на программно-аппаратном SDR-стенде проектного центра беспроводной связи и интернета вещей Сколковского института науки и технологий. Полученные в натурных экспериментах характеристики передачи информации согласуются с результатами моделирования, что подтверждает готовность разработанных методов к использованию в реальных радиосистемах.
Полученные научные результаты могут быть использованы для создания новых и усовершенствования существующих технологий цифровой связи, обеспечивающих повышение надёжности передачи данных, снижение задержек и повышение энергоэффективности. Особую ценность представляет то, что разработанные подходы и алгоритмы формируют основу для дальнейшего развития физических и канальных уровней мобильной связи следующего поколения. В частности, результаты проекта являются перспективным заделом для стандарта мобильной связи шестого поколения (6G), активная фаза стандартизации которого ожидается к 2030 году.
Реализация таких технологий способствует формированию отечественных научных и инженерных компетенций в области цифровых коммуникаций и машинного обучения, развитию высокотехнологичных направлений экономики и повышению доступности и устойчивости цифровых сервисов, что в совокупности оказывает положительное влияние на социально-экономическое развитие Российской Федерации.