Аннотация результатов, полученных в 2022 году
Проект нацелен на изучение языковой сложности и жанрового разнообразия русских правовых текстов. 1. В рамках создания гибридной модели оценки сложности коллектив проекта произвёл сбор обучающих данных, создал структуру алгоритма, выбрал и протестировал модели регрессии и классификации. В качестве языковой модели выбран RuBERT на архитектуре Transformer. Обучающая выборка состоит из фрагментов текстов 1448 учебников (дошкольного уровня, 1 – 11 классов школы, университетского уровня). Собранные фрагменты учебников ранжированы по 13-ти уровням сложности. Выборка (всего около 10 млн токенов) содержит фрагменты учебников по юриспруденции, экономике, основам безопасности жизнедеятельности и др., а также литературе, истории и др. Учебники выбраны либо в силу тематического и языкового сходства с юридическими документами, либо как дающие общее представление о структуре языка. Модель RuBERT настраивалась для получения начального прогноза сложности. Тексты из обучающей выборки кодировались с использованием набора метрик. Затем первоначальные прогнозы сложности из языковой модели и кодировки признаков объединялись и передавались в окончательный модуль тестирования, после чего происходил выбор между различными моделями регрессии и классификации. Кодирование данных осуществлялось с помощью метрик, обращающихся к лексике, семантике, синтаксису и связности текста, учитывающих частеречную сочетаемость, словообразовательные характеристики и общеязыковую частотность слов документа, а также гипертекстовые связи (последнее особенно важно при анализе корпуса законов). Тестовые данные — корпусы русских юридических текстов объёмом около 8,4 млн токенов. Результаты показали, что во всех случаях введение прогнозов RuBERT обеспечило улучшение по сравнению с моделями, обученными только на лингвистических признаках. Модель классификации XGBoost, обученная на лингвистических признаках и предсказаниях языковой модели, показала наилучшие результаты почти по всем метрикам. При этом в наборе данных “CorDec” (решения Конституционного суда) все документы определены как имеющие наивысшую сложность («12»). В наборе данных “CorCodex” (нормативные документы) 95% документов получили максимальный индекс сложности. Данные корпуса локальных документов “CorRIDA” (информированные согласия, договоры и пр.) являются самыми разнообразными по сложности: 83% документов определены как документы самой высокой сложности, но в датасете встречаются даже тексты с индексами «0», «1», «2». Наблюдаемые различия между тремя наборами данных объяснены через вовлечение в рассуждение типов адресатов и типов авторов юридических текстов. Важно, что тестирование на юридических документах показало эффективность гибридного подхода в задаче идентификации сложных текстов. Однако гибридная модель не смогла уловить различия в сложности между текстами законов, кодексов и текстами решений Суда. Это значит, что необходим специализированный набор обучающих данных с экспертными оценками сложности, включающий разнообразные юридические тексты. Для учёта в модели сложности на основе пяти русских словарей устаревших слов создан пользовательский словарь архаизмов (10769 слов и выражений). В гибридную модель включены дополнительные метрики, среди которых метрика, оценивающая вхождения в тексты архаичных слов. Сформирован итоговый список метрик оценки сложности с описанием механизмов вычисления значений метрик. Модель оценки сложности опубликована на https://github.com/PlainDocument. 2. При работе над созданием юридического корпуса формализовано понятие «синхронности», изучены жанровые таксономии, созданы списки юридических жанров, определена архитектура корпуса, собран и размечен основной подкорпус (110 млн слов), частично собран устный подкорпус. На основании анализа лингвистической литературы получен первичный перечень жанров, включающий письменные и устные жанры законодательного, юрисдикционного, административного и дипломатического подстилей официально-делового стиля. Исходя из соображения, что в корпус должны войти юридические жанры (а многие жанры административного подстиля к ним не относятся), коллектив проекта предпринял попытку получить операциональное определение понятия «юридический документ». Для этого был выполнен поиск определения «юридического документа» в письменных источниках, проведена серия интервью с юристами. Эта работа продемонстрировала противоречия в определении понятия «юридический документ», после чего было решено провести эксперимент по ручной разметке обширного списка типов документов и выявить список «юридических документов» эмпирически, а не путём применения определения. Проведён эксперимент по параллельной разметке списка типов документов. Пять асессоров-юристов просматривали строки списка (591 позиция) и отвечали на вопрос «Это <конкретная позиция в списке> юридический документ или не юридический документ?». Общая оценка результатов параллельной разметки с помощью пакета R ‘irrCAC’ показала, что согласованность не превышает умеренную. Затем согласованность ответов оценивалась применительно к каждому типу документа в отдельности, при этом использовался простой процент согласия; таким образом получен список из 108 «типов документов», соотносимых с письменными юридическими жанрами. На следующем шаге для пополнения списков документов использовались обширные словари юридических терминов. Последним этапом формирования списка жанров стал анализ содержимого обширного «Общероссийского классификатора управленческой документации». Все полученные описанным образом списки юридических жанров были объединены. Итоговый список письменных жанров состоит из 612-ти строк. Итоговый список устных жанров, полученный в результате пересмотра списка из лингвистической литературы о стиле, состоит из 19-ти пунктов. Архитектура юридического корпуса, определённая на этапе 2022 г., подразумевает наличие (1) подкорпуса письменных юридических жанров (основного подкорпуса), (2) подкорпуса устных юридических жанров (устного подкорпуса), (3) подкорпуса академических жанров (статей и учебников по юриспруденции), (4) подкорпуса т. наз. устно-письменных жанров (блогов из социальной сети для юристов). Сформирован основной подкорпус (110 млн слов, 39158 документов формата *.xml). Тексты подкорпуса предобработаны, снабжены метаразметкой, структурной разметкой, размечены с помощью библиотеки Slovnet в формализме Universal Dependencies и с помощью pymorphy2. Выяснены возможности собирания текстов для устного подкорпуса (доступны некоторые записи судебных заседаний, интервью с юристами, а также стенограммы заседаний обеих палат Федерального Собрания). Собраны стенограммы заседаний Совета Федерации (524 документа) и Государственной Думы (1 946 документов). 3. В ходе создания жанрового классификатора принято принципиальное решение изучать жанры не rule-based, а corpus-driven методами. Оно связано с жанровым разнообразием исследуемых текстов и с недостаточной описанностью целого ряда юридических жанров. Таким образом, на отчётном этапе мы создали классификатор методами глубинного обучения. Использована обучающая выборка размером порядка 80 млн токенов, тексты в которой распределены по 25-ти классам (соответствующим условным жанрам). В качестве модели классификации снова выбрана языковая модель RuBERT. Модель дообучена для решения задачи определения жанров юридических документов. Разработанная модель успешно (с точностью более 96%) определила практически все классы, за исключением «определений Верховного Суда» и «постановления Правительства РФ». Кодировки, полученные языковой моделью, использованы для измерения расстояний между классами. Карта сходств кодировок различных классов показывает, что сходство некоторых категорий позволяет в дальнейшем объединять их в более широкие группы. Подготовлена серия научных статей, описывающих ход работы над проектом. Развитие проекта описано на https://www.plaindocument.org/. Основные результаты опубликованы на https://github.com/PlainDocument.

Аннотация результатов, полученных в 2023 году
1. Создан датасет, состоящий из фрагментов юридических текстов с оценками сложности (точнее, перцептивной трудности), полученными экспериментально. 1.1. При разработке дизайна эксперимента учтён предшествующий опыт проведения исследований перцептивной трудности юридических текстов (ранее использовались методики пересказа текста, метод лакунарных текстов, метод шкалирования). С опорой на соображения простоты и скорости сбора данных (а также на соображение о единообразии полученных оценок и способов интерпретации данных) выбран метод шкалирования. 1.2. Разработаны методы создания репрезентативной выборки стимульных фрагментов юридических текстов. Основным критерием подбора текстов стало разнообразие по модусу, подстилю, жанру и показателям сложности, полученным с помощью автоматической модели. Определён размер стимульного фрагмента (от 50 до 70 слов). Создана выборка стимульных фрагментов (13146 стимулов). 1.3. Разработан дизайн эксперимента по оценке перцептивной трудности. Эксперимент проведён с помощью Telegram-бота (https://t.me/PonyatnostBot). Каждый испытуемый читал три фрагмента юридических текста и оценивал, насколько они трудны для восприятия по шкале от 1 до 8 (где 1 — очень легко, 8 — очень трудно). Предусмотрены процедуры валидации оценок (испытуемые выбирали два тематически релевантных для фрагмента слова, скорость оценки стимульного фрагмента замерялась). 1.4. В результате от 355 испытуемых получено 1064 текстовых фрагмента с оценками трудности. Среднее время прохождения опроса составило 2 минуты. Существенных различий в скорости оценивания фрагментов разных классов сложности не наблюдается. Испытуемые чаще всего ошибались в выборе тематически релевантных слов, оценивая самые сложные тексты, и почти не ошибались, оценивая тексты сложности класса «5», при этом доля ошибок в более простых текстах (классов «1», «2», «3», «4») сопоставима. Датасет опубликован на https://github.com/PlainDocument/telegram-survey. 2. С использованием стандартных алгоритмов линейного регрессионного анализа формула читабельности Флеша-Кинкейда адаптирована для определения класса сложности юридических текстов, при адаптации использован датасет с оценками сложности, полученными экспериментально. 3. Специализированная формула читабельности введена в состав метрик гибридной модели оценки сложности, модель опубликована на https://github.com/PlainDocument. 4. Сформированы конвенции дискурсивной транскрипции устных юридических жанров. В конвенциях предложено размечать незаполненные и заполненные паузы трёх степеней длительности, паралингвистические явления, темп речи, интонацию на границах реплик, неуверенность в расшифровке, нефонологическую долготу, обрывы слов, наложение речи. 5. Проведено тестирование двух моделей распознавания речи (MMS, Whisper). Выяснено, что Whisper обеспечивает лучшее качество расшифровки. Сформированы автоматические транскрипты 127-ми судебных заседаний и 7-ми интервью с юристами. 6. Выполнено двухэтапное ручное редактирование автоматических транскриптов 5-ти судебных заседаний и 5-ти интервью с юристами (общая длительность – 176 минут). 7. На материале транскриптов проведено исследование стратегий восстановления понимания и переключения кода (понимаемого как внутриязыковой перевод «со сложного языка на простой»). Например, показано, как юрист в ходе судебного заседания может выяснять истинные намерения собеседника, следить за реакцией собеседника на свою речь, регулируя степень ее официальности, проверять понимание, осуществлять подбадривание собеседника-неспециалиста или за него переформулировать сказанное в терминах специального языка. На материале интервью исследована профессиональная идентичность юриста. 8. Сформирован устный подкорпус синхронного корпуса текстов юридического домена Corpus Juris, в него вошли: – стенограммы заседаний Совета Федерации (524 документов, 15 520 578 слов, 993 410 предложений) – стенограммы заседаний Государственной Думы (920 документов, 37 162 284 слов, 2 023 718 предложений) – расшифровки судебных заседаний (5 транскриптов, 14016 слов), – расшифровки интервью с юристами (5 транскриптов, 11063 слов). 9. Сформирован академический подкорпус Corpus Juris, в него включены научные статьи и монографии по различным отраслям права (199 источников, 9 867 759 слов, 2 61 423 предложений). 10. Сформирован подкорпус блогов в составе Corpus Juris, в него включены публикации в профессиональной социальной сети для юристов zakon.ru (26 446 документов 31 028 597 слов, 1 119 464 предложений). 11. Corpus Juris (82 475 документов, 312 631 334 слов, 18 688 452 предложений) размечен и опубликован на https://plaindocument.spbu.ru/. 10. Проведено исследование обширного списка юридических жанров и сравнение правовых текстов различных подстилей и жанров по уровню сложности. Проанализирована текстовая коллекция, состоящая из 43 804 документов и включающая 118 768 028 слов. С помощью автоматической модели всем документам присвоены оценки сложности. Выяснено, что подавляющее большинство всех документов оценивается как максимально сложные. Так, гибридная модель присваивает класс сложности «12» 97,1% административных документов, 94,5% законодательных документов и 99,7% судебных документов национального права. По отношению ко всем документам международного права доля документов с уровнем сложности «12» составляет 94,1%. Набор законодательных текстов является самым разнообразным по сложности. В среднем самыми сложными документами в исследуемом наборе данных являются юрисдикционные (документы судов). При сравнении документов по жанрам интерпретированы значения синтаксических метрик. В целом сравнение жанровых групп показало, что решающее значение для оценки сложности может иметь не собственно жанр, а издавший документ государственный орган. 11. Создана модель оценки понятности, реализованная в виде двух модулей: модуля оценки сложности, созданной в проекте ранее, и модуля детекции неопределённости. 11.1. Разработана архитектура модуля детекции неопределённости (vagueness). Собраны и размечены обучающие данные (порядка 3100 предложений). Модуль работает как бинарный классификатор, способный предсказывать, содержит ли предъявляемый текстовой фрагмент неопределённость. Выполнено тестирование модуля, точность составила 85%. 11.2. Модель оценки понятности с модулями оценки сложности, неопределённости и пользовательскими словарями опубликована на https://github.com/PlainDocument. Разработано веб-приложение, позволяющее пользователям применять созданные алгоритмы анализа сложности и неопределённости при оценке собственных текстов. Основные результаты этапа опубликованы на https://plaindocument.spbu.ru/, на https://github.com/PlainDocument и представлены в серии научных статей.