Аннотация результатов, полученных в 2016 году
В ходе выполнения проекта РНФ в 2016 году были получены значимые научные результаты. 1. Был создан корпус текстов, специально предназначенный для исследований в области диагностирования пола автора текста и выявлений различий в речи мужчин и женщин Russian Gender Attribution Corpus (RusGendAttr), не имеющий аналогов в отечественной и зарубежной лингвистике. Уникальность корпуса состоит в том, что он содержит интернет-тексты на русском языке (сообщения интернет-пользователей в соцсетях – Vkontakte, Twitter, Facebook) с демографической информацией об их авторах; тексты на русском языке, созданные в присутствии экспериментаторов, представляющие собой образцы естественной письменной речи и снабженные обширными метаданными в виде информации об их авторах пол, возраст, данные психологического тестирования, уровень образования, данные нейропсихологического обследования); тексты, созданные с намеренным искажением признаков письменной речи с целью имитации речи лица противоположного пола (подкорпус Gender Imitation); корпус интернет-текстов (твитов) билингвов – лиц, владеющих как русским, так и английским языком. Данный корпус представляет собой уникальный ресурс, который может быть использован не только для решения задач данного научного проекта, но и широкой научной общественностью, в частности исследователями, занимающиеся проблемами выявления различий в речи женщин и мужчин и построением методик диагностирования личности по тексту. В настоящее время нами ведутся работы по созданию сайта и размещению корпуса в открытом доступе. Доклады на международных конференциях, посвященные корпусу, показали наличие большого интереса зарубежных исследователей к корпусам текстов на русском языке, содержащим метаразметку в виде данных об авторах. Члены научного коллектива были приглашены на крупные международные конференции, которые пройдут в 2017 году, для выступления с докладами о результатах работ по гранту, выполненных на материале созданного корпуса. 2. В соответствии с заявкой нами были получены данные о степени стабильности в текстах квантифицируемых языковых параметров (более 100). С учетом полученных данных были проведены эксперименты, направленные на выявление различий в мужской и женской русской письменной речи и построение, с использованием различных методов, математических моделей для диагностирования пола автора на основе количественных значений параметров созданного им текста. На основе полученных данных были построены математические модели для диагностирования пола автора текста на русском языке с использованием нескольких подходов. В рамках первого подхода было построено несколько регрессионных моделей для каждого параметра текста на основе оптимальной выборки, с учетом знака коэффициента корреляции и исключения статистических выбросов. Проведенные расчеты показали, что с использованием предложенного подхода был верно диагностирован пол у 65% женщин и 63% мужчин. Таким образом, вероятность совпадения пола автора текста, предсказанного с использованием предложенного выше подхода на основе количественных значений пяти наиболее стабильных языковых параметров, с реальным полом продуцента текста составила 64%. Помимо описанного подхода, нами был применен подход, связанный с с использованием методов машинного обучения для построения классификатора, относящего текст к группе написанных мужчиной/женщиной на основе количественных значений большого числа текстовых параметров, не зависящих или слабо зависящих от темы и жанра текста (морфологические, синтаксические характеристики). Сравнительный анализ классификаторов, построенных на основе различных алгоритмов машинного обучения, показал, что среди наиболее часто используемых для задач классификации текста наиболее высокую точность (74%+/-0,05) показал алгоритм ReLu. В то же время использование сложных моделей нейронных сетей (CNN+LSTM), ранее не применявшихся в литературе для решения задач классификации текста, дало более высокую точность (86%+/-0.03) даже при использовании небольшого числа параметров текста. Однако применение данного метода имеет ряд ограничений, связанных прежде всего с трудностью в оценке вклада того или иного параметра в точность модели, поскольку данные модели извлекают и обрабатывают информацию из текста нелинейно, в связи с чем в дальнейшем нами планируется развитие методов извлечения значимых комбинаций параметров на основе внутренних параметров нейронной сети, а также тестирование полученных моделей на текстах соцсетей. Таким образом, результаты проведенных в ходе выполнения проекта экспериментальных исследований показали принципиальную возможность диагностирования пола автора текста на русском языке на основе количественных значений параметров текста, не связанных с его содержанием и неподконтрольных сознанию пишущего. 3. Полученные в ходе выполнения проекта в 2016 году научные результаты были опубликованы в 7 научных статьях, 6 из которых входят в базы Web of Science/Scopus и доложены на 7 международных конференциях.

Аннотация результатов, полученных в 2017 году
Главной отличительной чертой работ этого года по отношению к работам предыдущего года является проведение анализа текстов, в которых содержится намеренное искажение признаков письменной речи с целью имитации речи лица противоположного пола. Для проведения этого анализа была выполнена работа по подготовке специально размеченных корпусов. В первую очередь это корпус Gender Imitation, для которого каждый из авторов написал по три текста на выбранную тему: Текст A – в собственном стиле, Текст B – с попыткой имитировать противоположный пол, текст C – в стиле, отличном от своего собственного. Помимо написания текста пользователю в обязательном порядке предлагалось пройти тестирование по методу анкетирования, в котором он отмечал такие признаки как пол, возраст, уровень образования, является он правшой или левшой и т.д. Данный корпус также содержит разметку результатов прохождения автором теста "Маскулинность-фемининность" по наличию у него мужских и женских черт. В ходе исследования по обучению моделей для диагностики пола автора на текстах с искажением пола была выявлена недостаточность размера данного корпуса для получения содержательных результатов с учетом статистической погрешности. Для увеличения размера обучающей выборки путем краудсорсинга был собран русскоязычный корпус «Gender imitation crowdsource» текстов интернет пользователей, выполнявших задание по составлению текстов с имитацией пола и стиля написания, согласно аналогичному заданию корпуса «Gender imitation». Корпус «Gender imitation crowdsource» содержит 1161 текст от мужчин и 2043 текста от женщин. Указанные корпуса позволили проделать математическую работу по анализу параметров текста с намеренным искажением признаков письменной речи с целью имитации речи лица противоположного пола, выявить параметры текста, меняющихся при намеренном искажении признаков письменной речи с целью имитации речи лица противоположного пола, оценить корреляции между полом автора текста и стабильными параметрами текста, показателем фемининности/маскулинности. Аналогичные корреляции со стабильными параметрами были оценены на материале корпуса интернет-текстов; выделены списки наиболее коррелирующих параметров. Также было выявлено влияние на параметры текста латеральной организации автора текста на основе индекса «рукости», рассчитанного как разница между количеством «правых», «левых» и «смешанных» ответов информантов по набору специальных тестов. Выяснилось, что тексты праворуких мужчин и женщин и леворуких мужчин и женщин соответственно наиболее близки по ряду количественных показателей, в то время как тексты мужчин и особенно женщин с разным мануальным предпочтением различаются между собой в наибольшей степени, что дает нам возможность утверждать, что на количественные параметры текста характер «рукости» оказывает значительное влияние. Полученные результаты доказывают также необходимость дальнейшего, более тщательного изучения проблемы отражения психофизиологических параметров личности в ее речевой продукции не изолированно, а в совокупности, в их взаимодействии друг с другом. Как показал проведенный нами анализ, психологический пол (степень феминности/маскулинности авторов текстов), в отличие от характеристик профиля латеральной организации, не оказывает значимого влияния на характер изменения выбранных нами групп параметров при искажении автором языковых характеристик своих текстов с целью имитации речи лица противоположного пола либо маскировки стиля. Для диагностирования пола автора текста с учетом возможного искажения признаков письменной речи в отчетном году был разработан и проанализирован широкий круг математических моделей с использованием разных математических методов с оценкой их эффективности. Методы включали с одной стороны набор традиционных алгоритмов (Support Vector Machine Classifier-SVM, Gradient Boosting, Random Forest, AdaBoosting, Logistic Regression, Extreme Gradient Boosting, Extra Trees Classifier), а с другой стороны нейросети глубокого обучения (различные топологии с использованием сверточных и LSTM, сиамских сетей). Анализировались модели, построенные на различных комбинациях признаков и использующие различные варианты обучения. Лучший результат показан на модели SVM, которая в комбинации с признаками TF-IDF дает лучший результат F1=0.64 +/- 0.03 на текстах с искажением. Результаты, выполненной в рамках проекта оценки эффективности полученных моделей позволили установить текущие state-of-the-art точности решения задачи диагностики пола автора текста для текстов без искажения в F1 = 0.88+/- 0.03, в то время как для текстов с искажением эта точность составляет F1= 0.64 +/- 0.03. Причем точность расчета по модели растет с увеличением размеров обучающей выборки. Показано, что обучение на краудсорсинговых корпусах, отфильтрованных с помощью модели, настроенной на эталонной выборке Gender Imitation, дает существенное повышение точности расчета текстов с сокрытием пола (до F1=0.93 в зависимости от композиции выборки). Предлагаемый подход открывает путь к получению большей выборки, по распределению близкой к сравнительно небольшой эталонной, для обучения новой модели повышенной точности. Полученные в ходе выполнения проекта в 2017 году научные результаты были доложены на 4 международных конференциях, проходивших как в России, так и за рубежом. Кроме того, с участием членов коллектива исполнителей проекта было проведено международное соревнование-тестирование моделей по диагностированию пола автора текста на русском языке в рамках международной инициативы PAN (http://en.rusprofilinglab.ru/rusprofiling-at-pan/ ). Русский язык впервые был представлен в истории указанной международной инициативы. По результатам работы этого года опубликовано 7 статей, из них: 6 опубликованы в изданиях, индексируемых Scopus, и 4 - в изданиях, индексируемых Web of science Core collection, а также 4 - индексируемых РИНЦ.

Аннотация результатов, полученных в 2018 году
Главной отличительной чертой работ этого года по отношению к работам предыдущего года является проведение анализа текстов, в которых содержится намеренное искажение признаков возраста в письменной речи с целью имитации принадлежности к другой возрастной группе. Для проведения этого анализа была выполнена работа по подготовке специально размеченных корпусов. В первую очередь это корпус Age Imitation crowdsource, для которого каждый из авторов написал по три текста на выбранную тему: Текст A – пишется от своего лица на заданную тему, Текст B – с попыткой имитировать письменный стиль человека младшего возраста относительно своего, текст C – с попыткой имитировать письменный стиль человека старшего возраста. Помимо написания текста пользователю в обязательном порядке предлагалось пройти тестирование по методу анкетирования, в котором он отмечал такие признаки как пол, возраст, уровень образования, является он правшой или левшой и т.д. Также в рамках этого года был собран корпус блогов на базе проекта LiveJournal. Всего в рамках корпуса Age Imitation Crowdsource собрано более 13 тыс текстов с наличием имитации и без нее от более чем 3300 авторов. В рамках корпуса LiveJournal собрано 22707 сообщений от 2705 авторов, аннотированных по полу и возрасту автора во время публикации. Указанные корпуса позволили проделать математическую работу по анализу параметров текста с намеренным искажением признаков возраста в письменной речи с целью имитации речи лица другой возрастной группы, оценить корреляции между возрастной группой автора текста и стабильными параметрами текста. Для диагностирования возраста автора текста с учетом возможного искажения признаков письменной речи в отчетном году был разработан и проанализирован широкий круг математических моделей с использованием разных математических методов с оценкой их эффективности. Методы включали с одной стороны набор традиционных алгоритмов (Support Vector Machine Classifier-SVM, Gradient Boosting, Random Forest), а с другой стороны нейросети глубокого обучения (различные топологии с использованием сверточных и LSTM, сиамских сетей). Анализировались модели, построенные на различных комбинациях признаков и использующие различные варианты обучения. Лучший результат показан на модели SVM, которая в комбинации с признаками TF-IDF дает лучший результат F1=0.8 при определении типа имитации на текстах с искажением. Результаты выполненной в рамках проекта оценки эффективности полученных моделей позволили установить текущие state-of-the-art точности решения задачи диагностирования возрастной группы автора текста без искажения со значением F1 = 0.45, в то время как для текстов с искажением эта точность составляет F1= 0.42. Таким образом, модель незначительно теряет в точности в случае, когда обучающая выборка не содержит примеров с искажением, и работает на уровне модели, которая предназначена для определения возраста авторов текста без сокрытия. Из этого следует, что модели машинного обучения позволяют выделять информацию, инвариантную к попыткам умышленного искажения возраста автором текста. Результаты решения задачи определения возраста автора текста получены впервые для текстов на русском языке. В целом, они согласуются с опубликованными результатами для английского и испанского языков, в получении которых были использованы выборки, значительно превосходящие размером собранную в рамках данного исследования. Задача определения возраста автора текста в условиях возможного искажения ранее не решалась. Полученные в ходе выполнения проекта в 2018 году научные результаты были представлены на 5-ти международных конференциях, проходивших как в России, так и за рубежом. Кроме того, результаты легли в основу лекции “Диагностирование пола и возраста участника интернет-коммуникации на основе количественных параметров его текстов”, доложенной на научно-техническом семинаре Консорциума Национального Центра Когнитивных Разработок в области создания и применения машинного обучения и когнитивных технологий. По результатам работы этого года опубликовано 7 статей, из них 6 опубликованы в изданиях, индексируемых Scopus.