Пермский государственный национальный исследовательский университет (ПГНИУ)
математические модели, которые выявляют экстремистскую идеологию в социальных сетях.
Новый сервис умеет анализировать профили, посты и комментарии, а также находить в них призывы к беспорядкам. «Известия» выяснили, как работает система и поможет ли она в борьбе с преступлениями.
«Математические модели позволяют выявлять пользователей социальных сетей, которые распространяют информацию экстремистского характера. Я разработал синтетический датасет, <...> выявляющий роли пользователей социальных сетей, вовлеченных в деструктивные социальные явления».
Всего на конкурс было представлено 114 работ из 37 научных и образовательных организаций из России и Белоруссии. Среди участников были Московский университет МВД России, ВИПК МВД России и Академия МВД Республики Беларусь.
— Система работает просто. Она постоянно отслеживает и выявляет инфоповоды, которые потом классифицируются по разделам — например, терроризм, политика, бизнес и так далее. Затем смотрит, как они наполняются публикациями. И те инфоповоды, в которых появляется экстремальная активность, мы проверяем на признаки информационной атаки. Мы выявляем, кто вовлечен в эту атаку, какую роль играет, в какую атакующую структуру входит, каких целей пытается достичь. А затем уже принимаем решение о мерах противодействия.
Для поиска алгоритмы используют ключевые слова — для каждого деструктивного направления составлен целый список терминов и словосочетаний. Как только «ключи» находятся, программа откладывает сообщение, а потом изучает его.
— Эта поисковая система используется более чем в половине территориальных управлений МВД РФ. С ее помощью удалось предотвратить до десятка преступлений, связанных с расстрелами в российских школах. Таких примеров достаточно много, и они из разных областей. Один из них — ликвидация суицидального деструктивного явления «Синий кит». Представьте, сколько жизней детей удалось спасти.
Сегодня в социальных сетях идет скрытая работа по вовлечению пользователей в экстремистскую идеологию. Новые методики используются уже после того, как поисковая система соберет коллекцию публикаций, информацию о пользователях, которые их публикуют, и их социальных связях. Система позволяет автоматически выявить, какие пользователи вовлечены в эту работу, какую роль они выполняют и кто из них является наиболее опасным.
Сегодня выявлением экстремизма в соцсетях занимаются сотрудники подразделений МВД и ФСБ. Но с учетом колоссальных объемов информации такая работа сложна и трудоемка — и есть риск что-то пропустить.
— К тому же спецслужбы в основном занимаются этой работой вручную. А наша задача — автоматизировать ее, используя искусственный интеллект. И ускорить процесс.
— Но сейчас с развитием систем хранения данных, искусственного интеллекта стало возможным начать просеивать большие объемы информации в кратчайшие периоды времени. Поэтому и стали появляться подобные инструменты.
— Существующих мер было достаточно во времена расцвета интернета. Сейчас же важно очень быстро реагировать на подобные события. Многие преступления можно предотвратить на раннем этапе, если засечь подобную активность в социальных сетях. Многие потенциальные преступники прямо кричат о своих намерениях в соцсетях, но из-за безразличия окружающих или того, что людей не воспринимают всерьез, их не удается остановить.
Сервис, который разработали в Перми, способен отслеживать и высказывания, и настроения в соцсетях. С его помощью можно вылавливать сетевых экстремистов, которые своими постами и сообщениями провоцируют россиян на совершение насильственных действий в отношении других людей.
— Аналог такой программы уже создавался для мониторинга состояния дел в регионах и городах. По нему можно было засечь недовольство жителей региона и скорректировать работу управленцев. Была ли запущена эта система в действие — мне неизвестно, но в целом направление идей о цифровом контроле вполне логично и укладывается в парадигму цифровизации окружающего пространства.
Аналоги таких систем существуют и в других государствах. Например, в США и странах Евросоюза применяются технологии для мониторинга социальных сетей с целью выявления экстремистских угроз и предотвращения терактов. Такие системы постоянно развиваются, поскольку используют машинное обучение и анализ больших данных.
Новый сервис умеет анализировать профили, посты и комментарии, а также находить в них призывы к беспорядкам. «Известия» выяснили, как работает система и поможет ли она в борьбе с преступлениями.
Научный подход
О разработке математических моделей для обнаружения экстремистов сообщается на сайте ПГНИУ. Доцент института компьютерных технологий Андрей Рабчевский создал уникальный датасет, способный идентифицировать пользователей социальных сетей, распространяющих экстремистский контент. Для этого пермская компания «Сеуслаб» сделала специальную поисковую систему. Пособие, в котором описана методика ее использования, стало одним из победителей конкурса, организованного Академией МВД России.
«Математические модели позволяют выявлять пользователей социальных сетей, которые распространяют информацию экстремистского характера. Я разработал синтетический датасет, <...> выявляющий роли пользователей социальных сетей, вовлеченных в деструктивные социальные явления».
Всего на конкурс было представлено 114 работ из 37 научных и образовательных организаций из России и Белоруссии. Среди участников были Московский университет МВД России, ВИПК МВД России и Академия МВД Республики Беларусь.
Новый сервис
Модели, созданные в университете, универсальны — они могут использоваться для выявления потенциально опасных пользователей не только в области экстремизма, но и терроризма, изготовления самодельных взрывных устройств, нападений на школы.— Система работает просто. Она постоянно отслеживает и выявляет инфоповоды, которые потом классифицируются по разделам — например, терроризм, политика, бизнес и так далее. Затем смотрит, как они наполняются публикациями. И те инфоповоды, в которых появляется экстремальная активность, мы проверяем на признаки информационной атаки. Мы выявляем, кто вовлечен в эту атаку, какую роль играет, в какую атакующую структуру входит, каких целей пытается достичь. А затем уже принимаем решение о мерах противодействия.
Для поиска алгоритмы используют ключевые слова — для каждого деструктивного направления составлен целый список терминов и словосочетаний. Как только «ключи» находятся, программа откладывает сообщение, а потом изучает его.
— Эта поисковая система используется более чем в половине территориальных управлений МВД РФ. С ее помощью удалось предотвратить до десятка преступлений, связанных с расстрелами в российских школах. Таких примеров достаточно много, и они из разных областей. Один из них — ликвидация суицидального деструктивного явления «Синий кит». Представьте, сколько жизней детей удалось спасти.
Сегодня в социальных сетях идет скрытая работа по вовлечению пользователей в экстремистскую идеологию. Новые методики используются уже после того, как поисковая система соберет коллекцию публикаций, информацию о пользователях, которые их публикуют, и их социальных связях. Система позволяет автоматически выявить, какие пользователи вовлечены в эту работу, какую роль они выполняют и кто из них является наиболее опасным.
Сегодня выявлением экстремизма в соцсетях занимаются сотрудники подразделений МВД и ФСБ. Но с учетом колоссальных объемов информации такая работа сложна и трудоемка — и есть риск что-то пропустить.
— К тому же спецслужбы в основном занимаются этой работой вручную. А наша задача — автоматизировать ее, используя искусственный интеллект. И ускорить процесс.
Важность разработки
Тема блокировки экстремистских сообщений важна по простой причине — интернет и соцсети стали инструментами влияния на массовое сознание общества. Через них можно формировать общественное мнение, менять его и подстрекать людей к неправомерным действиям.— Но сейчас с развитием систем хранения данных, искусственного интеллекта стало возможным начать просеивать большие объемы информации в кратчайшие периоды времени. Поэтому и стали появляться подобные инструменты.
— Существующих мер было достаточно во времена расцвета интернета. Сейчас же важно очень быстро реагировать на подобные события. Многие преступления можно предотвратить на раннем этапе, если засечь подобную активность в социальных сетях. Многие потенциальные преступники прямо кричат о своих намерениях в соцсетях, но из-за безразличия окружающих или того, что людей не воспринимают всерьез, их не удается остановить.
Сервис, который разработали в Перми, способен отслеживать и высказывания, и настроения в соцсетях. С его помощью можно вылавливать сетевых экстремистов, которые своими постами и сообщениями провоцируют россиян на совершение насильственных действий в отношении других людей.
— Аналог такой программы уже создавался для мониторинга состояния дел в регионах и городах. По нему можно было засечь недовольство жителей региона и скорректировать работу управленцев. Была ли запущена эта система в действие — мне неизвестно, но в целом направление идей о цифровом контроле вполне логично и укладывается в парадигму цифровизации окружающего пространства.
Аналоги таких систем существуют и в других государствах. Например, в США и странах Евросоюза применяются технологии для мониторинга социальных сетей с целью выявления экстремистских угроз и предотвращения терактов. Такие системы постоянно развиваются, поскольку используют машинное обучение и анализ больших данных.
