В группах «ВКонтакте» появился специальный фильтр для выявления враждебных высказываний
Администраторы групп «ВКонтакте» смогут использовать специальный фильтр, в основе которого лежит нейросеть, для борьбы с враждебными высказываниями. Об этом говорится на сайте соцсети.
«Администраторам стал доступен специальный фильтр для борьбы с враждебными высказываниями — в его основе лежит нейросеть. Фильтр можно включить и отключить в настройках сообщества в любое время, при этом по умолчанию он отключен. Функция уже появилась у владельцев 50% пабликов, а скоро станет доступна всем», — сообщается в пресс-релизе.
Сейчас алгоритмы умеют определять прямые угрозы — пожелания смерти, обещания причинить вред здоровью и угрозы расправы. В будущем он сможет научиться распознавать и другие признаки нетерпимости, например, травлю по национальной или религиозной принадлежности.
Как отмечается в пресс-релизе, руководителям сообществ доступны отфильтрованные публикации с возможностью их восстановить, однако тестовый запуск показал, что отсеянные комментарии возвращают лишь в 1% случаев.
Тестирование фильтра было запущено в ноябре 2020 года. За этот период функцией уже воспользовались руководители свыше 10% всех сообществ «ВКонтакте» — это 13 млн публичных страниц, групп и мероприятий. Администраторы сообществ оценили работу нейросети — среди подключивших фильтр комментариев от него впоследствии отказались лишь 1,8%.
Для создания алгоритмов, которые хорошо понимают разговорную речь, использовалось большое количество текстов на русском языке, например, субтитры из фильмов, сериалов и видео. Нейросеть содержит в себе специальный механизм внимания, позволяющий принимать решения на основе важности слов и их комбинаций. Разработчики изучают логику принятия решений — это позволяет исправлять ошибки, учитывать контекст и эффективнее обучать алгоритмы. Сейчас нейросеть правильно определяет угрозы в 80% случаев, и команда продолжает работать над ее улучшением.
