Одноклассники — ML-модерация токсичных комментариев
Описание проекта
«Одноклассники» внедрили ML-модель для автоматического выявления токсичных комментариев и временного ограничения их авторов. Система обнаруживает оскорбительные высказывания под постами, фото и видео и автоматически вводит временный запрет на написание комментариев для нарушителей — от 1 до 24 часов в зависимости от частоты нарушений.
Модель обучалась более года на датасете из 400 000 примеров «недружелюбных» и провоцирующих негатив высказываний.
Задача
Жалобы на токсичные комментарии составляли треть всех обращений в поддержку платформы, из которых 80% жалоб касались именно комментариев. Более 40% пользователей в опросе отмечали, что негативные высказывания вызывают у них раздражение. Ручная модерация не справлялась с объёмом.
Цели внедрения
-
Снизить долю токсичного контента в комментариях
-
Ускорить обработку жалоб на оскорбительные высказывания
-
Создать безопасную среду для пользователей социальной сети
-
Снизить нагрузку на команду поддержки
Результаты
-
Финансы
-
Снижение операционных затрат на обработку жалоб (точные данные не раскрыты) Время
-
Время обработки жалоб на токсичные публикации сократилось в 3 раза Качество и эффективность
-
Доля токсичных комментариев снизилась на 47%
-
Система работает в режиме реального времени, без участия модераторов Нагрузка и масштаб
-
MAU «Одноклассников» — 36,2 млн пользователей
-
Модель обучена на 400 000 примерах за период >1 года
-
Также в 2024 году: автоматическое скрытие нецензурных слов, размытие эротических изображений, блокировка контента 18+, размытие сцен насилия Надёжность
-
Статистическая устойчивость: длительное обучение >1 года с верификацией качества Импортозамещение и compliance
-
Полностью российская разработка на инфраструктуре VK Group Качественный эффект (если цифры не раскрыты): Александр Москвичев, директор по продукту «Одноклассники»: система позволила создать более безопасную и дружелюбную среду для пользователей.