Wildberries — Универсальная система видеоаналитики для складов и ПВЗ

WB Tech разработал унифицированную архитектуру видеоаналитики для управления безопасностью и логистикой на складах и ПВЗ. Система построена на едином backbone (Self-Supervised Learning, VideoMAE V2) с набором специализированных «голов» для отдельных сценариев: обнаружение фрода, контроль соблюдения техники безопасности, мониторинг процессов упаковки/погрузки/разгрузки, отслеживание перемещений сотрудников и техники. Добавление новых сценариев не требует разметки всего датасета — достаточно небольшого объёма данных для новой головы. Мультимодальные VLM используются асинхронно для автоматического описания инцидентов и верификации результатов.

Управление безопасностью и контроль операций на 100+ складах (суммарная площадь >3 млн м²) и 50 000+ ПВЗ с более чем 100 000 камер требует автоматизации — ручной контроль практически невозможен. Разработка отдельных тяжёлых моделей для каждого сценария неэффективна.

• Автоматизировать мониторинг безопасности и логистических операций

• Обнаруживать фрод и нарушения в реальном времени

• Минимизировать затраты на разметку данных при расширении сценариев

• Создать масштабируемую платформу для всей экосистемы складов и ПВЗ

• Финансы

• Результаты не раскрыты публично Время

• Добавление нового сценария детекции: требует небольшого объёма размеченных данных (vs. полная разметка всего датасета для отдельной модели) Качество и эффективность

• VideoMAE V2: 1-е место на нескольких Action Classification бенчмарках (Top-5 Accuracy, state-of-the-art)

• Spatio-Temporal Action Detection: 1-е место на AVA-Kinetics (mAP)

• Temporal Action Localization: 4–5-е места на FineAction и THUMOS'14

• Обрабатывается ~200 инцидентов в день Нагрузка и масштаб

• 100+ складов, суммарная площадь >3 млн м²

• 50 000+ ПВЗ подключено к системе видеоаналитики

• 100 000+ камер в сети

• Сценарии: фрод, техника безопасности, контроль упаковки/погрузки/разгрузки, трекинг персонала и техники Надёжность

• Система работает в online-режиме; VLM-верификация — в асинхронном режиме (физические ограничения)

• Результаты по uptime не раскрыты публично Импортозамещение и compliance

• Инфраструктура — собственная; open-source модели адаптированы и обучены на данных Wildberries; данные не покидают периметр компании; соответствует 152-ФЗ Качественный эффект: Тотальная автоматизация мониторинга безопасности и операций на гигантской распределённой инфраструктуре; снижение фрода; единая платформа для быстрого добавления новых сценариев анализа.