Альфа-Банк — промышленная MLOps-платформа: MDP + СИМ + Feature Store
Описание проекта
Альфа-Банк создал и внедрил универсальную экосистему для промышленной разработки и эксплуатации ML-моделей. Экосистема включает три ключевых компонента: платформа разработки моделей (MDP) — единая среда для более чем 100 специалистов, где создаются все модели ЦПА; система исполнения моделей (СИМ) — универсальная отказоустойчивая платформа для деплоя в онлайн, batch, stream и каскадном режимах; Feature Store — централизованное хранилище и конвейер доставки признаков для всех моделей. СИМ интегрирована со всеми системами принятия решений по розничному, малому и среднему бизнесу; охват корпоративного сегмента — в разработке. ML-модели решают задачи кредитного скоринга, антифрода, маркетинговой оптимизации (NBA-движок), рекомендательных систем, индивидуального ценообразования по кредитным продуктам, прогнозирования оттока клиентов.
Задача
Ручные процессы разработки моделей, разнообразие подходов у разных команд, отсутствие стандартизации не позволяли масштабировать ML-производство. Время вывода модели в промышленную эксплуатацию составляло многие недели, число доступных моделей было ограничено.
Цели внедрения
-
Радикально сократить время разработки и вывода ML-моделей в продакшн
-
Стандартизировать и централизовать ML-производство
-
Повысить доступность ML-инструментов для нетехнических специалистов
-
Обеспечить высочайшую доступность (SLA 99,98%) для критических моделей
Результаты
-
Финансы
-
Снижение времени и стоимости разработки ML-моделей; более быстрый вывод в бизнес ускоряет получение прибыли Время
-
Среднее время вывода онлайн-модели в продакшн: 2,5 недели (ранее — в 2 раза дольше)
-
Сокращение времени внедрения моделей более чем вдвое по сравнению с предыдущим годом Качество и эффективность
-
Число моделей, внедрённых в эксплуатацию, выросло в 15 раз по сравнению с предыдущим годом
-
Доля внедрений в целевую инфраструктуру доведена до 80%
-
Итоговая доступность онлайн-моделей в 2023 году: 99,98%
-
Число пользователей среды разработки выросло в 2,5 раза; более 100 специалистов (20% — не дата-сайентисты) Нагрузка и масштаб
-
Более 140 моделей выведены в пакетном режиме (задачи оценки ценности клиента и прогнозирования дохода)
-
Feature Store охватывает все основные бизнес-линии; рост числа признаков — более чем в 2 раза за год Импортозамещение и compliance
-
Инфраструктура на open-source (Hadoop, Kubernetes, Kafka); вычислительных ресурсов потребовалось бы в 2,5–3 раза больше без собственных доработок JupyterHub Качественный эффект: Создание первой в Альфа-Банке промышленной ML-фабрики позволило перейти от единичных пилотов к систематическому производству ML-решений в масштабе всего банка.