RT.DataLoader

RT.DataLoader – легко тиражируемое решение для выгрузки больших объёмов данных из систем источников в хранилище данных. Даёт возможность быстро подключать новые источники данных, добавлять новые таблицы, корректировать атрибутивный состав подключенных таблиц, минимизирует привлечения ETL-разработчиков к процессу.

• Полная или частичная выгрузка из таблиц источников
• Доставка данных в файловую систему Hadoop Distributed File System (hdfs)
• Поддержка полной и инкрементальной выгрузки данных из таблиц/представлений/ sql-запросов в файл csv на локальном сервере хранения данных
• Запуск процесса выгрузки по расписанию или по условию наступления события
• Архивирование выгруженных данных
• Подсчет контрольных сумм для обеспечения контроля качества данных
• Формирование очереди заданий на выгрузку для балансировки нагрузки на источник.

Преимущества:

• наличие интерфейса для настройки, управления и мониторинга процессов загрузки;
• наличие оркестратора для управления потоками выгрузки;
• сжатие данных в архив;
• разделение процессов выгрузки и доставки данных для снижения нагрузки на источник при проблемах на стороне ХД;
• простота тиражирования;
• подсчет контрольных сумм для минимизации рисков потери данных;
• позволяет гибко управлять выгрузкой, устанавливая расписание для конкретной таблицы или группы таблиц источника.

Область применения. Продукт применим для хранилищ данных с ежедневной частотой обновления данных, особенно эффективен для систем с большим количеством источников данных.

Условия оплаты

Информация предоставляется по запросу. https://data.rt.ru/services