УДК 004.6:004.9
DOI: 10.36871/ek.up.p.r.2023.01.06.001
Авторы
Роман Витальевич Булганин,
SEO Performance Agency, Москва, Россия
Аннотация
В работе рассматриваются методы сокращения времени обработки больших объёмов данных в корпоративных аналитических платформах в условиях роста нагрузки, цифровой трансформации и импортозамещения. Исследование направлено на систематизацию архитектурных и алгоритмических подходов, обеспечивающих повышение производительности, отказоустойчивости и доступности аналитических систем. Анализируются ограничения традиционных ETL-моделей, ориентированных на пакетную обработку, и обосновывается переход к DataOps-конвейерам, построенным на принципах модульности, идемпотентности, контрактного проектирования и автоматического самовосстановления инфраструктуры. Отдельное внимание в работе уделяется распределённым алгоритмам оптимизации, включая ADMM, а также практикам ускорения обработки в Apache Spark и Arenadata. На основе сравнительного анализа и прикладных кейсов ВТБ и АЛРОСА показано, что внедрение интеллектуальных DataOps-подходов позволяет многократно сократить длительность вычислительных циклов, уменьшить время реакции на инциденты и повысить SLA до уровня высоконадёжных корпоративных платформ. Полученные результаты подтверждают значимость архитектурной трансформации для построения эффективных отечественных аналитических экосистем. Работа также раскрывает практическую ценность этих решений для банковского и промышленного секторов.
Ключевые слова
Big Data, DataOps, ETL, корпоративные аналитические платформы, импортозамещение, Arenadata, Apache Spark, оптимизация обработки данных
