DevOps-инженер Data-платформы

Market insights

Stack

Apply

Upload your CV — we will connect you with the employer directly through our pool.

Description

Проект «База знаний» - это внедрение базовой дисциплины управления критическими* данными корпоративного хранилища: как структурированными (таблицы, витрины, отчёты); так и неструктурированными (Confluence, Wiki — знания о данных). Цель проекта – создание работающей системы управления критическими данными, обеспечивающей: полную идентификацию и описание источников, измеримое качество через дата-контракты, единую навигацию по данным и знаниям о них, дисциплину поддержания актуальности, наличие источников в целевом состоянии. Чем предстоит заниматься Разрабатывать, настраивать и поддерживать CI/CD-пайплайны для ETL-процессов, скриптов и автоматизированных проверок качества данных; Организовывать версионирование и управление исходным кодом всех проектных артефактов: ETL-скриптов, тестов, конфигураций и технической документации; Поддерживать среды разработки, тестирования и промышленной эксплуатации, обеспечивать их стабильность и согласованность; Автоматизировать развертывание инструментов контроля качества данных и их интеграцию с существующими пайплайнами; Настраивать автоматизированные проверки качества данных на инфраструктурном уровне, включая контроль доступности и потребления инфраструктурных ресурсов; Разрабатывать и поддерживать систему мониторинга, метрик, логирования и алертинга для ETL-процессов и инфраструктуры; Настраивать централизованный сбор и поиск логов, корреляцию событий и диагностику инцидентов при переносе процессов на целевую архитектуру; Автоматизировать повторный запуск и пересборку данных при сбоях, минимизируя ручное вмешательство и время восстановления; Настройка разработанной ролевой модели доступа в разворачиваемых системах; Контролировать и оптимизировать производительность инфраструктуры: масштабирование, распределение ресурсов, оптимизацию запросов и управление ресурсами кластера; Настраивать резервное копирование данных и конфигураций, регулярно проверять процедуры восстановления; Разрабатывать и поддерживать планы аварийного восстано

Employer contacts (email/phone/telegram) are hidden from the public preview — send your CV, and we will connect you directly.