Мы используем технические cookie и обезличенный журнал посещений Zorky. Яндекс Метрику (данные хранятся на серверах в РФ) включаем только с вашего согласия. Данные не продаём. Подробнее о cookie и статистике.
Zorky в тестовом режиме — всё бесплатно. Вакансии и страницы компаний открыты всем; ссылки на объявления и личная подборка — после регистрации. Зарегистрироваться →
← Все вакансии

Senior Data Engineer (Databricks & Python)

SeniorremotePoland, PL2нед назад
Аналитика рынка
📊 Data Engineer: зарплаты и спрос на рынке
Стек
databrickspythonazureci/cddelta lakepysparksparksql
Условия
Практики
CI/CD
Показать компанию и ссылку
Бесплатно, после входа в кабинет.
Откликнуться
Загрузите резюме — работодатели и рекрутеры из разных стран, которым нужен ваш профиль, смогут написать вам напрямую.
Отправить резюме →

Описание

Задачи

Обязанности:

Develop and maintain data pipelines using Azure Databricks, Python, PySpark, Spark SQL, and Delta Lake., Design and implement solutions following the Bronze → Silver → Gold medallion architecture., Ingest and process data from APIs, JSON files, Azure Storage, and enterprise systems., Build and maintain data quality, validation, reconciliation, monitoring, and automated data testing frameworks, including data quality rules, schema validation, and operational controls., Optimize performance, partitioning, and scalability of data workloads., Implement CI/CD, automated testing, error handling, and reprocessing processes., Ensure traceability, auditability, reproducibility, and controlled releases for regulated data pipelines.

Опыт: Strong Azure Databricks engineering with Python/PySpark, Spark SQL and Delta Lake., Deep knowledge of the Bronze → Silver → Gold medallion architecture shown in the diagram., Ingestion of structured JSON/API/file data, ADLS Gen2 and Azure Storage., Databricks Workflows/Jobs and preferably Delta Live Tables/Lakeflow where appropriate., Schema enforcement/evolution, data-quality rules, validation and reconciliation., Data transformation and standardization, metadata management and lineage., Unity Catalog/governance experience., API-based ingestion/export patterns., Handling document metadata and references to PDF/eLabel assets., Performance optimization and partitioning., CI/CD for notebooks/code and automated data tests., Monitoring/error h

Полное описание, компания и ссылка на вакансию — после входа. Войти
Контакты работодателя (email/phone/telegram) скрыты из публичного превью. Отправьте резюме — и работодатели смогут написать вам сами.
Пожаловаться на вакансию
Срочный вопрос? Напишите @termdocs