Мы используем технические cookie и обезличенный журнал посещений Zorky. Яндекс Метрику (данные хранятся на серверах в РФ) включаем только с вашего согласия. Данные не продаём. Подробнее о cookie и статистике.
Zorky в тестовом режиме — всё бесплатно. Вакансии и страницы компаний открыты всем; ссылки на объявления и личная подборка — после регистрации. Зарегистрироваться →
← Все вакансии

Data Platform Engineer (102-08SENG-01)

SeniorremoteRemote: Anguilla; Antigua and Barbuda; Argentina; Aruba; Bahamas; Barbados; Belize; Bermuda; Bolivia; Bonaire, Sint Eustatius and Saba; Brazil; Cayman Islands; Chile; Colombia; Costa Rica; Cuba; Dominica; Dominican Republic; Ecuador; El Salvador; Falkland Islands (Malvinas); Grenada; Guatemala; Guyana; Haiti; +20 more; UTC-8 to UTC-2, CR3нед назад
Аналитика рынка
📊 Data Engineer: зарплаты и спрос на рынке
Стек
awsazuredatabrickslambdastep functions
Условия
Занятость
Полная занятость
Английский
обязателен
Показать компанию и ссылку
Бесплатно, после входа в кабинет.
Откликнуться
Откройте компанию и ссылку выше — отклик уходит прямо в систему найма компании, без посредников.

Описание

This role converts a large Azure Data Factory estate into Databricks workflows on AWS. The scope for year one: 2,094 ADF pipelines to migrate — built as reusable templates rather than one-by-one — 9,859 pipeline activities to translate (some map directly, others need rewriting as Lambda or Step Functions), 471 Spark dataflows to move onto Databricks on AWS, and 4 Databricks workspaces (Dev, QA, Pre-prod, Prod) to rehost, including notebook paths and Unity Catalog rewiring. This is a regulated environment, so reconciling migrated data against source systems is part of the definition of done, not an afterthought.

Требования

Requirements

Задачи

What you will do

  • Convert Azure Data Factory pipelines into Databricks workflows on AWS, building reusable templates rather than migrating one at a time.
  • Rehost Databricks workspaces onto AWS and migrate ADLS Gen2 storage to S3.
  • Rewrite ADF Web Activities as Lambda functions or Step Functions tasks, and replace ADF-specific scaling with native Databricks mechanisms.
  • Build and tune PySpark transformations for production data volumes.
  • Replace Azure Synapse Serverless with Databricks SQL Warehouse.
  • Reconcile migrated data against source systems as part of the definition of done.

Required

  • Production experience with Databricks: workspaces, jobs and workflows. The central skill for this role.
  • Strong Spark and PySpark experience for real data volumes, including tuning.
  • Production-grade Python.
  • Experience building or migrating Azure Data Factory pipeli
Компания — после входа. Войти
Источник: HimalayasОбъявление на Himalayas →
Контакты работодателя (email/phone/telegram) скрыты из публичного превью.
Срочный вопрос? Напишите @termdocs