Usamos cookies técnicos e o registro de visitas anonimizado do Zorky. O Yandex Metrica (dados armazenados em servidores na Rússia) só funciona com o seu consentimento. Nunca vendemos dados. Mais sobre cookies e estatísticas.
O Zorky está em modo de teste — tudo é gratuito. As vagas e as páginas das empresas são abertas a todos; os links dos anúncios e sua seleção pessoal abrem após o cadastro. Cadastre-se →
← Todas as vagas
Data Platform Engineer (102-08SENG-01)
SeniorremoteRemote: Anguilla; Antigua and Barbuda; Argentina; Aruba; Bahamas; Barbados; Belize; Bermuda; Bolivia; Bonaire, Sint Eustatius and Saba; Brazil; Cayman Islands; Chile; Colombia; Costa Rica; Cuba; Dominica; Dominican Republic; Ecuador; El Salvador; Falkland Islands (Malvinas); Grenada; Guatemala; Guyana; Haiti; +20 more; UTC-8 to UTC-2, CRhá 1 sem.
Análises de mercado
📊 Data Engineering: salários e demanda no mercadoDetalhes
- Regime
- Tempo integral
- Inglês
- obrigatório
Mostrar empresa e link
Grátis, depois de entrar.
Candidatar-se
Envie seu currículo: empregadores e recrutadores de vários países que procuram o seu perfil poderão falar com você diretamente.
Enviar seu currículo →Descrição
This role converts a large Azure Data Factory estate into Databricks workflows on AWS. The scope for year one: 2,094 ADF pipelines to migrate — built as reusable templates rather than one-by-one — 9,859 pipeline activities to translate (some map directly, others need rewriting as Lambda or Step Functions), 471 Spark dataflows to move onto Databricks on AWS, and 4 Databricks workspaces (Dev, QA, Pre-prod, Prod) to rehost, including notebook paths and Unity Catalog rewiring. This is a regulated environment, so reconciling migrated data against source systems is part of the definition of done, not an afterthought.
Requirements
What you will do
- Convert Azure Data Factory pipelines into Databricks workflows on AWS, building reusable templates rather than migrating one at a time.
- Rehost Databricks workspaces onto AWS and migrate ADLS Gen2 storage to S3.
- Rewrite ADF Web Activities as Lambda functions or Step Functions tasks, and replace ADF-specific scaling with native Databricks mechanisms.
- Build and tune PySpark transformations for production data volumes.
- Replace Azure Synapse Serverless with Databricks SQL Warehouse.
- Reconcile migrated data against source systems as part of the definition of done.
Required
- Production experience with Databricks: workspaces, jobs and workflows. The central skill for this role.
- Strong Spark and PySpark experience for real data volumes, including tuning.
- Production-grade Python.
- Experience building or migrating Azure Data Factory pipeli
Empresa: depois de entrar. Entrar
Fonte: HimalayasVer no Himalayas →
Os contatos do empregador (e-mail/telefone/telegram) ficam ocultos na prévia pública. Envie seu currículo para que os empregadores possam falar com você diretamente.
Pergunta urgente? Escreva para @termdocs