Usamos cookies técnicos e o registro de visitas anonimizado do Zorky. O Yandex Metrica (dados armazenados em servidores na Rússia) só funciona com o seu consentimento. Nunca vendemos dados. Mais sobre cookies e estatísticas.
O Zorky está em modo de teste — tudo é gratuito. As vagas e as páginas das empresas são abertas a todos; os links dos anúncios e sua seleção pessoal abrem após o cadastro. Cadastre-se →
← Todas as vagas

DATA ENGINEER (Scala/Spark)

Nível não informadohybridMadrid, ES →há 2 d
Análises de mercado
📊 Data Engineering: salários e demanda no mercado
Stack
scalasparkagileairflowci/cdcloudelasticsearchgitlabhadoopjenkinskafkakubernetes
Detalhes
Práticas
Agile, CI/CD
Mostrar empresa e link
Grátis, depois de entrar.
Candidatar-se
Abra a empresa e o link acima — sua candidatura vai direto para o sistema de recrutamento da empresa, sem intermediários.

Descrição

Hybrid work mode in Madrid.

The main responsibilities are:

  • Migrate the existing Hadoop infrastructure to cloud infrastructure on Kubernetes Engine, COS, Spark as a service, and Airflow as a service.
  • Implement data transformation and quality to ensure data consistency and accuracy. Utilize programming languages such as Scala and SQL and tools like Spark for data transformation and enrichment operations.
  • Set up CI/CD pipelines to automate deployments, unit testing and development management.
  • Write and conduct unit and validation tests to ensure accuracy and integrity of code developed.
  • Automate data pipelines and streamline data ingestion through the implementation of different orchestrators and scheduling processes (Airflow as a Service mainly).
  • Writing technical documentation (specifications, operational documents) to ensure knowledge capitalization.
  • Collaborate with cross-functional teams to understand data requirements and deliver solutions.
  • Foster a culture of continuous learning and improvement within the team.

Requisitos

Требования:

Good knowledge of:

  • Spark on Scala
  • CI/CD tools (Gitlab, Jenkins…)
  • HDFS and structured databases (SQL)

Apache Airflow

S3 storage/COS and parquet (and ORC) format Strong knowledge of SQL and NoSQL databases

Hadoop

Full understanding of:

Oozie

  • Shell script
  • Software Development Lifecycle (SDLC) awareness
  • Agile principles and ceremonies
  • Design effective prompts to leverage Gen AI tools across IT domains (e.g., development, testing, data generation, document
Descrição completa, empresa e link para se candidatar: depois de entrar. Entrar
Os contatos do empregador (e-mail/telefone/telegram) ficam ocultos na prévia pública.
Pergunta urgente? Escreva para @termdocs