Usiamo cookie tecnici e il registro anonimo delle visite di Zorky. Yandex Metrica (dati conservati su server in Russia) funziona solo con il tuo consenso. Non vendiamo mai dati. Ulteriori informazioni su cookie e statistiche.
Zorky è in modalità test: è tutto gratuito. Le offerte e le pagine delle aziende sono aperte a tutti; i link agli annunci e la tua selezione personale si aprono dopo la registrazione. Registrati →
← Tutte le offerte

DATA ENGINEER (Scala/Spark)

Livello non indicatohybridMadrid, ES →2 g fa
Analisi del mercato
📊 Data Engineering: stipendi e domanda sul mercato
Stack
scalasparkagileairflowci/cdcloudelasticsearchgitlabhadoopjenkinskafkakubernetes
Dettagli
Practices
Agile, CI/CD
Mostra azienda e link
Gratis, dopo l'accesso.
Candidati
Apri l'azienda e il link qui sopra: la candidatura arriva direttamente nel sistema di selezione dell'azienda, senza intermediari.

Descrizione

Hybrid work mode in Madrid.

The main responsibilities are:

  • Migrate the existing Hadoop infrastructure to cloud infrastructure on Kubernetes Engine, COS, Spark as a service, and Airflow as a service.
  • Implement data transformation and quality to ensure data consistency and accuracy. Utilize programming languages such as Scala and SQL and tools like Spark for data transformation and enrichment operations.
  • Set up CI/CD pipelines to automate deployments, unit testing and development management.
  • Write and conduct unit and validation tests to ensure accuracy and integrity of code developed.
  • Automate data pipelines and streamline data ingestion through the implementation of different orchestrators and scheduling processes (Airflow as a Service mainly).
  • Writing technical documentation (specifications, operational documents) to ensure knowledge capitalization.
  • Collaborate with cross-functional teams to understand data requirements and deliver solutions.
  • Foster a culture of continuous learning and improvement within the team.

Requisiti

Требования:

Good knowledge of:

  • Spark on Scala
  • CI/CD tools (Gitlab, Jenkins…)
  • HDFS and structured databases (SQL)

Apache Airflow

S3 storage/COS and parquet (and ORC) format Strong knowledge of SQL and NoSQL databases

Hadoop

Full understanding of:

Oozie

  • Shell script
  • Software Development Lifecycle (SDLC) awareness
  • Agile principles and ceremonies
  • Design effective prompts to leverage Gen AI tools across IT domains (e.g., development, testing, data generation, document
Descrizione completa, azienda e link per candidarti: dopo l'accesso. Accedi
I contatti del datore di lavoro (email/telefono/telegram) sono nascosti nell'anteprima pubblica.
Domanda urgente? Scrivi a @termdocs