Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Market insights

Stack

Free. Sign in with email.

Apply

Upload your CV — we will connect you with the employer directly through our pool.

Description

Обязанности: Rozwój procesów przetwarzania danych w chmurze (GCP) i środowisku Big Data., Projektowanie i optymalizacja zadań Spark / PySpark uruchamianych na klastrach GCP Dataproc oraz w ekosystemie Hadoop., Budowa frameworków walidacyjnych w PySpark/Python do weryfikacji schematów, transformacji i reguł biznesowych przed wejściem na produkcję., Wdrażanie zautomatyzowanych testów oraz reguł walidacyjnych (Data Quality) w Python /PySpark., Zasilanie i transfer danych ze źródeł do chmurowej hurtowni (BigQuery)., Automatyzacja wdrożeń i harmonogramowanie zadań z wykorzystaniem Airflow oraz Jenkins. Опыт: Min. 4 lata doświadczenia w inżynierii danych w środowiskach rozproszonych., Zaawansowany Python z naciskiem na OOP (wzorce projektowe, pisanie czystego, modularnego kodu)., Doświadczenie z PySpark & Apache Spark (Praktyka w optymalizacji jobów, partitioningu i monitorowaniu klastrów)., Doświadczenie z ekosystemem Hadoop oraz pracą na dużych wolumenach danych., Praktyczna znajomość Dataproc, BigQuery oraz Cloud Storage., Umiejętność budowania testów automatycznych na styku Spark/Python, praca z Airflow oraz CI/CD (Jenkins)., Dobry angielski (min. B2 do codziennej komunikacji w projekcie)., Doświadczenie w domenie bankowej lub finansowej.

Company and the link to apply — after you sign in. Sign in

Employer contacts (email/phone/telegram) are hidden from the public preview — send your CV, and we will connect you directly.