Big Data Engineer

P oszukujemy doświadczonego Senior Big Data Engineera do realizacji projektu związanego z projektowaniem, rozwojem i optymalizacją skalowalnych rozwiązań przetwarzania danych w środowisku Microsoft Azure. Projekt obejmuje budowę i optymalizację pipeline’ów danych, pracę z dużymi zbiorami danych oraz rozwój rozwiązań wspierających zaawansowaną analitykę i Machine Learning. 📍 Tryb Współpracy: 100% zdalnie ⏱️ Dostępność: Poszukujemy osób dostępnych od zaraz lub z maksymalnie 14 dniową dostępnością 🔹 Zakres usług Projektowanie, budowa i rozwój skalowalnych pipeline’ów ETL/ELT w środowisku Microsoft Azure.

Optymalizacja procesów przetwarzania danych w Apache Spark (DataFrame API, Spark SQL) pod kątem wydajności, stabilności i niezawodności. Projektowanie i rozwój rozwiązań Data Lake z wykorzystaniem Parquet, Delta Lake oraz mechanizmów partycjonowania danych. Implementacja mechanizmów kontroli jakości danych oraz optymalizacja procesów ich przetwarzania.

Rozwój i utrzymanie kodu z wykorzystaniem Git oraz automatyzacja wdrożeń w ramach CI/CD. Przygotowywanie i przetwarzanie danych na potrzeby rozwiązań analitycznych oraz projektów Machine Learning. Analiza i rozwiązywanie problemów technicznych związanych z wydajnością i przetwarzaniem dużych zbiorów danych.

Konsultowanie wymagań technicznych i biznesowych z interesariuszami projektu. 🔹 Wymagania Doświadczenie w projektowaniu i rozwijaniu rozwiązań Big Data / Data Engineering na poziomie Senior. Bardzo dobra znajomość SQL oraz mode