Big Data Engineer

Analisi del mercato

Stack

Dettagli

Gratis, dopo l'accesso.

Candidati

Carica il tuo CV: datori di lavoro e recruiter di diversi paesi che cercano il tuo profilo potranno contattarti direttamente.

Descrizione

P oszukujemy doświadczonego Senior Big Data Engineera do realizacji projektu związanego z projektowaniem, rozwojem i optymalizacją skalowalnych rozwiązań przetwarzania danych w środowisku Microsoft Azure. Projekt obejmuje budowę i optymalizację pipeline’ów danych, pracę z dużymi zbiorami danych oraz rozwój rozwiązań wspierających zaawansowaną analitykę i Machine Learning. 📍 Tryb Współpracy: 100% zdalnie ⏱️ Dostępność: Poszukujemy osób dostępnych od zaraz lub z maksymalnie 14 dniową dostępnością 🔹 Zakres usług Projektowanie, budowa i rozwój skalowalnych pipeline’ów ETL/ELT w środowisku Microsoft Azure. Optymalizacja procesów przetwarzania danych w Apache Spark (DataFrame API, Spark SQL) pod kątem wydajności, stabilności i niezawodności. Projektowanie i rozwój rozwiązań Data Lake z wykorzystaniem Parquet, Delta Lake oraz mechanizmów partycjonowania danych. Implementacja mechanizmów kontroli jakości danych oraz optymalizacja procesów ich przetwarzania. Rozwój i utrzymanie kodu z wykorzystaniem Git oraz automatyzacja wdrożeń w ramach CI/CD. Przygotowywanie i przetwarzanie danych na potrzeby rozwiązań analitycznych oraz projektów Machine Learning. Analiza i rozwiązywanie problemów technicznych związanych z wydajnością i przetwarzaniem dużych zbiorów danych. Konsultowanie wymagań technicznych i biznesowych z interesariuszami projektu. 🔹 Wymagania Doświadczenie w projektowaniu i rozwijaniu rozwiązań Big Data / Data Engineering na poziomie Senior. Bardzo dobra znajomość SQL oraz mode

Descrizione completa, azienda e link per candidarti: dopo l'accesso. Accedi

I contatti del datore di lavoro (email/telefono/telegram) sono nascosti nell'anteprima pubblica. Invia il tuo CV così i datori di lavoro possono contattarti direttamente.