Spark / Data Lakehouse Developer

Więcej niż jeden projekt. Więcej niż jeden rynek. Jesteśmy częścią Hiberus , firmy technologicznej wywodzącej się z Hiszpanii z silną pozycją na rynku polskim: 4700+ specjalistów, obecnej w 14+ krajach i realizującej projekty dla klientów na całym świecie.

Pracujemy z technologiami AI, Data, Cloud, Software Development, BI i Cybersecurity . Ale przede wszystkim stawiamy na ludzi – gdy jeden projekt się kończy, szukamy kolejnych możliwości w ramach Hiberus, również w innych krajach. Naszą wartość dodatkową stanowi Hiberus University - międzynarodowe środowisko i realna możliwość rozwijania swoich kompetencji.

Ponad tysiąc osób przeszkolonych w zeszłym roku z wybranych technologii. Pierwszy projekt to początek. Z Hiberus możesz budować swoją karierę długoterminowo.

Dla naszego Klienta z sektora finansowego poszukujemy doświadczonego Spark / Data Lakehouse Developera, który dołączy do zespołu Data Platform. Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i rozwój rozwiązań do rekoncyliacji i synchronizacji danych w warstwie ODS (Operational Data Store), opartych na MongoDB, a także za budowę i utrzymanie warstw danych w architekturze Data Lakehouse – od surowych danych po warstwy Curated, Silver i Gold. Główne obowiązki : Projektowanie i implementacja procesów Spark SQL/PySpark do walidacji i porównywania danych (MongoDB/ODS).

Implementacja reguł jakości danych, detekcji duplikatów, anomalii i braków oraz raportowania/alertowania. Integracja i optymalizacja Spark–