Spark / Data Lakehouse Developer (m/k/n)

Market insights

Stack

Free. Sign in with email.

Apply

Upload your CV — we will connect you with the employer directly through our pool.

Description

O projekcie Projekt realizowany w ramach zespołu Data Platform. Aktualne prace koncentrują się przede wszystkim na rekoncyliacji i procesach przetwarzania danych, dlatego doświadczenie w tych obszarach będzie szczególnie wartościowe. Rozwiązania rozwijane są w architekturze Data Lakehouse. Apache Iceberg jest głównym wykorzystywanym formatem tabel i jego znajomość jest warunkiem koniecznym. Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, natomiast rozwiązania streamingowe planowane są w przyszłości. Twój zakres obowiązków Projektowanie i implementacja procesów w Spark SQL / PySpark Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii Integracja Apache Spark z MongoDB Budowa i rozwój warstw Data Lakehouse Optymalizacja wydajności procesów Spark Rozwój CI/CD dla aplikacji i procesów danych Monitoring procesów oraz diagnozowanie problemów produkcyjnych Tworzenie dokumentacji technicznej i udział w code review Nasze wymagania Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych Bardzo dobra znajomość PySpark, Spark SQL, DataFrames Praktyczne doświadczenie z Apache Iceberg – warunek konieczny, w tym znajomość tabel wersjonowanych oraz operacji upsert/merge Doświadczenie z MongoDB – MongoDB Spark Connector nie jest wymagany Znajomość Python / PySpark Doświadczenie w tworzeniu procesów rekoncyliacji i przetwarzania danych Doświadczenie z Jenkins

Full description, company and the link to apply — after you sign in. Sign in

Employer contacts (email/phone/telegram) are hidden from the public preview — send your CV, and we will connect you directly.