Spark / Data Lakehouse Developer (k/m/x)

Markteinblicke

Stack

Details

Kostenlos, nach der Anmeldung.

Bewerben

Laden Sie Ihren Lebenslauf hoch — Arbeitgeber und Recruiter aus verschiedenen Ländern, die Ihr Profil suchen, können Sie direkt kontaktieren.

Beschreibung

Poszukujemy Spark / Data Lakehouse Developera do rozwoju procesów przetwarzania danych w architekturze Data Lakehouse. O projekcie Projekt realizowany jest w ramach zespołu Data Platform, a bieżące prace koncentrują się na rekoncyliacji i procesach przetwarzania danych. Rozwiązania rozwijane są w architekturze Data Lakehouse z wykorzystaniem Apache Iceberg jako głównego formatu tabel. Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, a rozwiązania streamingowe planowane są w przyszłości. Warunki współpracy kontrakt B2B praca zdalna język pracy: polski + angielski Twój zakres obowiązków Projektowanie i implementacja procesów w Spark SQL / PySpark Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii Integracja Apache Spark z MongoDB Budowa i rozwój warstw Data Lakehouse Optymalizacja wydajności procesów Spark Rozwój CI/CD dla aplikacji i procesów danych oraz monitoring i diagnozowanie problemów produkcyjnych Wymagania Doświadczenie w projektowaniu i implementacji procesów przetwarzania danych w Apache Spark, Spark SQL oraz PySpark z wykorzystaniem DataFrames Znajomość Apache Iceberg jako formatu tabel w architekturze Data Lakehouse Doświadczenie w pracy z MongoDB, w tym integracji z Apache Spark Umiejętność programowania w Pythonie w kontekście przetwarzania danych Doświadczenie w konfiguracji i utrzymaniu procesów CI/CD z wykorzystaniem Jenkins Znajomość narzędzi monitoring

Vollständige Beschreibung, Unternehmen und Bewerbungslink — nach der Anmeldung. Anmelden

Kontaktdaten des Arbeitgebers (E-Mail/Telefon/Telegram) sind in der öffentlichen Vorschau ausgeblendet. Senden Sie Ihren Lebenslauf — dann können Arbeitgeber Sie direkt kontaktieren.