Senior Data Engineer / Spark Developer

Markteinblicke

Stack

Details

Kostenlos, nach der Anmeldung.

Bewerben

Laden Sie Ihren Lebenslauf hoch — Arbeitgeber und Recruiter aus verschiedenen Ländern, die Ihr Profil suchen, können Sie direkt kontaktieren.

Beschreibung

O projekcie Do zespołu Data Platform poszukujemy doświadczonego Spark / Data Lakehouse Developera, który będzie odpowiedzialny za projektowanie i rozwój rozwiązań do przetwarzania, synchronizacji oraz rekoncyliacji danych w środowisku Big Data. Osoba na tym stanowisku będzie współtworzyć nowoczesną architekturę Data Lakehouse opartą o Apache Spark, MongoDB oraz Apache Iceberg, dbając o jakość, wydajność i niezawodność procesów danych. Zakres obowiązków Projektowanie i implementacja procesów rekoncyliacji danych w Apache Spark (PySpark, Spark SQL). Porównywanie danych pomiędzy warstwą ODS (MongoDB) a systemami źródłowymi oraz identyfikowanie rozbieżności. Tworzenie i rozwój reguł jakości danych, wykrywanie braków, duplikatów oraz anomalii. Budowa i utrzymanie warstw Data Lakehouse w modelu Raw / Bronze / Silver / Gold. Praca z Apache Iceberg i zarządzanie wersjonowanymi zbiorami danych. Optymalizacja wydajności procesów Spark oraz kosztów przetwarzania danych. Tworzenie i rozwijanie pipeline'ów CI/CD dla aplikacji Spark. Implementacja monitoringu, metryk i alertowania dla procesów danych. Automatyzacja wdrożeń z wykorzystaniem Docker, Kubernetes oraz Spark Operator. Analiza i rozwiązywanie problemów związanych z jakością, spójnością i dostępnością danych. Tworzenie dokumentacji technicznej, diagramów architektury oraz runbooków. Współpraca z Data Engineerami, DevOps Engineerami, Analitykami Biznesowymi i zespołami produktowymi. Udział w code review oraz mentoring mniej doświad

Vollständige Beschreibung, Unternehmen und Bewerbungslink — nach der Anmeldung. Anmelden

Kontaktdaten des Arbeitgebers (E-Mail/Telefon/Telegram) sind in der öffentlichen Vorschau ausgeblendet. Senden Sie Ihren Lebenslauf — dann können Arbeitgeber Sie direkt kontaktieren.