Data Engineer (Spark)

Do zespołu Data Platform poszukujemy doświadczonego Data Engineer ( Spark) , który będzie odpowiedzialny za projektowanie, rozwój i optymalizację rozwiązań do rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, oraz ich synchronizację z systemami źródłowymi w branży bankowej. Osoba na tym stanowisku będzie również rozwijać i utrzymywać architekturę Data Lakehouse, obejmującą przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (bronze, silver, gold), z wykorzystaniem Apache Spark oraz Apache Iceberg. Praca zdalna.

Zakres obowiązków Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, w tym porównywanie danych w MongoDB z danymi w systemach źródłowych. Opracowywanie reguł jakości danych, wykrywanie duplikatów, brakujących rekordów i anomalii oraz generowanie raportów i alertów. Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector, w tym optymalizacja odczytu i zapisu danych.

Projektowanie, rozwój i utrzymanie warstw Data Lakehouse w architekturze raw/bronze/silver/gold z wykorzystaniem Apache Iceberg. Implementacja procesów CI/CD dla schematów tabel, migracji oraz wersjonowania danych. Optymalizacja wydajności procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution.

Monitorowanie procesów przetwarzania danych oraz wdrażanie rozwiązań observability z wykorzystaniem Prometheus i Grafana. Automatyzacja budowania, testowania