Używamy techniczne pliki cookie i zanonimizowany dziennik wizyt Zorky. Yandex Metrica (dane są przechowywane na serwerach w Rosji) działa tylko za Twoją zgodą. Nigdy nie sprzedajemy danych. Więcej o cookies i statystykach.
Zorky działa w trybie testowym — wszystko jest bezpłatne. Oferty i strony firm są dostępne dla wszystkich; linki do ogłoszeń i osobiste zestawienie ofert — po rejestracji. Zarejestruj się →
← Wszystkie oferty

Spark / Data Lakehouse Developer

SeniorremoteWrocław, PL →6 tydz. temu
Analityka rynku
📊 DevOps / SRE: wynagrodzenia i popyt na rynku
Stack
Apache SparkPySparkSparkMongoDBApacheJenkinsPythonPrometheusGrafanaci/cdconfluencedata lakehouse
Szczegóły
Doświadczenie
od 4 lat
Praktyki
CI/CD, Kanban, Scrum
Pokaż firmę i link
Bezpłatnie, po zalogowaniu.
Aplikuj
Odkryj firmę i link powyżej — Twoja aplikacja trafia prosto do systemu rekrutacyjnego firmy, bez pośredników.

Opis

O stanowisku

O projekcie Poszukujemy doświadczonego inżyniera danych do zespołu Data Platform dla jednego z naszych klientów z sektora finansowego. Projekt polega na rozwijaniu zaawansowanej architektury danych. Skupisz się na projektowaniu rozwiązań rekoncyliacji danych w warstwie ODS oraz budowie nowoczesnego środowiska Data Lakehouse.

Praca zdalna, wizyta w biurze we Wrocławiu 1 dzień w miesiącu. Twój zakres obowiązków Projektowanie i implementacja rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB. Synchronizacja danych z systemami źródłowymi.

Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi). Przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (curated, silver, gold). Czego oczekujemy Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Spark w środowiskach produkcyjnych.

Praktyczna znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming. Doświadczenie w pracy z MongoDB, w tym modelowanie dokumentowe, indeksowanie oraz użycie Spark Connector. Praktyczna znajomość Apache Iceberg, zarządzanie tabelami wersjonowanymi oraz optymalizacja zapisów.

Znajomość narzędzi CI/CD, w szczególności Jenkins do automatyzacji wdrożeń. Doświadczenie z narzędziami monitoringu takimi jak Prometheus i Grafana. Znajomość metodyk zwinnych (Scrum, Kanban) oraz narzędzi Jira i Confluence.

Firma i link do aplikacji — po zalogowaniu. Zaloguj się
Kontakty pracodawcy (e-mail/telefon/Telegram) są ukryte w publicznym podglądzie.
Pilne pytanie? Napisz @termdocs