Spark / Data Lakehouse Developer

Аналитика рынка

Стек

Бесплатно. Вход по почте.

Откликнуться

Загрузите резюме — мы свяжем вас с работодателем напрямую через нашу базу.

Описание

O projekcie Poszukujemy doświadczonego inżyniera danych do zespołu Data Platform dla jednego z naszych klientów z sektora finansowego. Projekt polega na rozwijaniu zaawansowanej architektury danych. Skupisz się na projektowaniu rozwiązań rekoncyliacji danych w warstwie ODS oraz budowie nowoczesnego środowiska Data Lakehouse. Praca zdalna, wizyta w biurze we Wrocławiu 1 dzień w miesiącu. Twój zakres obowiązków Projektowanie i implementacja rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB. Synchronizacja danych z systemami źródłowymi. Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi). Przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (curated, silver, gold). Czego oczekujemy Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Spark w środowiskach produkcyjnych. Praktyczna znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming. Doświadczenie w pracy z MongoDB, w tym modelowanie dokumentowe, indeksowanie oraz użycie Spark Connector. Praktyczna znajomość Apache Iceberg, zarządzanie tabelami wersjonowanymi oraz optymalizacja zapisów. Znajomość narzędzi CI/CD, w szczególności Jenkins do automatyzacji wdrożeń. Doświadczenie z narzędziami monitoringu takimi jak Prometheus i Grafana. Znajomość metodyk zwinnych (Scrum, Kanban) oraz narzędzi Jira i Confluence.

Компания и ссылка на вакансию — после входа. Войти

Контакты работодателя (email/phone/telegram) скрыты из публичного превью — отправьте резюме, чтобы мы связали вас напрямую.