Spark / Data Lakehouse Developer

Обязанности: Projektowanie i implementacja rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB., Synchronizacja danych z systemami źródłowymi., Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi)., Przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (curated, silver, gold).

Опыт: Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Spark w środowiskach produkcyjnych., Praktyczna znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming., Doświadczenie w pracy z MongoDB, w tym modelowanie dokumentowe, indeksowanie oraz użycie Spark Connector., Praktyczna znajomość Apache Iceberg, zarządzanie tabelami wersjonowanymi oraz optymalizacja zapisów., Znajomość narzędzi CI/CD, w szczególności Jenkins do automatyzacji wdrożeń., Doświadczenie z narzędziami monitoringu takimi jak Prometheus i Grafana., Znajomość metodyk zwinnych (Scrum, Kanban) oraz narzędzi Jira i Confluence.