Senior Data Engineer (Azure)

Nasz Klient to międzynarodowa organizacja rozwijająca nowoczesne środowisko danych wspierające przetwarzanie, integrację oraz wykorzystanie informacji w różnych obszarach biznesowych. Projekt koncentruje się na rozwoju skalowalnej platformy danych w środowisku Azure . Zakres współpracy obejmuje budowę i optymalizację procesów przetwarzania danych, rozwój pipeline’ów oraz wykorzystanie Azure Databricks, Azure Data Lake i Azure Data Factory .

Do realizacji projektu poszukujemy osoby do współpracy w roli Senior Data Engineer . Istotnym elementem roli będzie projektowanie rozwiązań uwzględniających wydajność, niezawodność oraz skalowalność przetwarzania dużych wolumenów danych. 📍 Tryb Współpracy: 100% zdalnie ⏱️ Dostępność: Poszukujemy osób dostępnych od zaraz lub z maksymalnie 1-miesięczną dostępnością 🧑‍💻 CZYM BĘDZIESZ SIĘ ZAJMOWAĆ?

Projektowaniem i rozwijaniem skalowalnych pipeline’ów oraz procesów przetwarzania danych w środowisku Azure Rozwojem rozwiązań wykorzystujących Azure Databricks do transformacji i przetwarzania dużych zbiorów danych Budową oraz rozwojem warstwy przechowywania danych opartej na Azure Data Lake Tworzeniem i utrzymywaniem procesów integracji oraz orkiestracji danych z wykorzystaniem Azure Data Factory Implementacją procesów transformacji danych w Pythonie i SQL Integracją danych pochodzących z różnych systemów i źródeł Optymalizacją pipeline’ów, zapytań oraz procesów przetwarzania pod kątem wydajności i skalowalności Monitorowaniem jakości i poprawnośc