Data Engineer (K/M/N)

Opis projektu Projekt obejmuje rozwój, utrzymanie i optymalizację procesów przetwarzania danych w środowisku Google Cloud Platform (GCP) . Zakres projektu koncentruje się na projektowaniu architektury przepływów danych, implementacji procesów ETL/ELT , integracji danych z różnych źródeł oraz automatyzacji i orkiestracji procesów przetwarzania. Istotnym obszarem projektu jest również zarządzanie dostępem do danych , wdrażanie mechanizmów bezpieczeństwa i kontroli jakości oraz integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi.

Zakres współpracy analiza wymagań biznesowych i technicznych oraz projektowanie architektury przepływów danych w oparciu o usługi GCP dobór wzorców przetwarzania danych z uwzględnieniem wymagań SLA projektowanie, implementacja i utrzymanie procesów ETL/ELT z wykorzystaniem Dataproc, Dataflow, BigQuery i Dataform implementacja logiki transformacji danych z wykorzystaniem SQL, Python i dbt integracja danych z systemów on-premise, platform chmurowych, API, plików oraz strumieni danych implementacja mechanizmów CDC (Change Data Capture) projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow zarządzanie harmonogramowaniem, zależnościami, obsługą błędów i mechanizmami wznowień procesów projektowanie i utrzymanie potoków CI/CD z wykorzystaniem GitLab automatyzacja testowania, wdrażania i wersjonowania procesów danych definiowanie zasobów IaC związanych z przetwarzaniem danych, m.in . GCS, BigQuery