Data Engineer (K/M/N)

Market insights

Stack

Free. Sign in with email.

Apply

Upload your CV — we will connect you with the employer directly through our pool.

Description

Opis projektu Projekt obejmuje rozwój, utrzymanie i optymalizację procesów przetwarzania danych w środowisku Google Cloud Platform (GCP) . Zakres projektu koncentruje się na projektowaniu architektury przepływów danych, implementacji procesów ETL/ELT , integracji danych z różnych źródeł oraz automatyzacji i orkiestracji procesów przetwarzania. Istotnym obszarem projektu jest również zarządzanie dostępem do danych , wdrażanie mechanizmów bezpieczeństwa i kontroli jakości oraz integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi. Zakres współpracy analiza wymagań biznesowych i technicznych oraz projektowanie architektury przepływów danych w oparciu o usługi GCP dobór wzorców przetwarzania danych z uwzględnieniem wymagań SLA projektowanie, implementacja i utrzymanie procesów ETL/ELT z wykorzystaniem Dataproc, Dataflow, BigQuery i Dataform implementacja logiki transformacji danych z wykorzystaniem SQL, Python i dbt integracja danych z systemów on-premise, platform chmurowych, API, plików oraz strumieni danych implementacja mechanizmów CDC (Change Data Capture) projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow zarządzanie harmonogramowaniem, zależnościami, obsługą błędów i mechanizmami wznowień procesów projektowanie i utrzymanie potoków CI/CD z wykorzystaniem GitLab automatyzacja testowania, wdrażania i wersjonowania procesów danych definiowanie zasobów IaC związanych z przetwarzaniem danych, m.in . GCS, BigQuery

Full description, company and the link to apply — after you sign in. Sign in

Employer contacts (email/phone/telegram) are hidden from the public preview — send your CV, and we will connect you directly.