Data Engineer (K/M/N)

Analisi del mercato

Stack

Dettagli

Gratis, dopo l'accesso.

Candidati

Carica il tuo CV: datori di lavoro e recruiter di diversi paesi che cercano il tuo profilo potranno contattarti direttamente.

Descrizione

Opis projektu Projekt obejmuje rozwój, utrzymanie i optymalizację procesów przetwarzania danych w środowisku Google Cloud Platform (GCP) . Zakres projektu koncentruje się na projektowaniu architektury przepływów danych, implementacji procesów ETL/ELT , integracji danych z różnych źródeł oraz automatyzacji i orkiestracji procesów przetwarzania. Istotnym obszarem projektu jest również zarządzanie dostępem do danych , wdrażanie mechanizmów bezpieczeństwa i kontroli jakości oraz integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi. Zakres współpracy analiza wymagań biznesowych i technicznych oraz projektowanie architektury przepływów danych w oparciu o usługi GCP dobór wzorców przetwarzania danych z uwzględnieniem wymagań SLA projektowanie, implementacja i utrzymanie procesów ETL/ELT z wykorzystaniem Dataproc, Dataflow, BigQuery i Dataform implementacja logiki transformacji danych z wykorzystaniem SQL, Python i dbt integracja danych z systemów on-premise, platform chmurowych, API, plików oraz strumieni danych implementacja mechanizmów CDC (Change Data Capture) projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow zarządzanie harmonogramowaniem, zależnościami, obsługą błędów i mechanizmami wznowień procesów projektowanie i utrzymanie potoków CI/CD z wykorzystaniem GitLab automatyzacja testowania, wdrażania i wersjonowania procesów danych definiowanie zasobów IaC związanych z przetwarzaniem danych, m.in . GCS, BigQuery

Descrizione completa, azienda e link per candidarti: dopo l'accesso. Accedi

I contatti del datore di lavoro (email/telefono/telegram) sono nascosti nell'anteprima pubblica. Invia il tuo CV così i datori di lavoro possono contattarti direttamente.