Data Engineer (K/M/N)

Market insights

Stack

Free. Sign in with email.

Apply

Upload your CV — we will connect you with the employer directly through our pool.

Description

Обязанности: rozwój, utrzymanie i optymalizacja procesów przetwarzania danych w środowisku Google Cloud Platform (GCP), projektowanie architektury przepływów danych, implementacja procesów ETL/ELT, integracja danych z różnych źródeł (on-premise, chmura, API, pliki, strumienie), automatyzacja i orkiestracja procesów przetwarzania, zarządzanie dostępem do danych, wdrażanie mechanizmów bezpieczeństwa i kontroli jakości, integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi, dobór wzorców przetwarzania danych z uwzględnieniem wymagań SLA, implementacja logiki transformacji danych z wykorzystaniem SQL, Python i dbt, implementacja mechanizmów CDC (Change Data Capture), projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow, zarządzanie harmonogramowaniem, zależnościami, obsługą błędów i mechanizmami wznowień procesów, projektowanie i utrzymanie potoków CI/CD z wykorzystaniem GitLab, automatyzacja testowania, wdrażania i wersjonowania procesów danych, definiowanie zasobów IaC związanych z przetwarzaniem danych (GCS, BigQuery, Cloud Composer, Dataproc), monitorowanie działania procesów przetwarzania danych oraz reagowanie na incydenty, optymalizacja wydajności i kosztów przetwarzania (optymalizacja zapytań, partycjonowanie, klastrowanie w BigQuery), refaktoryzacja i modernizacja istniejących procesów oraz wsparcie migracji danych, implementacja mechanizmów walidacji i kontroli jakości danych, projektowanie i wdrażanie mode

Full description, company and the link to apply — after you sign in. Sign in

Employer contacts (email/phone/telegram) are hidden from the public preview — send your CV, and we will connect you directly.