Data Engineer (K/M/N)

O projekcie Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP). Twój zakres obowiązków Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse. Projektowanie i rozwój procesów przetwarzania danych.

Implementacja i optymalizacja procesów ETL/ELT. Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP. Rozwój rozwiązań opartych o BigQuery.

Współpraca z zespołami projektowymi oraz technicznymi. Monitorowanie i utrzymanie procesów przetwarzania danych. Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.

Nasze wymagania Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer. Bardzo dobre umiejętności komunikacyjne i organizacyjne. Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.

Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym. Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics. Doświadczenie z BigQuery.

Doświadczenie z Cloud Storage. Doświadczenie z Cloud Dataflow (Apache Beam). Doświadczenie z Cloud Composer (Apache Airflow).

Znajomość Datastream. Znajomość Dataplex. Doświadczenie z Pub/Sub.

Doświadczenie z Dataform. Bardzo dobra znajomość Python. Znajomość bibliotek do przetwarzania danych ( m.in .

Pandas). Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL). Znajomość MySQL.

Zna