Data Engineer (energy)

Data Engineer odpowiedzialny za wsparcie zespołu projektowego oraz utrzymaniowego w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse (GCP). Branża energetyczna. Okazjonalne wizyty w biurze w Warszawie.

Wymagania Udział w kilku projektach budowy rozwiązań cloud w roli Data Engineer − Bardzo dobre umiejętności komunikacyjne oraz organizacyjne. − Umiejętność efektywnej współpracy z zespołami IT i Project Managerami technicznymi. − Znajomość języka angielskiego na poziomie umożliwiającym pracę w środowisku międzynarodowym.

− Gotowość do okazjonalnych wizyt w biurze klienta w Warszawie. Kompetencje techniczne − Google Cloud Platform (GCP): Znajomość kluczowych usług Data & Analytics: − BigQuery: Wykorzystanie do przechowywania, przetwarzania i analizy danych (Bronze, Silver, Gold layers), w tym tabele zewnętrzne, partycjonowanie, klastrowanie, optymalizacja zapytań. − Cloud Storage: Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania.

− Cloud Dataflow (Apache Beam): Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie. − Cloud Composer (Apache Airflow): Tworzenie i zarządzanie DA

Gami do orkiestracji złożonych przepływów danych, monitorowanie zadań. − Datastream: Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery). − Dataplex: Znajomość zarządzania metadanymi, katalogowania danych, Data Quality (DQ) i Data Linea