Cloud Data Architect (GCP)

Praca hybrydowa: 2x w tyg biura w Warszawie Poszukujemy Cloud Data Architecta , który będzie odpowiedzialny za projektowanie, rozwój i wdrażanie nowoczesnych rozwiązań z obszaru Data Engineering w środowisku Google Cloud Platform (GCP). Szukamy osoby łączącej kompetencje architektoniczne z praktycznym doświadczeniem technicznym, która potrafi projektować skalowalne rozwiązania przetwarzania danych, wspierać ich implementację oraz dbać o jakość, wydajność i niezawodność procesów danych. Zakres obowiązków Projektowanie i rozwój architektury rozwiązań danych w środowisku Google Cloud Platform (GCP).

Projektowanie i wdrażanie skalowalnych procesów ETL/ELT w architekturze batch oraz streaming. Projektowanie i rozwój modeli danych oraz procesów transformacji z wykorzystaniem BigQuery, dbt Core i PySpark. Projektowanie i utrzymywanie procesów orkiestracji danych z wykorzystaniem Apache Airflow / Cloud Composer.

Definiowanie standardów, dobrych praktyk oraz wzorców architektonicznych w obszarze Data Engineering. Projektowanie mechanizmów walidacji, monitorowania i kontroli jakości danych (Data Quality). Współpraca z architektami, modelarzami danych oraz zespołami developerskimi przy wdrażaniu modeli i rozwiązań danych.

Współtworzenie i rozwój frameworków oraz generatorów procesów zasileń danych. Nadzór nad jakością, wydajnością, skalowalnością i niezawodnością wdrażanych rozwiązań. Przygotowywanie i weryfikacja testów jednostkowych, integracyjnych oraz jakościowych.

Wsparcie procesu