Data Engineer (with Snowflake & Airflow)

Poszukujemy doświadczonego Data Engineera zainteresowanego współpracą w modelu B2B , w ramach projektu realizowanego dla naszego klienta. Zakres usług obejmuje projektowanie, budowę i optymalizację skalowalnych pipeline’ów danych z wykorzystaniem Apache Airflow, Python, Snowflake oraz dbt , a także rozwój procesów integracji i transformacji danych, zasilanie Data Lake (AWS S3) oraz optymalizację wydajności i kosztów przetwarzania danych. 📍 Model współpracy: B2B | 100% zdalnie (z terytorium Polski) ⏱️ Rozpoczęcie świadczenia usług: ASAP – preferowana dostępność od zaraz lub w ciągu maksymalnie 2 tygodni.

🛠 Zakres usług Projektowanie, tworzenie i rozwój skalowalnych pipeline’ów danych oraz DAG-ów w Apache Airflow z wykorzystaniem Pythona. Implementacja procesów ETL/ELT integrujących dane z API, baz danych oraz plików do Data Lake (AWS S3) i Snowflake. Modelowanie i transformacja danych z wykorzystaniem dbt.

Optymalizacja zapytań SQL oraz wydajności i kosztów przetwarzania danych w Snowflake. Projektowanie i wdrażanie mechanizmów monitorowania, alertowania oraz obsługi błędów w pipeline’ach danych. Implementacja mechanizmów kontroli jakości danych, w tym testów i walidacji.

Opracowywanie i aktualizacja dokumentacji technicznej dotyczącej dostarczanych rozwiązań. 🎯 Wymagania Minimum 3 lata komercyjnego doświadczenia w realizacji projektów Data Engineering. Bardzo dobra znajomość Apache Airflow (DAGs, operators, sensors, hooks, TaskFlow API, XCom, pools, backfills, idempotent DAG