Data Engineer (with Snowflake & Airflow)

Analisi del mercato

Stack

Dettagli

Gratis, dopo l'accesso.

Candidati

Carica il tuo CV: datori di lavoro e recruiter di diversi paesi che cercano il tuo profilo potranno contattarti direttamente.

Descrizione

Poszukujemy doświadczonego Data Engineera zainteresowanego współpracą w modelu B2B , w ramach projektu realizowanego dla naszego klienta. Zakres usług obejmuje projektowanie, budowę i optymalizację skalowalnych pipeline’ów danych z wykorzystaniem Apache Airflow, Python, Snowflake oraz dbt , a także rozwój procesów integracji i transformacji danych, zasilanie Data Lake (AWS S3) oraz optymalizację wydajności i kosztów przetwarzania danych. 📍 Model współpracy: B2B | 100% zdalnie (z terytorium Polski) ⏱️ Rozpoczęcie świadczenia usług: ASAP – preferowana dostępność od zaraz lub w ciągu maksymalnie 2 tygodni. 🛠 Zakres usług Projektowanie, tworzenie i rozwój skalowalnych pipeline’ów danych oraz DAG-ów w Apache Airflow z wykorzystaniem Pythona. Implementacja procesów ETL/ELT integrujących dane z API, baz danych oraz plików do Data Lake (AWS S3) i Snowflake. Modelowanie i transformacja danych z wykorzystaniem dbt. Optymalizacja zapytań SQL oraz wydajności i kosztów przetwarzania danych w Snowflake. Projektowanie i wdrażanie mechanizmów monitorowania, alertowania oraz obsługi błędów w pipeline’ach danych. Implementacja mechanizmów kontroli jakości danych, w tym testów i walidacji. Opracowywanie i aktualizacja dokumentacji technicznej dotyczącej dostarczanych rozwiązań. 🎯 Wymagania Minimum 3 lata komercyjnego doświadczenia w realizacji projektów Data Engineering. Bardzo dobra znajomość Apache Airflow (DAGs, operators, sensors, hooks, TaskFlow API, XCom, pools, backfills, idempotent DAG

Descrizione completa, azienda e link per candidarti: dopo l'accesso. Accedi

I contatti del datore di lavoro (email/telefono/telegram) sono nascosti nell'anteprima pubblica. Invia il tuo CV così i datori di lavoro possono contattarti direttamente.