Data Engineer

Аналитика рынка

Стек

Откликнуться

Загрузите резюме — мы свяжем вас с работодателем напрямую через нашу базу.

Описание

Обязанности: Rozwój, budowa i utrzymanie platformy Customer Data Platform (CDP) w architekturze Data Lakehouse na Google Cloud Platform (GCP), Projektowanie, implementacja i optymalizacja procesów ETL/ELT, Tworzenie i rozwój potoków przetwarzania danych wsadowych oraz strumieniowych, Implementacja transformacji danych z wykorzystaniem Python, SQL i BigQuery, Orkiestracja przepływów danych z wykorzystaniem Apache Airflow (Cloud Composer), Integracja danych z różnych źródeł, w tym baz relacyjnych, Implementacja mechanizmów jakości, deduplikacji i spójności danych, Monitorowanie procesów przetwarzania danych oraz diagnozowanie i rozwiązywanie problemów, Optymalizacja wydajności i kosztów przetwarzania danych w środowisku GCP, Współpraca z zespołem projektowym i utrzymaniowym przy rozwoju platformy danych, Udział w zapewnianiu bezpieczeństwa danych, zarządzaniu metadanymi i zgodności z wymaganiami Data Governance, Wykorzystywanie Git oraz procesów CI/CD w rozwoju i wdrażaniu rozwiązań Опыт: Doświadczenie na stanowisku Data Engineer lub podobnym, Praktyczna znajomość Google Cloud Platform (GCP), w szczególności usług BigQuery, Cloud Storage i Dataflow, Dobra znajomość języka Python oraz SQL, Doświadczenie w projektowaniu i rozwijaniu procesów ETL/ELT, Znajomość Apache Airflow i orkiestracji przepływów danych, Doświadczenie w pracy z relacyjnymi bazami danych, takimi jak MySQL, PostgreSQL lub MS SQL Server, Znajomość architektury Data Lakehouse oraz architektury medalionowej (Bronz

Контакты работодателя (email/phone/telegram) скрыты из публичного превью — отправьте резюме, чтобы мы связали вас напрямую.