Senior Data Engineer (AI/GCP)

Market insights

Stack

Apply

Upload your CV — we will connect you with the employer directly through our pool.

Description

Обязанности: Udział w migracji platformy danych z Cloudera/on-premise do Google Cloud Platform., Projektowanie, rozwój i optymalizacja rozwiązań danych w oparciu o usługi GCP., Tworzenie i utrzymanie wydajnych pipeline'ów danych (batch oraz streaming)., Praca z usługami GCP takimi jak Dataproc, Dataflow, BigQuery oraz Cloud Composer., Analiza istniejących rozwiązań legacy i rekomendowanie docelowej architektury w chmurze., Współpraca z zespołami biznesowymi, architektami oraz partnerami technologicznymi w środowisku międzynarodowym., Dbanie o skalowalność, bezpieczeństwo oraz optymalizację kosztową rozwiązań danych., Wsparcie procesów automatyzacji, orkiestracji oraz CI/CD., Udział w warsztatach technicznych, przygotowywaniu dokumentacji oraz podejmowaniu kluczowych decyzji architektonicznych. Опыт: Minimum 5-6 lat doświadczenia w obszarze Data Engineering, Big Data lub platform danych, w tym doświadczenie w projektach chmurowych., Bardzo dobra znajomość Google Cloud Platform, w szczególności: Dataproc (Spark, Hadoop Ecosystem), Dataflow (Apache Beam), BigQuery (projektowanie, optymalizacja wydajności i kosztów), Cloud Composer (Apache Airflow)., Doświadczenie w projektach migracyjnych z on-premise do chmury., Bardzo dobra znajomość języka Python w obszarze ETL, automatyzacji i budowy pipeline'ów danych., Znajomość Javy, szczególnie w kontekście Spark, Apache Beam oraz przetwarzania danych batch i streamingu., Doświadczenie w projektowaniu i wdrażaniu złożonych pipeline'ów danych w środowiskach produkcyjnych., Umiejętność projektowania architektury danych w GCP z uwzględnieniem skalowalności, bezpieczeństwa i efektywności kosztowej., Praktyczna znajomość narzędzi takich jak Airflow, Git, Terraform lub rozwiązań pokrewnych., Bardzo dobra znajomość języka angielskiego oraz polskiego - min. B2+/C1, Znajomość zagadnień związanych z Data Governance, bezpieczeństwem danych oraz zarządzaniem dostępami w środowiskach chmurowych., Doświadczenie z platformami Cloudera lub innymi rozwiązaniami Hadoop.

Employer contacts (email/phone/telegram) are hidden from the public preview — send your CV, and we will connect you directly.