Dołącz do zespołu odpowiedzialnego za rozwój nowoczesnych platform danych opartych o architekturę event-driven. Poszukujemy Data Engineera, który będzie wspierać budowę i utrzymanie rozwiązań opartych o Kafka oraz Confluent Cloud, współpracując z zespołami odpowiedzialnymi za integrację danych i rozwój systemów analitycznych.
Zakres obowiązków
Projektowanie, rozwój i utrzymanie rozwiązań opartych o Apache Kafka oraz Confluent Cloud. Tworzenie i rozwijanie pipeline'ów przetwarzania danych w środowiskach rozproszonych. Implementacja procesów integracji danych między różnymi systemami.
Tworzenie oraz optymalizacja skryptów i aplikacji w Pythonie. Pisanie, rozwijanie i optymalizacja zapytań SQL oraz procesów transformacji danych. Monitorowanie, diagnozowanie i rozwiązywanie problemów związanych z przepływem danych.
Współpraca z architektami, analitykami i zespołami developerskimi przy projektowaniu rozwiązań data-driven. Udział w projektowaniu architektury opartej o zdarzenia (Event-Driven Architecture).
Komercyjne doświadczenie w pracy z Apache Kafka . Praktyczna znajomość Confluent Cloud . Bardzo dobra znajomość Pythona .
Bardzo dobra znajomość SQL . Doświadczenie w projektowaniu i utrzymaniu rozwiązań do przetwarzania danych. Umiejętność samodzielnego rozwiązywania problemów oraz pracy w środowisku zespołowym.
Mile widziane Doświadczenie z Event-Driven Architecture . Znajomość narzędzi CDC (Change Data Capture) . Doświadczenie w pracy z Google Cloud Platform (GCP) .