Data Engineer (Kafka / Confluent Cloud)

Dołącz do zespołu odpowiedzialnego za rozwój nowoczesnych platform danych opartych o architekturę event-driven. Poszukujemy Data Engineera, który będzie wspierać budowę i utrzymanie rozwiązań opartych o Kafka oraz Confluent Cloud, współpracując z zespołami odpowiedzialnymi za integrację danych i rozwój systemów analitycznych. Zakres obowiązków Projektowanie, rozwój i utrzymanie rozwiązań opartych o Apache Kafka oraz Confluent Cloud.

Tworzenie i rozwijanie pipeline'ów przetwarzania danych w środowiskach rozproszonych. Implementacja procesów integracji danych między różnymi systemami. Tworzenie oraz optymalizacja skryptów i aplikacji w Pythonie.

Pisanie, rozwijanie i optymalizacja zapytań SQL oraz procesów transformacji danych. Monitorowanie, diagnozowanie i rozwiązywanie problemów związanych z przepływem danych. Współpraca z architektami, analitykami i zespołami developerskimi przy projektowaniu rozwiązań data-driven.

Udział w projektowaniu architektury opartej o zdarzenia (Event-Driven Architecture). Wymagania Komercyjne doświadczenie w pracy z Apache Kafka . Praktyczna znajomość Confluent Cloud .

Bardzo dobra znajomość Pythona . Bardzo dobra znajomość SQL . Doświadczenie w projektowaniu i utrzymaniu rozwiązań do przetwarzania danych.

Umiejętność samodzielnego rozwiązywania problemów oraz pracy w środowisku zespołowym. Mile widziane Doświadczenie z Event-Driven Architecture . Znajomość narzędzi CDC (Change Data Capture) .

Doświadczenie w pracy z Google Cloud Platform (GCP) .