Mid Data Engineer / ETL, Apache NiFi / PostgreSQL (k/m), sektory regulowane

O projekcie Szukamy inżyniera danych na poziomie Mid do zespołu Ideamotive. Będziesz pracować przy projektach dla naszych klientów z sektorów regulowanych, w tym z branży energetycznej. Do Twoich zadań będzie należeć rozwój istniejącej platformy produkcyjnej oraz budowa nowych rozwiązań od zera.

Systemy te służą do zbierania, przetwarzania i udostępniania danych. Twój zakres obowiązków Budowa i rozwój przepływów danych w Apache NiFi. Projektowanie i rozwój baz danych PostgreSQL.

Przygotowywanie REST API nad bazą danych we współpracy z zespołem frontendowym. Optymalizacja zapytań SQL przy dużych wolumenach danych. Czego oczekujemy Kilkuletnie doświadczenie w pracy z relacyjnymi bazami danych i procesami ETL.

Praktyczna znajomość Apache NiFi pozwalająca na samodzielne projektowanie przepływów. Dobra znajomość PostgreSQL oraz zagadnień z zakresu modelowania danych. Doświadczenie w optymalizacji zapytań SQL.

Umiejętność przygotowania REST API nad bazą danych (wystarczy konfiguracja narzędzi, bez programowania w Javie czy .NET). Podstawowa znajomość języka Python do pisania skryptów. Znajomość środowiska Linux i podstaw bash.

Samodzielność w działaniu. Język angielski na poziomie minimum B2. Mile widziane Doświadczenie z Azure Data API Builder lub Azure API Management.

Znajomość protokołu Amazon S3. Wiedza z zakresu branży elektroenergetycznej, księgowości lub controllingu.