Data Engineer

Projekt Migracji Bazy Oraclowej na platformę GCP opartej na: Big Query / Pub-Sub / Cloud Storage w banku PKO BP. Forma współpracy: B2B Tryb: hybrydowo Opis stanowiska projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub; migracja i przebudowa procesów przetwarzania oraz zasilania danych z Oracle/on-premise do GCP; projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), wraz z mechanizmami kontroli jakości, ponawiania i obsługi błędów; projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz kosztu przetwarzania i składowania danych; analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i warstw danych w GCP; tworzenie, analiza i strojenie zapytań SQL, w tym analiza planów wykonania i identyfikowanie wąskich gardeł dla dużych wolumenów danych; analiza istniejących procesów Informatica Power

Center i migracja do rozwiązań docelowych w GCP; implementacja logiki transformacji, walidacji i integracji danych w SQL oraz Python, jeżeli wynika to z projektowanego rozwiązania; wykonywanie analizy technicznej, analizy wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązania; przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresji i UAT; przygotowanie zmian do wdrożenia, instrukcji wdrożenia oraz wsparcie