Big Data Engineer

Аналитика рынка

Стек

Бесплатно. Вход по почте.

Откликнуться

Загрузите резюме — мы свяжем вас с работодателем напрямую через нашу базу.

Описание

P oszukujemy doświadczonego Senior Big Data Engineera do realizacji projektu związanego z projektowaniem, rozwojem i optymalizacją skalowalnych rozwiązań przetwarzania danych w środowisku Microsoft Azure. Projekt obejmuje budowę i optymalizację pipeline’ów danych, pracę z dużymi zbiorami danych oraz rozwój rozwiązań wspierających zaawansowaną analitykę i Machine Learning. 📍 Tryb Współpracy: 100% zdalnie ⏱️ Dostępność: Poszukujemy osób dostępnych od zaraz lub z maksymalnie 14 dniową dostępnością 🔹 Zakres usług Projektowanie, budowa i rozwój skalowalnych pipeline’ów ETL/ELT w środowisku Microsoft Azure. Optymalizacja procesów przetwarzania danych w Apache Spark (DataFrame API, Spark SQL) pod kątem wydajności, stabilności i niezawodności. Projektowanie i rozwój rozwiązań Data Lake z wykorzystaniem Parquet, Delta Lake oraz mechanizmów partycjonowania danych. Implementacja mechanizmów kontroli jakości danych oraz optymalizacja procesów ich przetwarzania. Rozwój i utrzymanie kodu z wykorzystaniem Git oraz automatyzacja wdrożeń w ramach CI/CD. Przygotowywanie i przetwarzanie danych na potrzeby rozwiązań analitycznych oraz projektów Machine Learning. Analiza i rozwiązywanie problemów technicznych związanych z wydajnością i przetwarzaniem dużych zbiorów danych. Konsultowanie wymagań technicznych i biznesowych z interesariuszami projektu. 🔹 Wymagania Doświadczenie w projektowaniu i rozwijaniu rozwiązań Big Data / Data Engineering na poziomie Senior. Bardzo dobra znajomość SQL oraz mode

Полное описание, компания и ссылка на вакансию — после входа. Войти

Контакты работодателя (email/phone/telegram) скрыты из публичного превью — отправьте резюме, чтобы мы связали вас напрямую.