Big Data Engineer

Аналитика рынка

Стек

Бесплатно. Вход по почте.

Откликнуться

Загрузите резюме — мы свяжем вас с работодателем напрямую через нашу базу.

Описание

ITELENCE to szybko rozwijająca się firma wspierająca swoich międzynarodowych klientów w ich biznesowej i cyfrowej transformacji. Rozumiemy, że ludzie są naszym największym kapitałem, a kultura wzajemnego wsparcia, motywacji i rozwoju jest kluczem do wspólnego sukcesu. Naszą ambicją jest zbudowanie firmy, która inspiruje i wspiera naszych pracowników. Dla jednego z naszych klientów poszukujemy osoby na stanowisko: Big Data Engineer . Forma współpracy: B2B / UZ Tryb pracy: zdalny Czas trwania projektu: Start - listopad , 3 miesiące z możliwością przedłużenia Zakres obowiązków: Projektowanie, budowa i utrzymanie skalowalnych pipeline’ów ETL/ELT przetwarzających duże wolumeny danych w środowisku chmurowym Azure. Optymalizacja zadań Apache Spark z wykorzystaniem DataFrame API i Spark SQL pod kątem wydajności, skalowalności i niezawodności. Przygotowywanie i przetwarzanie danych na potrzeby analityki biznesowej oraz projektów Machine Learning. Wdrażanie dobrych praktyk w zakresie architektury data lake, w tym wykorzystania formatów Parquet i Delta Lake oraz odpowiedniego partycjonowania danych. Implementacja mechanizmów kontroli jakości danych oraz monitorowanie poprawności i niezawodności procesów przetwarzania. Zarządzanie kodem źródłowym z wykorzystaniem Git oraz wspieranie procesów CI/CD, testowania i przyrostowych wdrożeń. Analiza i rozwiązywanie problemów związanych z przetwarzaniem dużych zbiorów danych oraz optymalizacja istniejących rozwiązań. Współpraca z zespołami techni

Полное описание, компания и ссылка на вакансию — после входа. Войти

Контакты работодателя (email/phone/telegram) скрыты из публичного превью — отправьте резюме, чтобы мы связали вас напрямую.