Big Data Engineer

Market insights

Stack

Free. Sign in with email.

Apply

Upload your CV — we will connect you with the employer directly through our pool.

Description

Мы развиваем направление аналитики и работы с данными транзакционного бизнеса. Ищем в команду инженера по данным, который будет помогать строить дата-продукты с основным фокусом на разработку в Hadoop-экосистеме. Обязанности анализировать требования бизнеса по получению новых данных, оценивать наличие данных, сложности и риски искать зависимости в данных различных источников с учетом бизнес-специфики их хранения проектировать и разрабатывать аналитические витрины и ETL/ELT-пайплайны в Hadoop-экосистеме разрабатывать и оптимизировать Hive/Spark SQL, SQL-запросы и прототипы работать с HDFS, Hive, Spark, форматами хранения Parquet, партиционированием и бакетированием тестировать ETL и выявлять баги при построении дата-продуктов. участвовать совместно с владельцем продукта в процессе приемки витрин данных заказчиками развивать экспертизу по вопросам работы с данными внутри команды обеспечивать доступность, контроль качества и целостность данных. Требования опыт работы в роли DE/DA/ETL Developer не менее 1 года практический опыт разработки на Hadoop: Hive, Spark, HDFS, понимание принципов MapReduce/Spark отличное знание SQL: вложенные запросы, оконные функции, регулярные выражения, CTE понимание MPP СУБД. Опыт Greenplum — будет преимуществом знание основных понятий и концепций из области DWH знание инструментов DevOps: Git, Nexus, Jenkins, SonarQube; любые IDE как плюс — опыт работы с языками программирования: Scala, Java, Python умение работать с большим количеством источников да

Full description, company and the link to apply — after you sign in. Sign in

Employer contacts (email/phone/telegram) are hidden from the public preview — send your CV, and we will connect you directly.