Data Engineer

Ищем Data Engineer c уклоном в Data Analyst, которому предстоит заниматься анализом источников данных, подготовкой и очисткой данных, разработкой ETL процессов с использованием различных инструментов банка. Мы предлагаем карьерный рост как в Data Engineering, так и в направлении аналитики данных. Обязанности анализ структур данных в разных источниках и форматов, оценка их пригодности для конкретных бизнес-задач загрузка, обработка и преобразование больших объемов данных в рабочие среды (PostgreSQL, Hadoop) проектирование и создание аналитических витрин данных подготовка и препроцессинг данных для обучения моделей машинного обучения мониторинг и оптимизация рабочих процессов обработки и загрузки данных контроль качества входных данных и автоматизация проверки качества данных разработка инфраструктуры и внутренних сервисов для эффективной обработки больших объемов данных автоматизация повторяющихся операций с данными создание технической документации и поддержка баз знаний по работе с данными консультация пользователей внутри компании по вопросам использования данных. Требования высшее образование опыт работы от 2х лет в роли Data Engineer, Data Analyst или ETL-разработчика продвинутый уровень владения SQL (аналитические функции, подзапросы, хранимые процедуры, производительность запросов) практический опыт работы с большими объемами данных в реляционных СУБД (Oracle, Teradata, MS SQL, GreenPlum) понимание концепции и принципов организации хранилища данных (DWH) работа с технологическим стеком Hadoop (HDFS, YARN, Hive) и Apache Spark опыт программирования на Java/Scala понимание базовых принципов построения распределенных систем хранения и обработки данных. Будет плюсом: опыта проектирования витрин данных опыт переноса и интеграции больших объемов данных между разными источниками владение инструментами системы контроля версий (например Git) начальные знания и интерес к развитию в области Machine Learning и Data Analysis осведомленность в процессах ETL и технологиях хр Trudvsem ID: db997ad0-22c0-11f1-a92f-e940af7f97ed https://trudvsem.ru/vacancy/card/7226c750-02f1-11eb-8600-bfd13399602c/db997ad0-22c0-11f1-a92f-e940af7f97ed