Мы используем технические cookie и обезличенный журнал посещений Zorky. Яндекс Метрику (данные хранятся на серверах в РФ) включаем только с вашего согласия. Данные не продаём. Подробнее о cookie и статистике.
Zorky в тестовом режиме — всё бесплатно. Вакансии и страницы компаний открыты всем; ссылки на объявления и личная подборка — после регистрации. Зарегистрироваться →
← Все вакансии

Information Technology - Lead Data Engineer

Lead5,000 SGD · период не указанSingapore, SG2нед назад
Аналитика рынка
📊 Data Engineer: зарплаты и спрос на рынке
Стек
AI AgentsData OrchestrationAWSSoftware EngineeringInformation TechnologyAWS Cloud Development Kit (CDK)Core JavaPythonCI/CDAPIAgile Developmentairflow
Условия
Опыт
от 5 лет
Практики
CI/CD, MLOps, Scrum
Образование
Кандидат наук / PhD
Показать компанию и ссылку
Бесплатно, после входа в кабинет.
Откликнуться
Загрузите резюме — работодатели и рекрутеры из разных стран, которым нужен ваш профиль, смогут написать вам напрямую.
Отправить резюме →

Описание

Job Description The lead data engineer is a senior software developer with strong software engineering skills who is responsible for building custom open-source-based data ingestion and MLOps platforms. He/she has deep appreciation of the complexity of the data engineering process, such as the challenges of data ingestion involving large or near-real-time datasets, the maintenance of high data quality, and the importance of automation for increasing pipeline robustness and reducing the need for human intervention.

Задачи

Responsibilities

  • Be an effective distributed-system implementer in the following core activities: o Design and develop data engineering services and their ecosystem using distributed databases (relational, columnar, graph, in-memory); orchestration (Apache Airflow); and distributed stream/batch data processing (Kafka, Kinesis, Spark). o Design and develop MLOps production pipelines; provide technical support to data scientists/ML engineers by getting their ML/DL models deployed at scale and meeting SLAs on both cloud and on-premises GPU and CPU instances. o Design data models for mission-critical, high-volume, near-real-time/batchdata; build idempotent/atomic production data pipelines to make data ingestion more fault tolerant. o Design and develop intuitive, highly automated, self-service data platform functions for business users. o Design, build, and operate scalable and reliable data pipelines on the Databricks platform. • Explore, evaluate and champion the in
Полное описание, компания и ссылка на вакансию — после входа. Войти
Контакты работодателя (email/phone/telegram) скрыты из публичного превью. Отправьте резюме — и работодатели смогут написать вам сами.
Пожаловаться на вакансию
Срочный вопрос? Напишите @termdocs