Senior Big Data Developer (Streaming)

О нас и проекте Мы — команда разработки в составе крупного стрима Data Platform. Мы создаем и развиваем Customer Catalog — высоконагруженную платформу класса Feature Store. Наша главная текущая задача — построение собственной платформы для потоковой обработки данных (Streaming).

Помимо стриминга, мы создаем внутренние DWH-инструменты на Golang и Scala, поэтому у нас много классической и интересной разработки. В нашей экосистеме мы активно используем кластер ScyllaDB, Spark и Airflow. Мы искренне ценим качество кода и используем все современные инженерные практики: автоматическое тестирование, выстроенный CI/CD, тщательный code review.

Сейчас в команде 3 сильных разработчика, и мы планируем расширение до 5 человек. Ищем зрелого инженера (ближе к Senior), который усилит нашу экспертизу. Наш технологический стек: Стриминг и инфраструктура: Flink, Kubernetes (k8s) Работа с данными и оркестрация: ScyllaDB кластер, Apache Spark, Apache Airflow Основной стек: Python, Java Инструменты DWH / Дополнительный стек: Golang, Scala

Проектировать архитектуру: участвовать в формировании архитектурного облика наших продуктов и платформы Feature Store. Разрабатывать и внедрять: реализовывать сложные задачи по потоковой обработке данных, интеграции со ScyllaDB/Spark и DWH-инструментам. Оценивать и планировать: декомпозировать задачи, участвовать в планировании спринтов и оценивать трудозатраты.

Отвечать за качество: писать юнит- и интеграционные тесты, проводить перекре