Команда разрабатывает сложные программно-аппаратные системы и ML/CV-решения. Ищем Инженера данных, который будет отвечать за построение и автоматизацию пайплайнов подготовки больших объемов фото- и видеоданных для последующей разметки и обучения ML-моделей.
разрабатывать на Python пайплайны для сбора, обработки и подготовки данных; автоматизировать поиск, фильтрацию и передачу больших файлов с удаленных серверов; извлекать и обрабатывать фото- и видеоданные из ROS bag; автоматизировать отбор и подготовку данных для разметки; организовывать загрузку данных и метаинформации в S3-совместимое объектное хранилище; интегрировать пайплайны с CVAT и другими инструментами разметки через API; вести каталог обработанных данных и метаданных; оптимизировать обработку больших объемов данных, в том числе не помещающихся в оперативную память.
уверенное владение Python; опыт разработки ETL/data pipelines; опыт работы с большими файлами и объемами данных; понимание асинхронного и многопоточного программирования; опыт работы в Linux-среде.
опыт с ROS 1/2 и rosbag: топики, сообщения, извлечение и синхронизация данных с камер и других сенсоров; опыт работы с S3-совместимыми хранилищами и boto3; OpenCV и/или ffmpeg; опыт обработки изображений и видео; понимание подходов к хранению и организации метаданных: JSON/JSONL, Parquet и др.; опыт интеграции с CVAT, Label Studio, Supervisely или другими платформами разметки; опыт работы с данными для Computer Vision/ML