Middle AI Infrastructure Engineer

Markteinblicke

Stack

Kostenlos, nach der Anmeldung.

Bewerben

Laden Sie Ihren Lebenslauf hoch — Arbeitgeber und Recruiter aus verschiedenen Ländern, die Ihr Profil suchen, können Sie direkt kontaktieren.

Beschreibung

Мы ищем опытного Middle AI Infrastructure Engineer, который возьмёт на себя масштабирование и поддержку высокопроизводительной LLM-инфраструктуры. Фундамент инфраструктуры уже положен. Вашей задачей будет его развитие и улучшение под растущие нагрузки Обязанности · Обеспечить надёжность LLM-сервинга в проде: стабильная работа инференса (vLLM/SGLang) под highload нагрузками, обновления без даунтайма, планирование мощностей под растущую нагрузку. · Развитие шлюзового слоя: роутинг запросов между моделями на разных серверах, rate limits, балансировка, наблюдаемость. · Оптимизация производительности: Настройка работы инференс-сервисов (vLLM, SGLang), оптимизация распределения ресурсов между GPU нодами. Оптимизация параметров инференса моделей в зависимости от типа ожидаемых нагрузок. · Мониторинг и стабильность: Внедрение глубокого мониторинга метрик GPU (память, ядра, температура) и производительности моделей. · Сопровождение: Оперативное решение инцидентов и обеспечение высокой доступности сервисов. Требования · Опыт работы в DevOps/SRE или системной инженерии от 3 лет. · Практический опыт с LLM-сервингом: (любым из: vLLM, SGLang, TGI, Triton). Понимание конфигурирования движков под разные типы нагрузок и плюсы и минусы различных конфигураций) (high throughput, low latency). · Глубокие знания Linux, контейнеризации (Docker) и оркестрации (Kubernetes). · Опыт работы с GPU-инфраструктурой (NVIDIA drivers, Docker с доступом до GPU, CUDA). · Навыки программирования на Python или Go

Vollständige Beschreibung, Unternehmen und Bewerbungslink — nach der Anmeldung. Anmelden

Kontaktdaten des Arbeitgebers (E-Mail/Telefon/Telegram) sind in der öffentlichen Vorschau ausgeblendet. Senden Sie Ihren Lebenslauf — dann können Arbeitgeber Sie direkt kontaktieren.