Usamos cookies técnicas y el registro de visitas anonimizado de Zorky. Yandex Metrica (los datos se guardan en servidores en Rusia) solo se activa con tu consentimiento. Nunca vendemos datos. Más sobre cookies y estadísticas.
Zorky está en modo de prueba: todo es gratis. Los empleos y las páginas de empresas están abiertos a todos; los enlaces a las ofertas y tu selección personal se abren tras registrarte. Regístrate →
← Todos los empleos

Senior Machine Learning Engineer (vLLM)

Seniorremote~$15.5K /moBoston, US →hace 5 d
Análisis del mercado
📊 AI / ML / Data Science: salarios y demanda en el mercado
Stack
c++cloudkuberneteslinuxllmpythonpytorchtritonvllm
Detalles
Formación
Máster
Mostrar empresa y enlace
Gratis, tras iniciar sesión.
Postular
Sube tu CV: empleadores y reclutadores de distintos países que buscan tu perfil podrán contactarte directamente.
Enviar tu CV →

Descripción

  • Telecommuting permitted: work may be performed within normal commuting distance from the Red Hat, LLC office in Boston, MA.

Lead the design and implementation of high-performance Python, C++, CUDA, and Triton code for vLLM-based inference systems, GPU kernels, and numerical computing components in production-scale LLM serving environments.

Responsabilidades

What You Will Do:

  • Architect, develop, and optimize advanced LLM inference algorithms, including quantization, sparsification, speculative decoding, paged attention, KV cache optimization, batching, scheduling, and memory management, to significantly improve latency, throughput, scalability, and cost efficiency.
  • Drive deep performance profiling, benchmarking, and modeling on NVIDIA GPUs, using tools such as Nsight Systems, Nsight Compute, CUPTI, PyTorch Profiler, CUDA, Triton, and CUTLASS to identify bottlenecks and deliver measurable system-level improvements.
  • Own the end-to-end optimization of vLLM-based inference pipelines, including kernel-level tuning, runtime optimization, distributed inference, multi-GPU serving, tensor/pipeline parallelism, and large-scale deployment performance.
  • Evaluate, prototype, and integrate state-of-the-art LLM serving techniques from cutting-edge research and open-source communities, including quantization, sparsity, speculative decoding, continuous batching, prefix caching, attention optimization, and model compression.
  • Set engineering standards for performance-critical code, conduct rigorous peer reviews
Descripción completa, empresa y enlace para postular: después de iniciar sesión. Iniciar sesión
Los contactos del empleador (correo/teléfono/telegram) están ocultos en la vista previa pública. Envía tu CV para que los empleadores puedan contactarte directamente.
¿Pregunta urgente? Escribe a @termdocs