Ingeniero de datos: mercado

Vacante

un empleo abierto que superó el filtro de calidad y menciona al menos dos tecnologías

Candidato observado

un candidato cuyo stack contiene esta tecnología; es un agregado: ni un solo registro sale del perímetro

Candidato emparejable

aún no contabilizado

Ventana

empleos abiertos en el momento en que se generó el snapshot

Las vacantes Junior escasean: el mercado espera Python Middle + SQL avanzado o un cambio desde Backend/Analyst. El salto de Junior a Middle: Airflow + un DWH + nociones de Spark. Un Senior es responsable de todo un dominio de datos (p. ej., el pipeline de eventos). Lead Data Engineer / Head of Data Platform: dirige a 3-8 ingenieros, responde de las decisiones de arquitectura + el modelo del DWH + el gobierno de datos. Trayectoria: Backend Middle/Analyst Senior → Data Engineer Middle → Senior → luego Analytics Engineering (foco en dbt), Platform Engineering (foco en infraestructura) o Head of Data.

Principales 5: python, cloud, sql, aws, azure. Python, obligatorio (pandas, PySpark, boto3, GCP SDK). SQL, avanzado obligatorio (window functions, CTEs, optimización de consultas, EXPLAIN ANALYZE). Airflow, estándar de orquestación de la industria; Dagster/Prefect crecen en proyectos nuevos. Spark (PySpark/Scala), big data batch + streaming. Kafka, obligatorio para Middle+ en event-driven. Flink, un skill de prima para streaming real. dbt, estándar de la capa de transformación en el modern data stack. DWH: Snowflake (premium cloud), BigQuery (GCP), ClickHouse (OLAP, domina en la CEI), Redshift (AWS legacy). Almacenamiento: S3/HDFS, Delta Lake/Apache Iceberg (lakehouse). Docker+Kubernetes. Terraform/Pulumi para IaC. Senior: observabilidad (Datadog/Grafana + Great Expectations / Soda para data quality).

Spark: estándar del sector para batch + micro-batch streaming. PySpark es el mayor mercado laboral; Spark Scala, un nicho premium. Lo usan el 80%+ de los equipos de DWH. Pega: la latencia del micro-batch (segundos-minutos), no es tiempo real de verdad. Flink: motor de streaming real con latencia de milisegundos, semántica exactly-once de serie. Segmento en crecimiento: FinTech/AdTech/IoT/inferencia de ML en tiempo real. Menos empleos, pero el Senior Flink Engineer es premium (+15-25% sobre Spark). Kafka Streams (solo Java/Scala): librería de streaming ligera, no un clúster aparte. Buena para procesamiento de flujos a nivel de microservicio, mala para joins/estado pesados. Estrategia: primero Spark (tamaño de mercado), luego Flink para diversificar y por el pago premium. Kafka Streams: un añadido de nicho para los backend engineers de la JVM.

Apache Airflow: estándar del sector, domina el 80%+ de los empleos. DAGs en Python, un enorme ecosistema de operadores. Desventajas: basado en horarios, no orientado a eventos de forma nativa, mala generación dinámica de DAGs. Dagster: el retador moderno (al estilo Elementl/Astronomer). Centrado en assets, la mejor DX, testing nativo, data lineage de serie. Segmento en crecimiento: startups de producto, modern data stack. Un Senior Dagster tiene una prima de +10-15%. Prefect: filosóficamente entre Airflow y Dagster. Bueno para flujos híbridos (batch + streaming). Menos empleos que Airflow, pero en crecimiento. Estrategia: primero Airflow (necesidad del mercado), luego Dagster como alternativa moderna. Cron + scripts de Python: enfoque obsoleto, no lo aprendas como principal.

Sí, el 27% de los empleos de Data Engineer son full-remote o híbridos. El trabajo es totalmente cloud (stacks de DWH en AWS/GCP/Azure). Startups y SaaS internacional — full-remote. Las empresas de producto rusas — híbrido (1-3 días de oficina) o remoto tras el periodo de prueba. Sber — más a menudo oficina por el compliance (residencia de datos). Hubs de relocación para Data Engineers rusohablantes: Dubái, Chipre, Lisboa, Berlín, Varsovia, Tiflis. El inglés abre a los partners de Databricks/Snowflake/dbt con una prima +25-40% sobre el salario.

Backend Engineer: APIs REST/GraphQL, lógica de negocio, bases de datos transaccionales (PostgreSQL/MySQL). Enfoque: atender las peticiones del producto. Sistemas OLTP. Data Engineer: pipelines ETL/ELT, modelado de DWH, streaming, procesamiento batch de terabytes. Enfoque: mover y transformar grandes volúmenes de datos. Sistemas OLAP. ML Engineer: desplegar modelos en producción (FastAPI + ONNX/TorchServe), feature store, MLOps, monitorización de modelos. Enfoque: inferencia lista para producción. Cambio de carrera: de Backend Senior a Data Engineer Middle en 4-8 meses (Airflow + dbt + un DWH). De Data Engineer a ML Engineer en 6-12 meses (PyTorch + stack MLOps). Por salario: Data Engineer ≥ Backend Senior en Moscú; ML Engineer ≈ Data Engineer Senior en promedio.

Hoja de ruta: 1) Python hasta nivel Middle: pandas, numpy, tipado, pruebas. 2) SQL a nivel avanzado: funciones de ventana, CTE, subconsultas, optimización (EXPLAIN ANALYZE), índices. PostgreSQL + un OLAP (se recomienda ClickHouse). 3) Airflow: el tutorial oficial, escribe 3-5 DAGs. 4) Un DWH: BigQuery (nivel gratuito) o prueba de Snowflake. Domina el modelado (esquema en estrella/copo de nieve, SCD). 5) dbt: la capa de analytics engineering. Tutorial de dbt + proyecto personal con el dataset jaffle-shop. 6) Nociones de PySpark: DataFrame API + un proyecto personal con 1-10 GB de datos. 7) Nociones de Kafka: producer/consumer + un proyecto personal de streaming. 8) Proyecto personal de extremo a extremo: pipeline desde una API/archivos a través de Airflow + dbt hasta el DWH, dashboard en Metabase/Superset, desplegado en la nube. Cursos: Karpov.Courses "Data Engineer", OTUS "Data Engineer", Yandex.Practicum "Data Engineer", DataCamp Data Engineer Track. Libros: "The Data Warehouse Toolkit" de Kimball, "Fundamentals of Data Engineering" de Reis. Tiempo hasta Middle (Junior es raro): 12-18 meses a tiempo completo tras experiencia como Python Middle.

5834 active open Data Engineer positions in the Zorky sample. Geography: the US, Poland, the UK. The real market is broader than the sample thanks to internal-only positions at large banks and CIS product companies. Time to close a Senior Data Engineer role — 4-8 weeks.

Un Senior Data Engineer es responsable del ciclo completo de los pipelines de datos. SQL: dominio (funciones de ventana, CTEs recursivas, optimización de consultas, partition pruning, vistas materializadas). Python: dominio de pandas/PySpark, profiling de memoria, async para ingesta intensiva en I/O. Sistemas distribuidos: modelo de ejecución de Spark (shuffle, broadcast, particionado), exactly-once en Kafka, two-phase commit, idempotencia. Modelado de DWH: Kimball (esquema en estrella, SCD), Data Vault, arquitectura lakehouse (Delta Lake/Iceberg). Orquestación: diseño de DAGs de Airflow (tareas idempotentes, backfills, sensores), generación dinámica de DAGs. Streaming: diseño de Kafka (particiones, grupos de consumidores, exactly-once), Spark Streaming o Flink. Cloud: una de AWS/GCP/Azure a nivel de arquitecto (IAM + optimización de costes + redes + niveles de almacenamiento). Calidad de datos: Great Expectations / Soda, métricas de monitorización + alertas. DevOps: Docker, operators de Kubernetes (Spark/Kafka sobre k8s), Terraform/Pulumi para IaC. Soft: code review, mentoría a Middle, trabajo con Analistas/PM sobre los requisitos. Inglés: imprescindible para Senior+ (el stack de datos está mayoritariamente en inglés).