Data Engineer: mercato

Posizione

un'offerta aperta che ha superato il controllo di qualità e indica almeno due tecnologie

Candidato osservato

un candidato il cui stack contiene questa tecnologia; un dato aggregato: nessun singolo record esce dal perimetro

Candidato abbinabile

non ancora conteggiato

Finestra

offerte aperte nel momento in cui è stato creato lo snapshot

Le offerte Junior scarseggiano: il mercato si aspetta Python Middle + SQL avanzato o un passaggio da Backend/Analyst. Il salto Junior → Middle: Airflow + un DWH + basi di Spark. Il Senior è responsabile di un intero dominio dati (ad es. la pipeline degli eventi). Il Lead Data Engineer / Head of Data Platform guida 3-8 ingegneri, è responsabile delle decisioni architetturali + del modello DWH + della data governance. Percorso di carriera: Backend Middle/Analyst Senior → Data Engineer Middle → Senior → oppure Analytics Engineering (focus su dbt), Platform Engineering (focus sull'infrastruttura), o Head of Data.

I principali nel 5: python, cloud, sql, aws, azure. Python: indispensabile (pandas, PySpark, boto3, GCP SDK). SQL: indispensabile a livello avanzato (window function, CTE, ottimizzazione delle query, EXPLAIN ANALYZE). Airflow: lo standard del settore per l'orchestrazione; Dagster/Prefect in crescita nei nuovi progetti. Spark (PySpark/Scala): big data batch + streaming. Kafka: obbligatorio da Middle in su nell'event-driven. Flink: competenza premium per il vero streaming. dbt: lo standard del livello di trasformazione nel modern data stack. DWH: Snowflake (cloud premium), BigQuery (GCP), ClickHouse (OLAP, dominante nella CSI), Redshift (legacy AWS). Storage: S3/HDFS, Delta Lake/Apache Iceberg (lakehouse). Docker+Kubernetes. Terraform/Pulumi per l'IaC. Senior: osservabilità (Datadog/Grafana + Great Expectations / Soda per la qualità dei dati).

Spark: lo standard del settore per il batch + lo streaming a micro-batch. PySpark è il mercato del lavoro più ampio, Spark Scala una nicchia premium. Usato dal 80%+ dei team DWH. Svantaggio: latenza dei micro-batch (secondi-minuti), non vero realtime. Flink: un vero motore di streaming con latenza nell'ordine dei millisecondi, semantica exactly-once già pronta. Segmento in crescita: FinTech/AdTech/IoT/inferenza ML in tempo reale. Meno offerte, ma un Senior Flink Engineer ha un premio (+15-25% rispetto a Spark). Kafka Streams (solo Java/Scala): libreria di streaming leggera, non un cluster separato. Buona per l'elaborazione dei flussi a livello di microservizio, debole per join/stato pesanti. Strategia: prima Spark (dimensione del mercato), poi Flink per diversificare e per una retribuzione premium. Kafka Streams: un'aggiunta di nicchia per gli ingegneri backend JVM.

Apache Airflow: lo standard del settore, domina il 80%+ delle offerte. DAG in Python, enorme ecosistema di operatori. Svantaggi: basato su pianificazione, non nativamente event-driven, scarsa generazione dinamica dei DAG. Dagster: lo sfidante moderno (stile Elementl/Astronomer). Centrato sugli asset, la migliore DX, test nativi, data lineage già incluso. Segmento in crescita: startup di prodotto, modern data stack. Senior Dagster: premio del +10-15%. Prefect: tra Airflow e Dagster per filosofia. Buono per workflow ibridi (batch + streaming). Meno offerte di Airflow, ma in crescita. Strategia: prima Airflow (necessità di mercato), poi Dagster come alternativa moderna. Cron + script Python: approccio superato, da non imparare come principale.

Sì, il 27% delle offerte Data Engineer è completamente da remoto o ibrido. Il lavoro è interamente nel cloud (stack DWH su AWS/GCP/Azure). Startup e SaaS internazionali: completamente da remoto. Aziende di prodotto russe: ibrido (1-3 giorni in ufficio) o da remoto dopo il periodo di prova. Sber: più spesso in sede per compliance (residenza dei dati). Hub per i Data Engineer russofoni che si trasferiscono: Dubai, Cipro, Lisbona, Berlino, Varsavia, Tbilisi. L'inglese apre i partner Databricks/Snowflake/dbt con un premio +25-40% sullo stipendio.

Backend Engineer: API REST/GraphQL, logica di business, database transazionali (PostgreSQL/MySQL). Focus: servire le richieste del prodotto. Sistemi OLTP. Data Engineer: pipeline ETL/ELT, modellazione DWH, streaming, elaborazione batch di terabyte. Focus: spostare e trasformare grandi volumi di dati. Sistemi OLAP. ML Engineer: porta i modelli in produzione (FastAPI + ONNX/TorchServe), feature store, MLOps, monitoraggio dei modelli. Focus: inferenza pronta per la produzione. Cambio di carriera: Backend Senior → Data Engineer Middle in 4-8 mesi (Airflow + dbt + un DWH). Data Engineer → ML Engineer in 6-12 mesi (PyTorch + stack MLOps). Per stipendio: Data Engineer ≥ Backend Senior a Mosca; ML Engineer ≈ Data Engineer Senior in media.

Roadmap: 1) Python fino al livello Middle: pandas, numpy, typing, test. 2) SQL a livello avanzato: window function, CTE, subquery, ottimizzazione (EXPLAIN ANALYZE), indici. PostgreSQL + un OLAP (ClickHouse consigliato). 3) Airflow: tutorial ufficiale, scrivi 3-5 DAG. 4) Un DWH: BigQuery (free tier) o prova di Snowflake. Padroneggia la modellazione (schema a stella/a fiocco di neve, SCD). 5) dbt: layer di analytics engineering. Tutorial di dbt + progetto personale con il dataset jaffle-shop. 6) Basi di PySpark: API DataFrame + un progetto personale con 1-10 GB di dati. 7) Basi di Kafka: producer/consumer + un progetto personale di streaming. 8) Progetto personale end-to-end: pipeline da API/file attraverso Airflow + dbt fino al DWH, dashboard su Metabase/Superset, pubblicato nel cloud. Corsi: Karpov.Courses "Data Engineer", OTUS "Data Engineer", Yandex.Practicum "Data Engineer", DataCamp Data Engineer Track. Libri: "The Data Warehouse Toolkit" di Kimball, "Fundamentals of Data Engineering" di Reis. Tempo per arrivare a Middle (il Junior è raro): 12-18 mesi a tempo pieno dopo un'esperienza Python di livello Middle.

5834 active open Data Engineer positions in the Zorky sample. Geography: the US, Poland, the UK. The real market is broader than the sample thanks to internal-only positions at large banks and CIS product companies. Time to close a Senior Data Engineer role — 4-8 weeks.

Un Senior Data Engineer gestisce l'intero ciclo delle pipeline di dati. SQL: padronanza (window function, CTE ricorsive, ottimizzazione delle query, partition pruning, viste materializzate). Python: padronanza di pandas/PySpark, profiling della memoria, async per l'acquisizione con molto I/O. Sistemi distribuiti: modello di esecuzione di Spark (shuffle, broadcast, partizionamento), exactly-once in Kafka, two-phase commit, idempotenza. Modellazione DWH: Kimball (star schema, SCD), Data Vault, architettura lakehouse (Delta Lake/Iceberg). Orchestrazione: progettazione dei DAG Airflow (task idempotenti, backfill, sensor), generazione dinamica dei DAG. Streaming: progettazione di Kafka (partizioni, consumer group, exactly-once), Spark Streaming o Flink. Cloud: uno tra AWS/GCP/Azure a livello di architetto (IAM + ottimizzazione dei costi + networking + livelli di storage). Qualità dei dati: Great Expectations / Soda, metriche di monitoraggio + alert. DevOps: Docker, operator Kubernetes (Spark/Kafka su k8s), Terraform/Pulumi per l'IaC. Soft skill: revisione del codice, mentoring dei Middle, lavoro con Analyst/PM sui requisiti. Inglese: obbligatorio per Senior+ (lo stack dei dati è prevalentemente in inglese).