Data Engineer: Markt

Stelle

eine offene Stelle, die das Qualitäts-Gate passiert hat und mindestens zwei Technologien nennt

Beobachteter Kandidat

ein Kandidat, dessen Stack diese Technologie enthält; ein Aggregat — kein einziger Datensatz verlässt den Perimeter

Matchbarer Kandidat

noch nicht gezählt

Fenster

Stellen, die zum Zeitpunkt der Erstellung des Snapshots offen waren

Junior-Stellen sind rar — der Markt erwartet Python Middle + fortgeschrittenes SQL oder einen Wechsel aus Backend/Analyse. Der Sprung Junior → Middle — Airflow + ein DWH + Spark-Grundlagen. Ein Senior verantwortet eine ganze Datendomäne (z. B. eine Event-Pipeline). Lead Data Engineer / Head of Data Platform — führt 3-8 Engineers, verantwortet Architekturentscheidungen + DWH-Modell + Data Governance. Karriereweg: Backend Middle/Analyst Senior → Data Engineer Middle → Senior → entweder Analytics Engineering (dbt-Fokus), Platform Engineering (Infrastrukturfokus) oder Head of Data.

Top 5: python, cloud, sql, aws, azure. Python — Pflicht (pandas, PySpark, boto3, GCP SDK). SQL — fortgeschrittene Pflicht (Fensterfunktionen, CTEs, Abfrageoptimierung, EXPLAIN ANALYZE). Airflow — Branchenstandard für Orchestrierung; Dagster/Prefect wachsen in neuen Projekten. Spark (PySpark/Scala) — Big Data Batch + Streaming. Kafka — Pflicht ab Middle im ereignisgetriebenen Umfeld. Flink — Premiumfähigkeit für echtes Streaming. dbt — Standard der Transformationsschicht im modernen Data Stack. DWH: Snowflake (Cloud-Premium), BigQuery (GCP), ClickHouse (OLAP, dominiert in der GUS), Redshift (AWS-Legacy). Speicher: S3/HDFS, Delta Lake/Apache Iceberg (Lakehouse). Docker+Kubernetes. Terraform/Pulumi für IaC. Senior — Observability (Datadog/Grafana + Great Expectations / Soda für Datenqualität).

Spark — Branchenstandard für Batch + Micro-Batch-Streaming. PySpark ist der größte Stellenmarkt, Spark Scala — eine Premium-Nische. Wird von 80%+ der DWH-Teams genutzt. Nachteil: Latenz durch Micro-Batches (Sekunden bis Minuten), kein echtes Echtzeit. Flink — eine echte Streaming-Engine mit Latenz im Millisekundenbereich, Exactly-once-Semantik von Haus aus. Wachsendes Segment: FinTech/AdTech/IoT/ML-Inferenz in Echtzeit. Weniger Stellen, aber Aufschlag für Senior Flink Engineers (+15-25% gegenüber Spark). Kafka Streams (nur Java/Scala) — eine leichtgewichtige Streaming-Bibliothek, kein separater Cluster. Gut für Stream-Verarbeitung auf Microservice-Ebene, schlecht für schwere Joins/Zustand. Strategie: zuerst Spark (Marktgröße), dann Flink zur Diversifizierung und für Premium-Bezahlung. Kafka Streams — eine Nischenergänzung für JVM-Backend-Engineers.

Apache Airflow — Industriestandard, dominiert 80%+ der Stellen. DAGs in Python, riesiges Ökosystem an Operatoren. Nachteile: zeitplanbasiert, nicht nativ ereignisgesteuert, schwache dynamische DAG-Generierung. Dagster — moderner Herausforderer (Elementl/Astronomer-ähnlich). Asset-zentriert, beste DX, natives Testen, Data Lineage out of the box. Wachsendes Segment: Produkt-Startups, Modern Data Stack. Senior Dagster — Aufschlag +10-15%. Prefect — philosophisch zwischen Airflow und Dagster. Gut für hybride Workflows (Batch + Streaming). Weniger Stellen als Airflow, aber wachsend. Strategie: zuerst Airflow (Marktnotwendigkeit), dann Dagster als moderne Alternative. Cron + Python-Skripte — veralteter Ansatz, nicht als Hauptwerkzeug lernen.

Ja, 27% der Stellen als Data Engineer sind vollständig remote oder hybrid. Die Arbeit ist vollständig cloudbasiert (DWH-Stacks auf AWS/GCP/Azure). Startups und internationale SaaS — vollständig remote. Russische Produktunternehmen — hybrid (1-3 Bürotage) oder remote nach der Probezeit. Sber — wegen Compliance (Datenresidenz) häufiger Büro. Relokations-Hubs für russischsprachige Data Engineers: Dubai, Zypern, Lissabon, Berlin, Warschau, Tiflis. Englisch öffnet Partner von Databricks/Snowflake/dbt mit einem Aufschlag von +25-40% auf das Gehalt.

Backend Engineer — REST/GraphQL-API, Geschäftslogik, transaktionale DBs (PostgreSQL/MySQL). Fokus: Produktanfragen bedienen. OLTP-Systeme. Data Engineer — ETL/ELT-Pipelines, DWH-Modellierung, Streaming, Batch-Verarbeitung von Terabytes. Fokus: große Datenmengen bewegen und transformieren. OLAP-Systeme. ML Engineer — Modelle in Produktion bringen (FastAPI + ONNX/TorchServe), Feature Store, MLOps, Modell-Monitoring. Fokus: produktionsreife Inferenz. Karrierewechsel: Backend Senior → Data Engineer Middle in 4-8 Monaten (Airflow + dbt + ein DWH). Data Engineer → ML Engineer in 6-12 Monaten (PyTorch + MLOps-Stack). Nach Gehalt: Data Engineer ≥ Backend Senior in Moskau; ML Engineer ≈ Data Engineer Senior im Schnitt.

Roadmap: 1) Python bis Middle — pandas, numpy, Typing, Tests. 2) SQL bis Fortgeschritten — Fensterfunktionen, CTEs, Unterabfragen, Optimierung (EXPLAIN ANALYZE), Indizes. PostgreSQL + eine OLAP-Datenbank (ClickHouse empfohlen). 3) Airflow — offizielles Tutorial, 3-5 DAGs schreiben. 4) Ein DWH: BigQuery (kostenloses Kontingent) oder Snowflake-Testversion. Beherrschen Sie die Modellierung (Stern-/Schneeflockenschema, SCD). 5) dbt — die Schicht des Analytics Engineering. dbt-Tutorial + Pet-Projekt mit dem Datensatz jaffle-shop. 6) PySpark-Grundlagen — DataFrame API + ein Pet-Projekt mit 1-10 GB Daten. 7) Kafka-Grundlagen — Producer/Consumer + ein Streaming-Pet-Projekt. 8) Durchgängiges Pet-Projekt: Pipeline von API/Dateien über Airflow + dbt ins DWH, Dashboard in Metabase/Superset, deployt in der Cloud. Kurse: Karpov.Courses „Data Engineer“, OTUS „Data Engineer“, Yandex.Practicum „Data Engineer“, DataCamp Data Engineer Track. Bücher: „The Data Warehouse Toolkit“ von Kimball, „Fundamentals of Data Engineering“ von Reis. Zeit bis zum Middle (Junior selten) — 12-18 Monate in Vollzeit nach Erfahrung als Python Middle.

5834 active open Data Engineer positions in the Zorky sample. Geography: the US, Poland, the UK. The real market is broader than the sample thanks to internal-only positions at large banks and CIS product companies. Time to close a Senior Data Engineer role — 4-8 weeks.

Ein Senior Data Engineer verantwortet den gesamten Zyklus der Datenpipelines. SQL: Beherrschung (Window Functions, rekursive CTEs, Abfrageoptimierung, Partition Pruning, Materialized Views). Python: Beherrschung von pandas/PySpark, Speicher-Profiling, async für I/O-lastige Datenaufnahme. Verteilte Systeme: Ausführungsmodell von Spark (Shuffle, Broadcast, Partitionierung), Exactly-once in Kafka, Two-Phase Commit, Idempotenz. DWH-Modellierung: Kimball (Star Schema, SCD), Data Vault, Lakehouse-Architektur (Delta Lake/Iceberg). Orchestrierung: Entwurf von Airflow-DAGs (idempotente Tasks, Backfills, Sensoren), dynamische Generierung von DAGs. Streaming: Entwurf mit Kafka (Partitionen, Consumer Groups, Exactly-once), Spark Streaming oder Flink. Cloud: eine von AWS/GCP/Azure auf Architektenniveau (IAM + Kostenoptimierung + Netzwerke + Speicherklassen). Datenqualität: Great Expectations / Soda, Monitoring von Metriken + Alerts. DevOps: Docker, Kubernetes-Operatoren (Spark/Kafka on k8s), Terraform/Pulumi für IaC. Soft Skills: Code Review, Mentoring von Middles, Arbeit mit Analyst/PM an den Anforderungen. Englisch — Pflicht ab Senior+ (der Daten-Stack ist überwiegend EN).