Big Data (Spark/Hadoop): рынок

Вакансия

открытая вакансия, прошедшая гейт качества и содержащая не менее двух технологий

Наблюдаемый кандидат

кандидат, чей стек содержит эту технологию; агрегат, без единой записи наружу

Подходящий кандидат

пока не считается

Окно

открытые вакансии на момент сборки снимка

Топ-5: python, spark, cloud, sql, java. Apache Spark — must (PySpark для большинства, Spark Scala для performance-critical). Глубокое понимание execution model (DAG, stages, tasks), shuffles, broadcasts, partitioning. Hadoop — HDFS + Hive + YARN — legacy enterprise (Сбер/банки/телеком), миграции на open-source-стек. Apache Flink — true streaming, premium niche. Kafka — must (partitions, consumer groups, exactly-once). Delta Lake/Apache Iceberg — lakehouse table formats (modern стандарт, заменяют классический Hadoop стек). Apache Hudi — альтернатива Iceberg. HBase/Cassandra — NoSQL distributed для real-time. Scala или Python — Scala для production Spark, Python для большинства. Airflow для оркестрации batch jobs. Cloudera/Hortonworks distributions (legacy enterprise). Kubernetes — Spark on k8s + Spark Operator. Apache Atlas/DataHub — data lineage + catalog (Senior must). Знание JVM tuning (GC G1/ZGC, heap profiling) — Spark Scala Senior must.

Apache Spark — индустриальный стандарт + доминанта. PySpark самый ёмкий рынок, Spark Scala — премиум-ниша. 80%+ Big Data-вакансий требуют Spark. Минусы: micro-batch streaming (секунды latency), не true realtime. Hadoop (HDFS + MapReduce + Hive) — legacy enterprise. Используется в крупных банках/телекоме где миграция на open-source ещё не завершена. Знать обязательно если работаешь в Сбере/банках. Тренд: миграции с Hadoop на Spark on k8s + Iceberg/Delta Lake. Apache Flink — true streaming engine с миллисекундной latency, exactly-once semantics из коробки. Растущий сегмент: FinTech/AdTech/IoT/real-time ML inference. Меньше вакансий, но Senior Flink Engineer премиум (+15-25% к Spark). Стратегия: Spark сначала (ёмкость рынка), потом Flink для diversification и премиум-зарплат. Hadoop изучать только если идёшь в банковский сектор.

Lakehouse architecture — modern data architecture, объединяющая Data Lake (cheap storage в S3/HDFS) с Data Warehouse (ACID + schema enforcement + indexing). Заменяет классический Hadoop-стек. Три главные table-format'а: Delta Lake (Databricks-original, наиболее зрелый, доминанта в Databricks-shop'ах), Apache Iceberg, Apache Hudi (third-place, fastest updates через incremental ingestion). Senior Iceberg/Delta — премиум +10-20% к Senior Spark за счёт rare-skill. Стратегия: Iceberg сначала (open-standard winner 2024–2026), Delta Lake если работаешь с Databricks, Hudi только если специфический use-case (CDC + updates-heavy).

Да, 30% Big Data-вакансий — удалёнка или гибрид. Cluster admin work — cloud-based по природе (AWS EMR / Databricks / GCP Dataproc). Международные cloud-data SaaS — full-remote: Databricks (Spark creators), Snowflake, Confluent (Kafka), Cloudera, AWS EMR team, GCP Dataproc team. Релокант-хабы для Big Data Senior: Берлин (Databricks EU HQ), Амстердам, Цюрих (data-friendly EU), Дубай, Кипр. Английский — must для international remote с премией +30-50%.

Big Data Engineer (этa страница) — фокус на распределённых системах для обработки терабайтов+. Spark/Hadoop/Flink + cluster management. Premium за distributed-systems complexity. Data Engineer (general) — может работать с меньшими volumes (GB-TB) без Spark. Focus на pipelines + DWH-моделирование. ML Engineer — deploy моделей в production (FastAPI + ONNX/TorchServe), feature-store, MLOps. Focus на inference. Зарплаты: Big Data Senior ≥ Data Engineer Senior на 15-25%. ML Engineer Senior ≈ Big Data Senior. Career-switch Data Engineer → Big Data за 4-8 месяцев (Spark + один lakehouse + Kafka). Big Data → ML Engineer за 8-12 месяцев (PyTorch + MLOps-стек). Многие Senior Big Data разработчики двигаются в ML Engineering (data infrastructure → model deployment).

Предполагается Data Engineer Middle опыт (Python + SQL + Airflow + один DWH). Roadmap: 1) Apache Spark deeply — официальная документация + Databricks Learning Academy (бесплатно). Освоить DataFrame API + Spark SQL + Window Functions + Structured Streaming. 2) Spark execution model — physical/logical plans, DAG, stages, tasks, shuffles, broadcasts, partitioning strategies. 3) PySpark — для большинства проектов. Альтернатива: Spark Scala для performance-critical. 4) Kafka — partitions, consumer groups, exactly-once semantics. 5) Один lakehouse format: Iceberg (рекомендуется — open-standard winner) или Delta Lake (если Databricks). 6) Hadoop basics — HDFS + Hive (для maintenance legacy банков-проектов). 7) Spark on Kubernetes (Spark Operator). 8) Pet-проект end-to-end: Spark + Kafka + Iceberg + Airflow pipeline на 10-50 GB dataset, deployed в облаке. Курсы: Karpov.Courses «Spark Developer», OTUS «Big Data Engineer», Я.Практикум (часть Data Engineer track), Databricks Learning Academy (eng — best free resource), Coursera «Big Data» specialization. Книги: «Spark: The Definitive Guide» Chambers/Zaharia, «Designing Data-Intensive Applications» Kleppmann (must-read). Data Engineer Middle → Big Data Middle — 4-8 месяцев.

456 активных открытых Big Data-вакансий — нишевой, но премиальный сегмент. География: 🇷🇺 Россия / 🇺🇦 Украина / 🇩🇪 Германия. Реальный рынок шире за счёт огромного international remote-сегмента (Databricks/Snowflake/Confluent — все full-remote-friendly). Время закрытия Senior Big Data — 6-12 недель.

Senior Big Data Engineer владеет полным циклом распределённых систем. Spark mastery: execution model (logical plan → physical plan → tasks), shuffle optimization (avoid shuffles where possible, broadcast joins для small tables, repartition vs coalesce, skew handling), Catalyst optimizer internals, Tungsten memory model, Spark SQL deep, Structured Streaming с exactly-once. Performance: JVM tuning для Spark Scala (G1/ZGC, heap sizing — executor.memory + driver.memory + memoryOverhead), pandas UDFs vs Pandas API on Spark, Photon engine (Databricks-only). Kafka: producer-consumer semantics deep, partitioning strategies, exactly-once через transactions, schema registry (Avro/Protobuf), Kafka Streams basics. Lakehouse: Iceberg/Delta — schema evolution, time-travel, partition evolution, optimize/vacuum, hidden partitioning. Cluster admin: Spark on k8s (Spark Operator), cost optimization (spot instances, auto-scaling), Cloudera/Hortonworks для legacy. SQL: продвинутый SQL для Spark SQL + Hive SQL + один DWH (Snowflake/BigQuery). Data Governance: Apache Atlas или DataHub — lineage, catalog, access control. DevOps: Docker, Kubernetes, Terraform для IaC, CI/CD для Spark applications (Spark Submit + GitHub Actions). Soft: code-review, ментoring, общение с Data Scientists / Analytics teams по requirements. Английский — must для Senior+ (Big Data документация преимущественно EN, мало русскоязычных источников).