Big Data : marché

Offre

une offre ouverte ayant passé le contrôle qualité et citant au moins deux technologies

Candidat observé

un candidat dont la stack contient cette technologie ; un agrégat — aucune fiche individuelle ne sort du périmètre

Candidat correspondant

pas encore compté

Fenêtre

offres ouvertes au moment de la création de l'instantané

Les offres Big Data Junior sont QUASI INEXISTANTES — le marché attend une expérience de Data Engineer Middle + une pratique de Spark. Le saut Junior → Middle — le modèle d'exécution de Spark + l'un de Hadoop/Flink/Kafka en profondeur. Le Senior est responsable de l'architecture de la plateforme Big Data + mentor. Le Lead Big Data — gestion de systèmes distribués avec 5+ ingénieurs, responsable du dimensionnement des clusters + de l'optimisation des coûts. Parcours de carrière : Data Engineer Middle/Senior → Big Data Middle en 4-8 mois → Senior → soit Platform Engineer (focus infrastructure), soit Architecte Lakehouse (stack data moderne).

Top 5 : python, spark, cloud, hadoop, sql. Apache Spark — indispensable (PySpark le plus souvent, Spark Scala pour les cas critiques en performance). Compréhension approfondie du modèle d'exécution (DAG, stages, tâches), des shuffles, des broadcasts, du partitionnement. Hadoop — HDFS + Hive + YARN — entreprise historique (Sber/banques/télécoms), migrations vers la stack open source. Apache Flink — vrai streaming, niche premium. Kafka — indispensable (partitions, consumer groups, exactly-once). Delta Lake/Apache Iceberg — formats de tables lakehouse (standard moderne, remplacent la stack Hadoop classique). Apache Hudi — alternative à Iceberg. HBase/Cassandra — NoSQL distribué pour le temps réel. Scala ou Python — Scala pour Spark en production, Python le plus souvent. Airflow pour l'orchestration des jobs batch. Distributions Cloudera/Hortonworks (entreprise historique). Kubernetes — Spark sur k8s + Spark Operator. Apache Atlas/DataHub — lignage des données + catalogue (indispensable pour un Senior). Connaissance du tuning de la JVM (GC G1/ZGC, profilage du heap) — indispensable pour un Senior Spark Scala.

Apache Spark — standard industriel + dominant. PySpark — le plus grand marché, Spark Scala — niche premium. 80 %+ des offres Big Data exigent Spark. Inconvénients : streaming en micro-batch (latence de l'ordre de la seconde), pas du vrai temps réel. Hadoop (HDFS + MapReduce + Hive) — historique en entreprise. Utilisé dans les grandes banques/télécoms où la migration vers l'open source n'est pas terminée. À connaître absolument si vous travaillez chez Sber/dans les banques. Tendance : migrations de Hadoop vers Spark sur k8s + Iceberg/Delta Lake. Apache Flink — véritable moteur de streaming avec une latence de l'ordre de la milliseconde, sémantique exactly-once nativement. Segment en croissance : FinTech/AdTech/IoT/inférence ML en temps réel. Moins d'offres, mais prime pour un Flink Engineer Senior (+15-25 % par rapport à Spark). Stratégie : Spark d'abord (taille du marché), puis Flink pour se diversifier et viser une rémunération premium. N'apprenez Hadoop que si vous vous orientez vers la banque.

Architecture Lakehouse — architecture de données moderne qui combine le Data Lake (stockage bon marché dans S3/HDFS) et le Data Warehouse (ACID + schéma imposé + indexation). Remplace la stack Hadoop classique. Trois principaux formats de tables : Delta Lake (d'origine Databricks, le plus mature, dominant dans les environnements Databricks), Apache Iceberg, Apache Hudi (troisième place, mises à jour les plus rapides via l'ingestion incrémentale). Un Senior Iceberg/Delta bénéficie d'une prime de +10-20 % par rapport à un Senior Spark grâce à la rareté de la compétence. Stratégie : Iceberg d'abord (vainqueur du standard ouvert 2024–2026), Delta Lake si vous travaillez avec Databricks, Hudi uniquement pour un cas d'usage précis (CDC + nombreuses mises à jour).

Oui, 29 % des offres Big Data sont à distance ou hybrides. L'administration de clusters se fait par nature dans le cloud (AWS EMR / Databricks / GCP Dataproc). SaaS de données cloud internationaux — tout à distance : Databricks (créateurs de Spark), Snowflake, Confluent (Kafka), Cloudera, équipe AWS EMR, équipe GCP Dataproc. Pôles d'expatriation pour les Senior Big Data : Berlin (siège européen de Databricks), Amsterdam, Zurich (UE favorable à la data), Dubaï, Chypre. L'anglais — indispensable pour le télétravail international, avec une prime de +30-50 %.

Ingénieur Big Data (cette page) — centré sur les systèmes distribués pour traiter des téraoctets et plus. Spark/Hadoop/Flink + gestion de clusters. Prime pour la complexité des systèmes distribués. Data Engineer (généraliste) — peut travailler sur des volumes plus petits (Go-To) sans Spark. Centré sur les pipelines + la modélisation DWH. ML Engineer — déploie les modèles en production (FastAPI + ONNX/TorchServe), feature store, MLOps. Centré sur l'inférence. Rémunération : Big Data Senior ≥ Data Engineer Senior de 15-25 %. ML Engineer Senior ≈ Big Data Senior. Reconversion Data Engineer → Big Data en 4-8 mois (Spark + un lakehouse + Kafka). Big Data → ML Engineer en 8-12 mois (PyTorch + stack MLOps). Beaucoup d'ingénieurs Big Data Senior passent au ML Engineering (infrastructure de données → déploiement de modèles).

Une expérience de Data Engineer Middle est supposée (Python + SQL + Airflow + un DWH). Feuille de route : 1) Apache Spark en profondeur — documentation officielle + Databricks Learning Academy (gratuit). Maîtriser l'API DataFrame + Spark SQL + Window Functions + Structured Streaming. 2) Modèle d'exécution de Spark — plans physiques/logiques, DAG, stages, tasks, shuffles, broadcasts, stratégies de partitionnement. 3) PySpark — pour la plupart des projets. Alternative : Spark Scala pour les cas critiques en performance. 4) Kafka — partitions, consumer groups, sémantique exactly-once. 5) Un format lakehouse : Iceberg (recommandé — vainqueur du standard ouvert) ou Delta Lake (si Databricks). 6) Bases de Hadoop — HDFS + Hive (pour la maintenance des projets bancaires historiques). 7) Spark sur Kubernetes (Spark Operator). 8) Projet personnel de bout en bout : pipeline Spark + Kafka + Iceberg + Airflow sur un jeu de données de 10-50 Go, déployé dans le cloud. Formations : Karpov.Courses « Spark Developer », OTUS « Big Data Engineer », Yandex.Practicum (partie du parcours Data Engineer), Databricks Learning Academy (EN — la meilleure ressource gratuite), spécialisation Coursera « Big Data ». Livres : « Spark: The Definitive Guide » Chambers/Zaharia, « Designing Data-Intensive Applications » Kleppmann (incontournable). Data Engineer Middle → Big Data Middle — 4-8 mois.

487 active open Big Data positions — niche but premium segment. Geography: Poland, the US, India. The real market is broader thanks to a huge international remote segment (Databricks/Snowflake/Confluent — all full-remote-friendly). Time to close a Senior Big Data role — 6-12 weeks.

Un Big Data Engineer Senior prend en charge le cycle complet des systèmes distribués. Maîtrise de Spark : modèle d'exécution (plan logique → plan physique → tâches), optimisation des shuffles (les éviter autant que possible, broadcast joins pour les petites tables, repartition vs coalesce, gestion du skew), fonctionnement interne de l'optimiseur Catalyst, modèle mémoire Tungsten, Spark SQL en profondeur, Structured Streaming avec exactly-once. Performance : réglage de la JVM pour Spark Scala (G1/ZGC, dimensionnement du heap — executor.memory + driver.memory + memoryOverhead), pandas UDFs vs Pandas API on Spark, moteur Photon (Databricks uniquement). Kafka : sémantique producteur-consommateur en profondeur, stratégies de partitionnement, exactly-once via les transactions, schema registry (Avro/Protobuf), bases de Kafka Streams. Lakehouse : Iceberg/Delta — évolution de schéma, time-travel, évolution des partitions, optimize/vacuum, partitionnement caché. Administration de clusters : Spark sur k8s (Spark Operator), optimisation des coûts (instances spot, autoscaling), Cloudera/Hortonworks pour l'historique. SQL : SQL avancé pour Spark SQL + Hive SQL + un DWH (Snowflake/BigQuery). Gouvernance des données : Apache Atlas ou DataHub — lignage, catalogue, contrôle d'accès. DevOps : Docker, Kubernetes, Terraform pour l'IaC, CI/CD pour les applications Spark (Spark Submit + GitHub Actions). Soft skills : revue de code, mentorat, communication avec les Data Scientists / équipes Analytics sur les exigences. Anglais — indispensable pour Senior+ (la documentation Big Data est majoritairement en anglais, peu de sources en russe).