Big Data: rynek

Oferta

otwarta oferta, która przeszła kontrolę jakości i wymienia co najmniej dwie technologie

Obserwowany kandydat

kandydat, którego stack zawiera tę technologię; agregat — żaden pojedynczy rekord nie opuszcza perymetru

Kandydat do dopasowania

jeszcze nie liczone

Okno

oferty otwarte w chwili tworzenia snapshotu

Ofert Junior Big Data PRAKTYCZNIE NIE MA — rynek oczekuje doświadczenia Data Engineer Middle + praktyki ze Sparkiem. Skok Junior → Middle — model wykonania Sparka + jeden z Hadoop/Flink/Kafka dogłębnie. Senior odpowiada za architekturę platformy Big Data + mentoring. Lead Big Data — zarządzanie systemami rozproszonymi z 5+ inżynierami, odpowiedzialność za wymiarowanie klastra + optymalizację kosztów. Ścieżka kariery: Data Engineer Middle/Senior → Big Data Middle w 4-8 miesiące → Senior → albo Platform Engineer (nacisk na infrastrukturę), albo Lakehouse Architect (nowoczesny stack danych).

5 najważniejszych: python, spark, cloud, hadoop, sql. Apache Spark — obowiązkowo (PySpark w większości przypadków, Spark Scala tam, gdzie liczy się wydajność). Dogłębne zrozumienie modelu wykonania (DAG, etapy, zadania), shuffle, broadcast, partycjonowania. Hadoop — HDFS + Hive + YARN — legacy enterprise (Sber/banki/telekomy), migracje na stack open-source. Apache Flink — prawdziwy streaming, nisza premium. Kafka — obowiązkowo (partycje, grupy konsumentów, exactly-once). Delta Lake/Apache Iceberg — formaty tabel lakehouse (nowoczesny standard, zastępujący klasyczny stack Hadoop). Apache Hudi — alternatywa dla Iceberg. HBase/Cassandra — rozproszone NoSQL do czasu rzeczywistego. Scala lub Python — Scala dla produkcyjnego Spark, Python w większości przypadków. Airflow do orkiestracji zadań batch. Dystrybucje Cloudera/Hortonworks (legacy enterprise). Kubernetes — Spark na k8s + Spark Operator. Apache Atlas/DataHub — lineage danych + katalog (obowiązkowe dla Senior). Znajomość strojenia JVM (GC G1/ZGC, profilowanie sterty) — obowiązkowa dla Senior Spark Scala.

Apache Spark — standard przemysłowy + dominator. PySpark — największy rynek, Spark Scala — nisza premium. 80%+ ofert Big Data wymaga Sparka. Minusy: streaming mikrowsadowy (opóźnienie rzędu sekund), nie prawdziwy czas rzeczywisty. Hadoop (HDFS + MapReduce + Hive) — korporacyjny legacy. Używany w dużych bankach/telekomach, gdzie migracja na open source nie została zakończona. Obowiązkowo, jeśli pracujesz w Sberze/bankach. Trend: migracje z Hadoopa na Sparka na k8s + Iceberg/Delta Lake. Apache Flink — prawdziwy silnik streamingowy z opóźnieniem milisekundowym, semantyka exactly-once od razu. Rosnący segment: FinTech/AdTech/IoT/inferencja ML w czasie rzeczywistym. Mniej ofert, ale premia dla Senior Flink Engineer (+15-25% względem Sparka). Strategia: najpierw Spark (wielkość rynku), potem Flink dla dywersyfikacji i wyższego wynagrodzenia. Hadoopa ucz się tylko, jeśli idziesz do bankowości.

Architektura lakehouse — nowoczesna architektura danych łącząca Data Lake (tanie przechowywanie w S3/HDFS) z Data Warehouse (ACID + wymuszanie schematu + indeksowanie). Zastępuje klasyczny stack Hadoop. Trzy główne formaty tabel: Delta Lake (oryginalnie od Databricks, najbardziej dojrzały, dominuje w firmach na Databricks), Apache Iceberg, Apache Hudi (trzecie miejsce, najszybsze aktualizacje dzięki przyrostowemu pobieraniu danych). Senior Iceberg/Delta — premia +10-20% względem Senior Spark dzięki rzadkim umiejętnościom. Strategia: najpierw Iceberg (zwycięzca otwartego standardu 2024–2026), Delta Lake, jeśli pracujesz z Databricks, Hudi tylko w konkretnym przypadku (CDC + dużo aktualizacji).

Tak, 29% ofert Big Data to praca zdalna lub hybrydowa. Administracja klastrami — z natury oparta na chmurze (AWS EMR / Databricks / GCP Dataproc). Międzynarodowe chmurowe SaaS danych — w pełni zdalnie: Databricks (twórcy Spark), Snowflake, Confluent (Kafka), Cloudera, zespół AWS EMR, zespół GCP Dataproc. Huby relokantów dla Big Data Senior: Berlin (europejska siedziba Databricks), Amsterdam, Zurych (UE przyjazna danym), Dubaj, Cypr. Angielski — obowiązkowy do międzynarodowej pracy zdalnej z premią +30-50%.

Big Data Engineer (ta strona) — nacisk na systemy rozproszone do przetwarzania terabajtów+. Spark/Hadoop/Flink + zarządzanie klastrami. Premia za złożoność systemów rozproszonych. Data Engineer (ogólny) — może pracować z mniejszymi wolumenami (GB-TB) bez Sparka. Nacisk na pipeline'y + modelowanie DWH. ML Engineer — wdraża modele na produkcję (FastAPI + ONNX/TorchServe), feature store, MLOps. Nacisk na inferencję. Wynagrodzenie: Big Data Senior ≥ Data Engineer Senior o 15-25%. ML Engineer Senior ≈ Big Data Senior. Zmiana ścieżki Data Engineer → Big Data w 4-8 miesiące (Spark + jeden lakehouse + Kafka). Big Data → ML Engineer w 8-12 miesięcy (PyTorch + stack MLOps). Wielu inżynierów Senior Big Data przechodzi do ML Engineering (infrastruktura danych → wdrażanie modeli).

Zakłada się doświadczenie Data Engineer Middle (Python + SQL + Airflow + jedna hurtownia DWH). Roadmapa: 1) Apache Spark dogłębnie — oficjalna dokumentacja + Databricks Learning Academy (darmowa). Opanuj DataFrame API + Spark SQL + funkcje okna + Structured Streaming. 2) Model wykonania Sparka — plany fizyczne/logiczne, DAG, etapy, zadania, shuffle, broadcasty, strategie partycjonowania. 3) PySpark — do większości projektów. Alternatywa: Spark Scala do zadań krytycznych wydajnościowo. 4) Kafka — partycje, grupy konsumentów, semantyka exactly-once. 5) Jeden format lakehouse: Iceberg (zalecany — zwycięzca wśród otwartych standardów) lub Delta Lake (jeśli Databricks). 6) Podstawy Hadoopa — HDFS + Hive (do utrzymania legacy projektów bankowych). 7) Spark na Kubernetesie (Spark Operator). 8) Kompleksowy projekt własny: pipeline Spark + Kafka + Iceberg + Airflow na zbiorze danych 10-50 GB, wdrożony w chmurze. Kursy: Karpov.Courses "Spark Developer", OTUS "Big Data Engineer", Yandex.Practicum (część ścieżki Data Engineer), Databricks Learning Academy (EN — najlepszy darmowy zasób), specjalizacja Coursera "Big Data". Książki: "Spark: The Definitive Guide" Chambers/Zaharia, "Designing Data-Intensive Applications" Kleppmann (lektura obowiązkowa). Data Engineer Middle → Big Data Middle — 4-8 miesięcy.

487 active open Big Data positions — niche but premium segment. Geography: Poland, the US, India. The real market is broader thanks to a huge international remote segment (Databricks/Snowflake/Confluent — all full-remote-friendly). Time to close a Senior Big Data role — 6-12 weeks.

Senior Big Data Engineer odpowiada za pełny cykl systemów rozproszonych. Biegłość w Sparku: model wykonania (plan logiczny → plan fizyczny → zadania), optymalizacja shuffle (unikanie shuffle, gdzie to możliwe, broadcast joins dla małych tabel, repartition vs coalesce, obsługa skew), wnętrze optymalizatora Catalyst, model pamięci Tungsten, dogłębnie Spark SQL, Structured Streaming z exactly-once. Wydajność: strojenie JVM dla Spark Scala (G1/ZGC, rozmiar sterty — executor.memory + driver.memory + memoryOverhead), pandas UDF vs Pandas API on Spark, silnik Photon (tylko Databricks). Kafka: dogłębnie semantyka producent-konsument, strategie partycjonowania, exactly-once przez transakcje, schema registry (Avro/Protobuf), podstawy Kafka Streams. Lakehouse: Iceberg/Delta — ewolucja schematu, time-travel, ewolucja partycji, optimize/vacuum, hidden partitioning. Administracja klastrem: Spark na k8s (Spark Operator), optymalizacja kosztów (instancje spot, autoskalowanie), Cloudera/Hortonworks dla legacy. SQL: zaawansowany SQL dla Spark SQL + Hive SQL + jednej hurtowni (Snowflake/BigQuery). Data Governance: Apache Atlas lub DataHub — lineage, katalog, kontrola dostępu. DevOps: Docker, Kubernetes, Terraform do IaC, CI/CD dla aplikacji Spark (Spark Submit + GitHub Actions). Kompetencje miękkie: code review, mentoring, komunikacja z Data Scientistami / zespołami analitycznymi w sprawie wymagań. Angielski — obowiązkowo dla Senior+ (dokumentacja Big Data jest przeważnie po angielsku, źródeł rosyjskojęzycznych jest niewiele).