Hurtownia danych: rynek

Oferta

otwarta oferta, która przeszła kontrolę jakości i wymienia co najmniej dwie technologie

Obserwowany kandydat

kandydat, którego stack zawiera tę technologię; agregat — żaden pojedynczy rekord nie opuszcza perymetru

Kandydat do dopasowania

jeszcze nie liczone

Okno

oferty otwarte w chwili tworzenia snapshotu

Ofert Junior DWH jest mało — rynek oczekuje zaawansowanego SQL + praktyki z jedną hurtownią DWH (często po Analyst Senior z biegłością w SQL lub Data Engineer Middle). Skok Junior → Middle — dogłębne opanowanie jednej hurtowni DWH + dbt + pipeline'y zasilania. Senior odpowiada za architekturę modelowania DWH (star/snowflake/Data Vault). Lead — zarządzanie zespołem modelowania + projektowanie korporacyjnej architektury danych. Ścieżka kariery: Analyst Senior / Data Engineer Middle → DWH Middle → Senior → albo Data Warehouse Architect, albo Head of Data.

5 najważniejszych: snowflake, cloud, sql, python, dbt. SQL na poziomie biegłym (funkcje okna, rekurencyjne CTE, optymalizacja zapytań, partition pruning). Jedna z chmurowych hurtowni danych: Snowflake (chmurowa premium — Tasks/Streams/Time Travel/mikropartycje/Snowpipe), BigQuery (GCP — rozliczanie slotów/BQML), ClickHouse (dominujący OLAP w WNP — ReplicatedMergeTree/rozproszone/widoki zmaterializowane), Redshift (legacy AWS — distkey/sortkey). Greenplum w enterprise w WNP (Sber). dbt — obowiązkowo (standard warstwy transformacji — modele + testy + makra + pakiety). Apache Airflow do ingestii. Apache Iceberg/Delta Lake — formaty tabel lakehouse (rosnące). Apache Kafka + Debezium do CDC. BI: Looker/Mode/Metabase/Superset/Yandex DataLens. Znajomość modelowania Kimballa (schematy gwiazdy/płatka śniegu, wolno zmieniające się wymiary) lub Data Vault — obowiązkowa dla Senior.

Snowflake — dominator cloud-DWH w projektach międzynarodowych. Multi-cloud (AWS/Azure/GCP), rozdzielenie storage/compute, Time Travel, Snowpipe do streamingu. Ceny premium, ale najlepsze DX. Senior Snowflake — premia w międzynarodowej pracy zdalnej. BigQuery — natywny dla Google Cloud. Ceny oparte na slotach (lub on-demand), BQML do uczenia maszynowego wewnątrz bazy. Dominator w firmach opartych na GCP. ClickHouse — dominator open-source OLAP w WNP. Najszybszy OLAP na kolumnowym storage. Senior ClickHouse — rynkowa konieczność w produktowych firmach z WNP. Redshift — dziedzictwo AWS, migracje do Snowflake lub BigQuery. Mniej nowych projektów. Strategia: ClickHouse, jeśli jesteś w zespole produktowym z WNP, Snowflake do międzynarodowej pracy zdalnej, BigQuery, jeśli w stacku GCP, Redshift tylko do utrzymania projektów legacy na AWS.

To nie konkurenci — to uzupełnienie. Airflow — orkiestracja (kiedy co uruchomić, zależności między zadaniami). dbt — warstwa transformacji (modele SQL + testy + dokumentacja + lineage). Klasyczny pipeline modern data stack: Airflow uruchamia ingest (skrypty Python/Spark) → dbt działa w Airflow jako BashOperator lub DbtRunOperator (przez providera astronomer-dbt) → dbt wykonuje transformacje SQL w hurtowni (Snowflake/BigQuery/ClickHouse) → warstwa BI (Looker/Metabase) czyta finalne modele dbt. Senior DWH Engineer odpowiada za oba. Airflow do orkiestracji + ingestu, dbt do transformacji + testów. Znajomość modułów dbt (sources/models/tests/macros/snapshots/seeds) + dobrych praktyk dbt — obowiązkowa dla Seniora w 2026.

Tak, 41% ofert DWH to praca zdalna lub hybrydowa. Praca jest w pełni oparta na chmurze (Snowflake/BigQuery/ClickHouse Cloud). Rosyjskie firmy produktowe — hybrydowo lub zdalnie po okresie próbnym. Sber — częściej w biurze ze względu na rezydencję danych. Międzynarodowe SaaS DWH — w pełni zdalnie: Snowflake, BigQuery (Google), dbt Labs, Databricks. Huby relokantów: Berlin, Amsterdam, Zurych (UE przyjazna danym), Dubaj, Cypr, Lizbona. Angielski — obowiązkowy do międzynarodowej pracy zdalnej z premią +25-40%.

DWH Engineer (this page) — focus on cloud DWH (Snowflake/BigQuery/ClickHouse/Redshift) + modelling. SQL mastery + one DWH deeply. Data Engineer (general) — broader scope: pipelines + DWH + streaming + Spark. Analytics Engineer — focus on dbt + transform layer. Sits between Data Engineer and Data Analyst. SQL + dbt + one DWH (often Snowflake/BigQuery), but WITHOUT Spark and streaming. Career switch DWH Engineer → Analytics Engineer — 1-2 months (same stack, focus on dbt). DWH Engineer → Data Engineer (general) — 3-6 months (+ Spark + Airflow deeper).

Roadmapa (zakłada się doświadczenie SQL Middle lub Data Analyst): 1) Zaawansowany SQL — dogłębnie funkcje okna, rekurencyjne CTE, optymalizacja zapytań, EXPLAIN ANALYZE, indeksy, partition pruning. PostgreSQL + jedna baza OLAP (zalecany ClickHouse — najczęściej używany w WNP). 2) Jedna chmurowa hurtownia DWH: ClickHouse (zalecany dla kariery w WNP — open source, za darmo) LUB Snowflake (dla międzynarodowej pracy zdalnej — 30-dniowy darmowy trial) LUB BigQuery (darmowy poziom GCP). Opanuj funkcje specyficzne dla silnika (ClickHouse: ReplicatedMergeTree + rozproszenie + widoki zmaterializowane; Snowflake: Tasks + Streams + Time Travel + mikropartycje). 3) dbt — oficjalny tutorial getdbt.com + projekt własny Jaffle Shop. Opanuj modele + testy + makra + źródła + snapshoty. 4) Modelowanie Kimballa — schemat gwiazdy, schemat płatka śniegu, wolno zmieniające się wymiary (SCD). Książka „The Data Warehouse Toolkit” Kimball. 5) Podstawy Airflow — orkiestracja pobierania danych. 6) Apache Iceberg lub Delta Lake — podstawy lakehouse. 7) Jedno narzędzie BI — Metabase/Superset/Yandex DataLens (za darmo) lub Looker (premium). 8) Kompletny projekt własny: pobieranie danych (skrypt Python + Airflow) → DWH (ClickHouse lub BigQuery) → modele dbt → dashboard BI w Metabase. Kursy: Karpov.Courses „Data Engineer” (obejmuje DWH), OTUS „Data Engineer”, Yandex.Practicum „Data Engineer”, DataCamp „Data Engineer with dbt”, Snowflake University (EN — za darmo, najlepsze źródło o Snowflake), ClickHouse Academy (EN — za darmo). Książki: „The Data Warehouse Toolkit” Kimball (obowiązkowa lektura), „Analytics Engineering with dbt” (przewodnik po nowoczesnym stacku danych). Czas do Junior DWH — 6-10 miesięcy (szybciej niż ogólny Data Engineer dzięki węższemu zakresowi).

350 active open Data Warehouse Engineer positions. Geography: Poland, the US, India. The real market is broader thanks to the huge international remote (Snowflake/dbt Labs/Databricks — all full-remote-friendly). Time to close a Senior DWH role — 4-6 weeks.

Senior DWH odpowiada za pełny cykl chmurowej hurtowni danych. Biegłość w SQL: dogłębnie funkcje okna, rekurencyjne CTE, plany zapytań (EXPLAIN ANALYZE), partition pruning, indeksy, widoki zmaterializowane, wzorce optymalizacji zapytań. Jedna chmurowa hurtownia dogłębnie: Snowflake (Tasks/Streams/Time Travel/mikropartycje/Snowpipe/optymalizacja kosztów przez dobór rozmiaru warehouse'u) lub BigQuery (zarządzanie slotami/BQML/tabele partycjonowane) lub ClickHouse (ReplicatedMergeTree/silniki rozproszone/widoki zmaterializowane/kodeki/słowniki). Modelowanie: biegłość w metodyce Kimballa (schemat gwiazdy/płatka śniegu, wymiary uzgodnione, typy SCD 1-6), podstawy Data Vault, architektura lakehouse (ewolucja partycji Iceberg/Delta, time-travel, ewolucja schematu). dbt: biegłość (models/sources/tests/macros/snapshots/seeds/exposures), dobre praktyki (modele inkrementalne, strategie materializacji, specyfika adapterów dbt-snowflake/dbt-bigquery). Wydajność: wzorce optymalizacji zapytań dla każdego silnika hurtowni, zarządzanie kosztami (zużycie kredytów Snowflake / sloty BigQuery / dobór rozmiaru klastra ClickHouse). Pozyskiwanie danych: Kafka + Debezium do CDC, Airflow do ładowania wsadowego, Snowpipe / Snowflake Streams / widoki zmaterializowane. Jakość danych: testy dbt + Great Expectations + Soda. Integracja z BI: jedno z Looker/Mode/Metabase/Superset/Yandex DataLens na poziomie projektowania warstwy semantycznej. Kompetencje miękkie: code review (SQL + dbt), mentoring Middle, komunikacja z zespołami analitycznymi/biznesowymi. Angielski dla Senior+ obowiązkowo — dokumentacja hurtowni danych jest przeważnie po angielsku.