Data Engineer

Обязанности: budowa i rozwój pipeline’ów danych niestrukturalnych w ramach projektu realizowanego dla obszaru sztucznej inteligencji,, projektowanie i implementacja przepływów ETL zasilających Repozytorium Danych Niestrukturalnych oraz rozwiązania wykorzystywane przez agentów AI,, tworzenie procesów przetwarzania danych pochodzących z dokumentów, obrazów i plików audio,, implementacja mechanizmów ekstrakcji treści, OCR, ASR (transkrypcji audio) oraz konwersji dokumentów,, rozwój rozwiązań wykorzystujących embeddingi, wyszukiwanie semantyczne, indeksowanie oraz filtrowanie danych po metadanych,, integracja pipeline’ów z wektorowymi bazami danych, w szczególności Qdrant,, projektowanie i rozwój usług przetwarzających dane z wykorzystaniem Pythona lub Rusta,, tworzenie i integracja usług udostępniających funkcjonalności poprzez REST API,, rozwój mechanizmów przetwarzania danych opartych na architekturze zdarzeniowej, m.in. Kafka lub Pub/Sub,, współpraca przy projektowaniu usług kategoryzacji danych, ontologii oraz rozwiązań wspierających przetwarzanie informacji na potrzeby AI,, analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych,, współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI,, model realizacji usług: hybrydowo – 1 dzień w tygodniu z biura w Warszawie,, budżet projektu: do 140 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług.

Опыт: doświadczenie w inżynierii danych, w szczególności w budowaniu