LLM Engineer

🚀 Dołącz do Struct4 jako LLM Engineer ! 🚀 Kim jesteśmy? Struct4 to dynamiczna firma technologiczna, która tworzy zaawansowane rozwiązania IT w obszarze Data i Event-Driven Systems.

Wspieramy klientów na całym świecie w tworzeniu produktów, które definiują przyszłość technologii. Jeśli chcesz rozwijać swoją karierę w środowisku, gdzie innowacja spotyka się z biznesem, dołącz do nas! O projekcie Dołączysz do zespołu budującego własną platformę do serwowania modeli językowych, opartą na technologii vLLM.

Twoim zadaniem będzie wdrażanie, optymalizacja i udostępnianie modeli LLM jako endpointów API. W kolejnym etapie będziesz współtworzyć rozwiązań RAG (Retrieval-Augmented Generation) działających na tej platformie. Twoje zadania wdrażanie i konfiguracja modeli LLM, takich jak Llama, Mistral czy Qwen , z wykorzystaniem vLLM, optymalizacja wydajności inferencji – batching, kwantyzacja, zarządzanie pamięcią GPU i KV cache, przygotowanie i utrzymanie endpointów zgodnych z OpenAI API , testowanie i ewaluacja jakości oraz wydajności modeli – latencja, przepustowość i koszty, udział w projektowaniu rozwiązań RAG – przetwarzanie dokumentów, embeddingi, bazy wektorowe, retrieval i ocena jakości odpowiedzi, współpraca z zespołami MLOps/DevOps przy wdrożeniach produkcyjnych.

Technologie Python | LLM | vLLM | OpenAI API | RAG | Llama | Mistral | Qwen | GPU | Embeddings | Vector Databases | MLOps | DevOps Co oferujemy? do 190 PLN/h netto na B2B , zależnie od doświadczenia, 100% remote , elast