AI / LLM Engineer: Markt

Stelle

eine offene Stelle, die das Qualitäts-Gate passiert hat und mindestens zwei Technologien nennt

Beobachteter Kandidat

ein Kandidat, dessen Stack diese Technologie enthält; ein Aggregat — kein einziger Datensatz verlässt den Perimeter

Matchbarer Kandidat

noch nicht gezählt

Fenster

Stellen, die zum Zeitpunkt der Erstellung des Snapshots offen waren

Junior — typischer Einstieg: Backend Middle / ML Engineer Middle / Data Scientist Middle + LLM-Hobbyprojekte (nachweisbare Erfahrung mit RAG + LangChain). Der Sprung Junior → Middle — nach der ersten produktiven Einführung eines LLM-Features (Chatbot / Zusammenfassung / Q&A in einem echten Produkt mit echten Nutzern). Middle → Senior — Verantwortung für mehrere LLM-Features + Kostenoptimierung (typisches Mandat: 50-70% Senkung der LLM-API-Kosten durch Caching + kleinere Modelle + Abwägung RAG vs. Fine-Tuning) + Evaluationsmethodik. Senior → Staff / Principal — organisationsweite KI-Strategie + Architektur einer LLM-Plattform für mehrere Produkte. Karriereweg: Backend Senior / ML Engineer Middle (2-3 Jahre) + Interesse an LLMs → AI Engineer Junior / Middle (1-2 Jahre) → Senior → entweder Staff / Principal AI Engineer, AI Tech Lead / Engineering Manager, Wechsel in ein Frontier-KI-Labor oder Gründer eines KI-Startups.

Top 5: python, aws, llm, cloud, agile. Python in der Tiefe (Monopol — async / Typisierung / FastAPI). Jeder Anbieter hat seine Eigenheiten (Rate Limits + Retry-Strategien + Kosten pro Token + Feature-Unterstützung). LLM-Frameworks: souveräne Beherrschung von LangChain — der größte Stellenmarkt (LCEL — LangChain Expression Language, Callbacks, Agents, Retriever), LlamaIndex (RAG-fokussiert — Datenaufnahme + Indexierungsstrategien), Haystack (deepset), Semantic Kernel (Microsoft für .NET-Unternehmen), LangGraph (Agentenorchestrierung im DAG-Stil — LangChain), AutoGen + CrewAI (Multi-Agent — auf dem Vormarsch), DSPy (Stanford — deklarative LLM-Programmierung, wachsend). Souveräne Beherrschung von Vektor-DBs: Pinecone (führend bei verwalteten Lösungen), Weaviate (Open Source, modular), Qdrant (in Rust — schnell, selbst gehostet), Milvus (Enterprise-Maßstab), Chroma (leichtgewichtig für Entwicklung / Prototyping), pgvector (Postgres-Erweiterung — produktionstauglich für Unternehmen, die bereits Postgres nutzen), Elasticsearch dense_vector + Redis Stack (Hybrid aus Volltext + Vektor). Fine-Tuning: LoRA + QLoRA über die PEFT-Bibliothek (Hugging Face — Standard 2026), Unsloth (schnelleres LoRA-Training), Axolotl (konfigurationsgetriebenes Fine-Tuning). Vollständiges Fine-Tuning selten (kostenmäßig prohibitiv). RLHF / DPO / KTO: TRL-Bibliothek (Hugging Face — Wachstum von Direct Preference Optimization 2024+). Evaluierung: RAGAS (RAG-spezifisch — Faithfulness + Answer Relevancy + Context Precision), DeepEval, lm-evaluation-harness (akademische Benchmarks), Inspect AI (UK AISI, sicherheitsorientiert), Promptfoo (Regressionstests für Prompts), LangSmith (Tracing + Evaluierung für LangChain — beste UX). Observability + Tracing: Helicone (LLM-spezifisches APM), LangSmith, Langfuse (Open Source), Arize Phoenix, Datadog LLM Observability (Feature 2024+). Kostenoptimierung: Prompt Caching, Prompt-Kompression (LLMLingua), Model Routing (kleines Modell für einfache Anfragen, großes für komplexe — über Anbieter wie Martian / OpenRouter).

Data Scientist — Fokus auf statistische Modellierung + A/B-Tests + Problemformulierung im Business. Stack: pandas + sklearn + XGBoost + Jupyter + SQL + Tableau. Siehe Data Scientist. ML Engineer — Fokus auf ML-Pipelines in Produktion + Deployment + Skalierung. Stack: PyTorch + sklearn + Kubernetes + MLflow + Cloud-managed ML. Generalist — arbeitet mit Recsys / Fraud / Ranking / klassischem ML. Siehe ML Engineer. AI Engineer (diese Seite) — Fokus auf LLM-Integration ins Produkt. Trainiert KEINE Foundation Models (das ist Research), baut KEINE klassischen ML-Pipelines (das ist der ML Engineer). Stack: Python + LLM-Anbieter + LangChain / LlamaIndex + Vektor-DBs + vLLM-Serving + RAG-Patterns + LoRA-Fine-Tuning + Tools zur LLM-Evaluation. Zentraler Unterschied 2026: Der AI Engineer nutzt vortrainierte LLMs wieder, der ML Engineer trainiert Modelle oft von Grund auf. Der AI Engineer arbeitet mit API/Prompts/RAG; der ML Engineer — mit Trainingsschleifen + Feature Engineering. Karrierewechsel: Backend Senior → AI Engineer Junior — 2-4 Monate (schneller Einstieg dank API-basierter Arbeit + leicht erlernbarem LangChain). ML Engineer Senior → AI Engineer Senior — 1-3 Monate (kennt die Stack-Grundlagen bereits, muss LLM-Spezifisches vertiefen). DS Senior → AI Engineer Middle — 3-6 Monate. AI Engineer Senior → Research — erfordert tiefere Mathematik + Erfahrung im Verfassen von Papern + 6-12 Monate Vorbereitung.

Entscheidungsbaum für die LLM-Anpassung 2026: 1) Prompt Engineering — der erste Versuch. Einsatzfall: Zero-Shot oder Few-Shot REICHT für die Aufgabe. Vorteile: keine Kosten (kein Training), sofortige Iteration, modellunabhängig. Nachteile: begrenzte Kontrolle, fragile Prompts, Druck auf das Kontextfenster. 2) RAG (Retrieval-Augmented Generation) — am besten für wissensbasierte Aufgaben. Einsatzfall: Chatbot, Q&A, Dokumentensuche, Kundensupport, Code-Dokumentation, interne Wissensdatenbanken. Architektur: Anfrage → Embedding → Vektorsuche → Top-k-Dokumente → Prompt mit dem gefundenen Kontext anreichern → LLM generiert die Antwort. Vorteile: faktische Verankerung (gegen Halluzinationen), aktuell (nur den Index aktualisieren, kein erneutes Training), Quellenangabe möglich, günstiger als Fine-Tuning. Nachteile: Retrieval-Qualität als Engpass, der Prompt wird größer. RAG-Stack 2026: Ingestion (Document Loader von LlamaIndex / LangChain) → Chunking-Strategie (semantisch vs. feste Größe vs. rekursiv) → Embeddings → Vektor-DB (Pinecone / Qdrant / Weaviate / pgvector) → Retrieval (Ähnlichkeit + Reranking per Cohere Rerank / BGE Reranker) → Anreicherung des Prompts → Generierung durch das LLM. Fortgeschrittenes RAG: hybride Suche (Vektor + BM25), HyDE (Hypothetical Document Embeddings), Query Rewriting, Multi-Hop-Retrieval, Selbstreflexion (CRAG / Self-RAG). 3) Fine-Tuning — einsetzen, wenn Prompt Engineering + RAG nicht ausreichen. Einsatzfall: a) domänenspezifischer Stil / Format (Medizin / Recht — spezifische Formulierungsmuster), b) Senkung der Token-Kosten (ein kleineres feinabgestimmtes Modell ersetzt ein größeres allgemeines), c) Aufgaben, die tiefes Spezialwissen erfordern (wo das RAG-Kontextfenster nicht hilft). Modernes Fine-Tuning: LoRA / QLoRA (PEFT) — Training eines kleinen Adapters (~1% der Gewichte), vollständiges Fine-Tuning selten. Stack: Hugging Face Transformers + PEFT + TRL + Unsloth (schneller) + Axolotl (konfigurationsgesteuert). Hardware: 24-GB-GPU (RTX 4090 / A6000) für Modelle mit 7-13B, 80 GB+ (A100/H100) für 70B+. Kostenrealität 2026: Prompt Engineering — Minuten, $0. RAG-Setup — 1-2 Wochen Engineering, $100-1.000/Monat API-Kosten. 4) Kombination: Reale KI-Features in Produktion nutzen typischerweise ALLE drei. Zuerst Prompt Engineering (System-Prompts + Few-Shot-Beispiele) → RAG zur Verankerung → optional LoRA-Fine-Tuning für Stil/Format. 5) Agentische Patterns (im Aufwind 2025–2026) — LLM + Tool Use + mehrstufiges Reasoning. LangGraph / AutoGen / CrewAI / DSPy verwenden. Standard 2026: RAG für 80% der Anwendungsfälle in Produktion + Prompt Engineering fürs Prototyping + LoRA-Fine-Tuning nur, wenn RAG nachweislich nicht reicht + Agenten für komplexe mehrstufige Workflows.

Ja, 34% der Stellen als AI Engineer sind vollständig remote oder hybrid. Die Arbeit eines AI Engineers ist vollständig cloudbasiert (LLM-APIs + Vektordatenbanken + Cloud-GPUs — alles remote zugänglich). Outsourcer (EPAM AI / Luxoft AI / Andersen AI / DataArt AI) — fast immer remote bei US-AI-Projekten. Russische Banken — hybrid/Büro wegen Compliance bei AI-Daten. Internationale Frontier-AI-Labs — vollständig remote als Standard für herausragende Kandidaten. Big Tech AI — Hybrid als Standard. Y-Combinator-AI-Startups — Premium, vollständig remote. Englisch für internationale AI-Remote-Arbeit — Pflicht (Aufschlag +40-60%, und AI-Community / Papers / Dokumentation sind komplett englischsprachig).

Roadmap: 1) Python in der Tiefe + Backend-Grundlagen — async / Typing / FastAPI / pytest. Ohne Backend-Kompetenz ist man kein AI Engineer (nur ein Prompt-Jockey). Buch: „Fluent Python“ von Ramalho. 2) Verständnis der LLM-Grundlagen — Grundlagen der Transformer-Architektur (Attention + Tokenisierung + Decoding-Strategien + Kontextfenster), aber Sie müssen nichts von Grund auf implementieren. Kurs: „Building LLMs from scratch“ von Karpathy auf YouTube (kostenlos — am besten für die Intuition). Buch: „Hands-On Large Language Models“ von Jay Alammar / Maarten Grootendorst (2024 — Pflichtlektüre). 3) OpenAI API beherrschen — Chat Completions + Function Calling + Structured Outputs + Streaming + Assistants. Mindestens 3 echte Apps bauen. Kostenlose Credits + günstiges Experimentieren. 4) Anthropic Claude API beherrschen — am besten für Coding + Anwendungsfälle mit langem Kontext. Tool Use + Prompt Caching + Computer Use (wenn Sie der Weg AI Agent interessiert). 5) LangChain beherrschen — die häufigste Anforderung auf dem Arbeitsmarkt. LCEL (LangChain Expression Language), Chains, Agents, Retrievers, Callbacks. Kurs: „LangChain & Vector Databases in Production“ von DeepLearning.AI (kostenlos). 6) RAG-Architektur in der Tiefe — Document Loaders + Chunking-Strategien (semantisch / fest / rekursiv) + Wahl der Embeddings + Auswahl der Vektordatenbank + Retrieval-Algorithmen + Reranking. Eine produktionsreife RAG-App mit fortgeschrittenen Mustern bauen (hybride Suche + Reranking + HyDE). 7) Vektordatenbanken beherrschen — mindestens eine in der Tiefe (Qdrant — am besten zum Lernen selbst gehostet) + eine verwaltete (Pinecone). Grundlagen der Algorithmen HNSW / IVF / PQ verstehen. 8) Fine-Tuning in der Praxis — LoRA / QLoRA über die Bibliothek PEFT + Unsloth (schneller). Llama 3.x 8B auf Ihrem eigenen Datensatz feinabstimmen. Hardware: Google Colab Pro+ ($50/Monat) oder RunPod / Vast.ai (günstige GPU-Miete). 9) Serving mit vLLM — ein offenes Modell mit vLLM deployen + den Durchsatz benchmarken + mit der OpenAI API vergleichen. 10) Evaluierung beherrschen — RAGAS + DeepEval + eigene Evaluierungssuite. Einen Regressionstest für Prompts bauen. 11) Observability mit LangSmith / Langfuse — eine Produktions-App instrumentieren + Traces analysieren + Engpässe identifizieren. 12) Agenten-Frameworks — Grundlagen von LangGraph + AutoGen + CrewAI + DSPy. Eine Multi-Agenten-Demo bauen (Research-Agent + Schreib-Agent + Kritiker-Agent). 13) Portfolio aus Pet-Projekten: produktionsreifes KI-Feature (z. B. Q&A zu Dokumenten eines offenen Datensatzes) mit RAG + Evaluierung + Observability + Kostenverfolgung. Als Portfolio dokumentieren (GitHub + Blogbeitrag + Demo-Video). Kurse (RU): Karpov.Courses „AI Engineer“ track, Otus „LLM Engineering“, HSE School of AI, School21 (Sber) AI Engineer track. Pflichtlektüre: „AI Engineering“ von Chip Huyen (2024), „Hands-On Large Language Models“ von Alammar / Grootendorst, „Building LLMs for Production“ von Bouchard / Peng. Backend Senior + Interesse an LLMs → AI Engineer Junior — 2-4 Monate (der schnellste Einstieg in die ML-Welt). ML Engineer Senior → AI Engineer Senior — 1-3 Monate. Data Scientist → AI Engineer Middle — 3-6 Monate.

64 active open AI Engineer positions in our sample — a young niche (split off in 2023 after the ChatGPT boom). The real market is much broader — most AI Engineer roles are classified by our matcher as general ML Engineer or Backend (because titles are often "Senior Backend Engineer (AI focus)" or "ML Engineer — LLM"). The true pool of AI-focused dev jobs across CIS + Europe is estimated at 500-2,000 active positions at any moment in 2026 (accounting for fuzzy-classified ones). Geography: the US, Poland, the UK. Time to close a Senior AI Engineer role — 4-10 weeks in Russia, 6-12 weeks international (rare-skill premium). Trend 2026: the AI Engineer pool grows fastest among all IT categories — we see 3-5× year-over-year growth in LLM-mentioning job postings.

Ein Senior AI Engineer verantwortet den gesamten Engineering-Zyklus von LLM-Produkten + Kostenoptimierung + technische Führung. Python in der Tiefe + Backend auf Senior-Niveau: Beherrschung von async / Typing / FastAPI / pytest. Kenntnis offener LLMs: Llama 3.x / Mistral / Qwen 2.5 / DeepSeek V3 + R1 / Phi 3 / Gemma 2 — Abwägungen zwischen Performance / Kosten, wann welches Modell. Beherrschung von LangChain: LCEL in der Tiefe, Callbacks, Agents, Retriever, Erstellen eigener Chains, Debugging über LangSmith. Oder Gleichwertiges in LlamaIndex / Haystack / Semantic Kernel. Beherrschung der RAG-Architektur: fortgeschrittene Muster (hybride Suche BM25 + Vektor, Reranking, HyDE, Query Rewriting, Multi-Hop-Retrieval, Self-Reflection-Muster CRAG / Self-RAG), Chunking-Strategien (semantisch + rekursiv + hierarchisch), Auswahl des Embedding-Modells. Beherrschung von Vektordatenbanken in der Tiefe: eine von Pinecone / Qdrant / Weaviate / Milvus / pgvector in der Tiefe — Index-Tuning, Sharding, Replikation, Umsetzung hybrider Suche. Beherrschung von Fine-Tuning: LoRA / QLoRA über PEFT + Unsloth + Axolotl, Datensatzvorbereitung (Instruction Tuning + DPO-Daten), Auswahl der Hyperparameter, Evaluierungsmethodik. Grundlagen von RLHF / DPO / KTO: TRL-Bibliothek für Preference Optimization. Beherrschung von Serving: vLLM fortgeschritten (PagedAttention + Continuous Batching + Speculative Decoding + KV-Cache-Optimierung), TGI, SGLang. Agentenarchitekturen: Beherrschung von LangGraph + AutoGen + CrewAI + DSPy, Implementierung von MCP (Model Context Protocol), Entwurfsmuster für Tool Use, Orchestrierung mehrerer Agenten. Beherrschung der Evaluierung: RAGAS + DeepEval + Entwurf eigener Evaluierungssuites, LLM-as-Judge-Methodik, Regressionstests für Prompts, A/B-Tests für LLM-Features. Observability + Tracing: Beherrschung von LangSmith + Langfuse + Helicone + Arize Phoenix + Datadog LLM Observability. Beherrschung der Kostenoptimierung: Prompt-Caching-Strategien (nativ + eigenes Redis), Prompt-Kompression (LLMLingua), Model Routing (kleine Modelle für Einfaches / große für Komplexes über OpenRouter / Martian), Batch-API für Nicht-Echtzeit. Typischer Senior-Auftrag: 50-70% Senkung der LLM-API-Kosten. Sicherheit / Guardrails: NeMo Guardrails, Llama Guard, Integration der OpenAI Moderation API, Abwehr von Prompt Injection, Filterung der Ausgaben. Systementwurf für LLM-Produkte: ein RAG-basiertes Produkt für 100M+ Anfragen/Tag am Whiteboard entwerfen, Multi-Region-Überlegungen, Latenzbudgets (Ziel P95 < 2s für Chat). Soft Skills: Verfassen von ADRs für LLM-Architekturentscheidungen, technisches Schreiben (Design-Dokumente für LLM-Features), teamübergreifende Zusammenarbeit (Produkt- / Backend- / DS- / Research-Teams), Mentoring von Middle AI Engineers, Disziplin beim Lesen von Papers (NeurIPS / ICLR / EMNLP — Pflicht zu verfolgen). Englisch ab Senior+ PFLICHT — KI-Community / Dokumentation / Papers / Konferenzen sind komplett englischsprachig. Optionaler Bonus: Open-Source-Beiträge zu LangChain / LlamaIndex / vLLM / Hugging Face — steigern den Marktwert bei der Einstellung in Frontier-KI-Labore deutlich. Präsenz auf Twitter im KI-Bereich (regelmäßige Posts über LLM-Experimente) — wichtig für Einstellungen über Community-Kontakte.