Blick in die Blackbox: Tracing-Architekturen für Generative KI (m/w/d)

Was du bei uns bewegst KI-Agenten und LLM-Anwendungen laufen inzwischen im echten Betrieb. Was zwischen Prompt und Antwort passiert, bleibt aber oft unsichtbar. Klassisches Monitoring zeigt Latenz und Fehlerraten, aber nicht, warum sich ein KI-System so verhalten hat.

Für dieses Problem gibt es gerade viele Lösungen: spezialisierte Plattformen wie MLflow, Arize oder Langfuse, eigene Ansätze der großen Cloud-Anbieter und den offenen Standard OpenTelemetry. Alles entwickelt sich schnell und ist oft noch nicht ausgereift. Im Mittelpunkt deiner Arbeit steht OpenTelemetry: Der Standard entwickelt sich gerade aktiv weiter und wird von immer mehr Anbietern unterstützt.

Andere Ansätze ziehst du zum Vergleich heran. Genau hier setzt du an, ganz vorne bei einem Thema, das sich gerade erst formt.

• Deine Aufgaben: Du verschaffst dir einen Überblick über aktuelle Ansätze für Tracing und Observability bei Generativer KI.
• Du erarbeitest Referenzarchitekturen und wägst sie gegeneinander ab.
• Du beurteilst, wie ausgereift die Ansätze heute sind: Was funktioniert schon gut, und wo gibt es noch offene Fragen?
• Du baust einen praktischen Demonstrator, an dem du deine Ergebnisse testest und belegst.

• Du bekommst Einblicke in: Distributed Tracing und Observability
• LLM- und Agent-Frameworks
• aktuelle Tools und Plattformen rund um KI im Betrieb

Und vor allem siehst du, wie man KI-Systeme nachvollziehbar und vertrauenswürdig macht. Deine Werkzeuge für den M&M Alltag Das passt zu dir, wenn … Du studier