Używamy techniczne pliki cookie i zanonimizowany dziennik wizyt Zorky. Yandex Metrica (dane są przechowywane na serwerach w Rosji) działa tylko za Twoją zgodą. Nigdy nie sprzedajemy danych. Więcej o cookies i statystykach.
Zorky działa w trybie testowym — wszystko jest bezpłatne. Oferty i strony firm są dostępne dla wszystkich; linki do ogłoszeń i osobiste zestawienie ofert — po rejestracji. Zarejestruj się →
← Wszystkie oferty

Staff Technical Product Manager, Evals

Principalremote~$22.9K /moRemote: United States; UTC-10 to UTC-5, US3 tydz. temu
Analityka rynku
📊 Product: wynagrodzenia i popyt na rynku
Stack
awscdkclickhouseclouddockerdrizzlereactredistailwindterraformtypescript
Pokaż firmę i link
Bezpłatnie, po zalogowaniu.
Aplikuj
Prześlij CV — pracodawcy i rekruterzy z różnych krajów, którzy szukają takiego profilu, będą mogli napisać do Ciebie bezpośrednio.
Wyślij CV →
Opis
What are we looking for?

[…] is looking for a senior or staff level product manager to own evals for our AI coding agent

What will you do?
  • Your #1 and only goal is to make […] ' AI coding agent cheaper, faster, and more accurate (our pareto frontier)
  • You will own […] Bench, our offline eval set
  • You will own […] online evals
  • You will leverage our 500k+ users, 1M+ code repos, and millions of chat threads to guide your eval creation
  • You will anonymize data to protect our customer's privacy
What skills do we expect you to have?

We expect candidates to be incredibly strong across all of the following areas:

Software fundamentals : You are building an AI coding agent. We expect you to be technical and able to code. We expect you to have a decent understanding of system design, architecture, data modeling, and API design. In saying this, you will work with an engineering counterpart to work on complex implementation

Evals . You have explicitly created and/or managed technical evals before. You should be able to work across a variety of different eval methodologies and deeply understand optimal reward modeling,

Product sense : strong intuition for the goals customers are trying to achieve and novel solutions to help them achieve them

Design sense: Track record of building simple, delightful UX/UI that makes it easy for customers to achieve their goals

AI context and harness engineering : strong experience with the most up to date context and harness

Firma — po zalogowaniu. Zaloguj się
Źródło: HimalayasZobacz na Himalayas →
Kontakty pracodawcy (e-mail/telefon/Telegram) są ukryte w publicznym podglądzie. Wyślij CV — a pracodawcy będą mogli napisać do Ciebie sami.
Zgłoś tę ofertę
Pilne pytanie? Napisz @termdocs