Aller au contenu
Global sound
The Derby Mill Series: Pushing AI to the Limit

The Derby Mill Series: Pushing AI to the Limit

Evaluating AI Models (Ep 34)

· 32 min

Notes d’épisode

The nonprofit AI-progress assessment organization, METR (Model Evaluation and Threat Research) released a graph recently that has become “an industrywide obsession,” according to the New York Times. But are there better ways to track AI progress? Here, the Derby Mill panel weighs in.
METR uses a task-completion time horizon to assess the progress of AI frontier systems. The “time horizon” is the duration that it would take a human expert to complete a set of diverse software development tasks.
METR’s 50% time horizon, then, is the “duration at which an agent is predicted to succeed” at a…

Site web: insights.intrepidgp.com

En direct, dernière heure : 12 405 titres sur 6 058 stations dans 142 pays

Découvrez le monde par la radio

Plus de façons de découvrir (7)

Vous avez entendu quelque chose de bien ? Enregistrez-le, ou ouvrez-le directement dans Spotify.

★ Artiste de la semaine La plus forte progression à la radio cette semaine
Ton titre ici ? À partir de € 9 par semaine →
1940s Radio GBContinuer l’écoute