Buchumschlag

Measuring AI Ability to Complete Long Software Tasks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kwa, Thomas, West, Ben, Becker, Joel, Deng, Amy, Garcia, Katharyn, Hasin, Max, Jawhar, Sami, Kinniment, Megan, Rush, Nate, Von Arx, Sydney, Bloom, Ryan, Broadley, Thomas, Du, Haoxing, Goodrich, Brian, Jurkovic, Nikola, Miles, Luke Harold, Nix, Seraphina, Lin, Tao, Parikh, Neev, Rein, David, Sato, Lucas Jun Koba, Wijk, Hjalmar, Ziegler, Daniel M., Barnes, Elizabeth, Chan, Lawrence
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

HCAST: Human-Calibrated Autonomy Software Tasks
von: Rein, David, et al.
Veröffentlicht: (2025)

RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts
von: Wijk, Hjalmar, et al.
Veröffentlicht: (2024)

Evaluating Language-Model Agents on Realistic Autonomous Tasks
von: Kinniment, Megan, et al.
Veröffentlicht: (2023)

Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
von: Becker, Joel, et al.
Veröffentlicht: (2025)

Learning Markov State Abstractions for Deep Reinforcement Learning
von: Allen, Cameron, et al.
Veröffentlicht: (2021)

An introduction to physical oceanography / by William S. Von Arx
von: Von Arx, William S. (William Stelling), (1916-)
Veröffentlicht: (1916)

Safe Multi-agent Satellite Servicing with Control Barrier Functions
von: Parikh, Deep, et al.
Veröffentlicht: (2025)

Catastrophic Goodhart: regularizing RLHF with KL divergence does not mitigate heavy-tailed reward misspecification
von: Kwa, Thomas, et al.
Veröffentlicht: (2024)

Harvard Undergraduate Survey on Generative AI
von: Hirabayashi, Shikoh, et al.
Veröffentlicht: (2024)

Energetic Variational Approaches for inviscid multiphase flow systems with surface flow and tension
von: Koba, Hajime
Veröffentlicht: (2022)

Global solvability for the heat equations in two half spaces and an interface
von: Koba, Hajime
Veröffentlicht: (2024)

Energetic variational approaches for multiphase flow systems with phase transition
von: Koba, Hajime
Veröffentlicht: (2022)

From spatial to null infinity: Connecting initial data to peeling
von: Schneider, Berend, et al.
Veröffentlicht: (2025)

Unified Treatment of null and Spatial Infinity IV: Angular Momentum at Null and Spatial Infinity
von: Ashtekar, Abhay, et al.
Veröffentlicht: (2023)

Unified Treatment of Null and Spatial Infinity III: Asymptotically Minkowski Space-times
von: Ashtekar, Abhay, et al.
Veröffentlicht: (2023)

Effect of strategy based instruction on achievement test scores in a mixed language ability group of ESP learners
von: Violeta Jurkovič
Veröffentlicht: (2013)

Bibliophilately Revisited.
von: Nix, Larry T.
Veröffentlicht: (2000)

A Study of the Bookmobile Service of the Madison Public Library.
von: Nix, Larry T.
Veröffentlicht: (1981)

Unveiling Voices: A Co-Hashtag Analysis of TikTok Discourse on the 2023 Israel-Palestine Crisis
von: Hasin, Rozin
Veröffentlicht: (2025)

Prosthetics of the Indian State: The e-Shram Portal for Unorganized Workers in India
von: Hasin, Rozin
Veröffentlicht: (2025)

A polynomial Freiman-Ruzsa inverse theorem for function fields
von: Bloom, Thomas F.
Veröffentlicht: (2025)

Control and its applications in additive combinatorics
von: Bloom, Thomas F.
Veröffentlicht: (2025)

Unit fractions with shifted prime denominators
von: Bloom, Thomas F.
Veröffentlicht: (2023)

Convergence of a particle-in-cell scheme for the spherically symmetric Vlasov-Einstein system
von: Rein, Gerhard, et al.
Veröffentlicht: (2002)

Capturing a Moving Target by Two Robots in the F2F Model
von: Jawhar, Khaled, et al.
Veröffentlicht: (2025)

Linear Search for Capturing an Oblivious Mobile Target in the Sender/Receiver Model
von: Jawhar, Khaled, et al.
Veröffentlicht: (2025)

Bike Assisted Evacuation on a Line of Robots with Communication Faults
von: Jawhar, Khaled, et al.
Veröffentlicht: (2023)

Utility of mid‐upper arm circumference in pediatric malnutrition: An Australasian Society of Parenteral and Enteral Nutrition consensus statement using the Delphi method
von: Caitlin Miles, et al.
Veröffentlicht: (2024)

InterpBench: Semi-Synthetic Transformers for Evaluating Mechanistic Interpretability Techniques
von: Gupta, Rohan, et al.
Veröffentlicht: (2024)

State Education Agency Responsibilities and Services for School Library Media Programs.
von: Martin, Nina Nix
Veröffentlicht: (1982)

Addressing Incidental Findings in Neuroimaging Studies: Never Easy, Rarely Rescue
von: Hayden P. Nix
Veröffentlicht: (2026)

Directional Chebyshev Constants on the Boundary
von: Bloom, Thomas, et al.
Veröffentlicht: (2024)

Quadratic Mode Couplings in Rotating Black Holes and Their Detectability
von: Khera, Neev, et al.
Veröffentlicht: (2024)

OP07.03: Clinical significance of left to right uterine venous shunting
von: T. Setty, et al.
Veröffentlicht: (2024)

Odd moments and adding fractions
von: Bloom, Thomas F., et al.
Veröffentlicht: (2023)

Integers with small digits in multiple bases
von: Bloom, Thomas F., et al.
Veröffentlicht: (2025)

The Kelley--Meka bounds for sets free of three-term arithmetic progressions
von: Bloom, Thomas F., et al.
Veröffentlicht: (2023)

Remarks on the inverse Littlewood conjecture
von: Bloom, Thomas F., et al.
Veröffentlicht: (2026)

Mapping classes fixing an isotropic homology class of minimal genus $0$ in rational $4$-manifolds
von: Lee, Seraphina Eun Bi
Veröffentlicht: (2023)

Massive gravity applications for $T\overline{T}$ deformations
von: Nix, Alexia, et al.
Veröffentlicht: (2025)