Buchumschlag

RefactorBench: Evaluating Stateful Reasoning in Language Agents Through Code

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gautam, Dhruv, Garg, Spandan, Jang, Jinu, Sundaresan, Neel, Moghaddam, Roshanak Zilouchian
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Artificial Intelligence Computation and Language Machine Learning Software Engineering I.2.5
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

PerfBench: Can Agents Resolve Real-World Performance Bugs?
von: Garg, Spandan, et al.
Veröffentlicht: (2025)

RAPGen: An Approach for Fixing Code Inefficiencies in Zero-Shot
von: Garg, Spandan, et al.
Veröffentlicht: (2023)

The SWE-Bench Illusion: When State-of-the-Art LLMs Remember Instead of Reason
von: Liang, Shanchao, et al.
Veröffentlicht: (2025)

SetupBench: Assessing Software Engineering Agents' Ability to Bootstrap Development Environments
von: Arora, Avi, et al.
Veröffentlicht: (2025)

AutoDev: Automated AI-Driven Development
von: Tufano, Michele, et al.
Veröffentlicht: (2024)

Copilot Evaluation Harness: Evaluating LLM-Guided Software Programming
von: Agarwal, Anisha, et al.
Veröffentlicht: (2024)

FaultLine: Automated Proof-of-Vulnerability Generation Using LLM Agents
von: Nitin, Vikram, et al.
Veröffentlicht: (2025)

CodeEvolve: LLM-Driven Evolutionary Optimization with Runtime-Enriched Target Selection for Multi-Language Code Enhancement
von: Borra, Ajay Krishna, et al.
Veröffentlicht: (2026)

AuditRepairBench: A Paired-Execution Trace Corpus for Evaluator-Channel Ranking Instability in Agent Repair
von: Hu, Yuelin, et al.
Veröffentlicht: (2026)

Saving SWE-Bench: A Benchmark Mutation Approach for Realistic Agent Evaluation
von: Garg, Spandan, et al.
Veröffentlicht: (2025)

SpecOps: A Fully Automated AI Agent Testing Framework in Real-World GUI Environments
von: Ahmed, Syed Yusuf, et al.
Veröffentlicht: (2026)

CIFE: Code Instruction-Following Evaluation
von: Gunnu, Sravani, et al.
Veröffentlicht: (2025)

CodeTracer: Towards Traceable Agent States
von: Li, Han, et al.
Veröffentlicht: (2026)

Review Beats Planning: Dual-Model Interaction Patterns for Code Synthesis
von: Miller, Jan
Veröffentlicht: (2026)

Debug2Fix: Can Interactive Debugging Help Coding Agents Fix More Bugs?
von: Garg, Spandan, et al.
Veröffentlicht: (2026)

UTBoost: Rigorous Evaluation of Coding Agents on SWE-Bench
von: Yu, Boxi, et al.
Veröffentlicht: (2025)

RepoLaunch: Automating Build&Test Pipeline of Code Repositories on ANY Language and ANY Platform
von: Li, Kenan, et al.
Veröffentlicht: (2026)

Runtime Execution Traces Guided Automated Program Repair with Multi-Agent Debate
von: Wu, Jiaqing, et al.
Veröffentlicht: (2026)

RelRepair: Enhancing Automated Program Repair by Retrieving Relevant Code
von: Liu, Shunyu, et al.
Veröffentlicht: (2025)

The Right Prompts for the Job: Repair Code-Review Defects with Large Language Model
von: Zhao, Zelin, et al.
Veröffentlicht: (2023)

SmellBench: Evaluating LLM Agents on Architectural Code Smell Repair
von: Dinu, Ion George, et al.
Veröffentlicht: (2026)

Multi-Agent Code Verification via Information Theory
von: Rajan, Shreshth
Veröffentlicht: (2025)

AutoBridge: Automating Smart Device Integration with Centralized Platform
von: Liu, Siyuan, et al.
Veröffentlicht: (2025)

Position: Vibe Coding Needs Vibe Reasoning: Improving Vibe Coding with Formal Verification
von: Mitchell, Jacqueline, et al.
Veröffentlicht: (2025)

ORACLE-SWE: Quantifying the Contribution of Oracle Information Signals on SWE Agents
von: Li, Kenan, et al.
Veröffentlicht: (2026)

Closing the Gap: A User Study on the Real-world Usefulness of AI-powered Vulnerability Detection & Repair in the IDE
von: Steenhoek, Benjamin, et al.
Veröffentlicht: (2024)

AgentAssay: Token-Efficient Regression Testing for Non-Deterministic AI Agent Workflows
von: Bhardwaj, Varun Pratap
Veröffentlicht: (2026)

Enhancing Differential Testing With LLMs For Testing Deep Learning Libraries
von: Li, Meiziniu, et al.
Veröffentlicht: (2024)

Demystifying the Silence of Correctness Bugs in PyTorch Compiler
von: Li, Meiziniu, et al.
Veröffentlicht: (2026)

COMET: Coverage-guided Model Generation For Deep Learning Library Testing
von: Li, Meiziniu, et al.
Veröffentlicht: (2022)

"Refactoring Runaway": Understanding and Mitigating Tangled Refactorings in Coding Agents for Issue Resolution
von: Tian, Zhao, et al.
Veröffentlicht: (2026)

Reasoning Provenance for Autonomous AI Agents: Structured Behavioral Analytics Beyond State Checkpoints and Execution Traces
von: Vispute, Neelmani, et al.
Veröffentlicht: (2026)

AdvFusion: Adapter-based Knowledge Transfer for Code Summarization on Code Language Models
von: Saberi, Iman, et al.
Veröffentlicht: (2023)

Understanding and Detecting Flaky Builds in GitHub Actions
von: Ge, Wenhao, et al.
Veröffentlicht: (2026)

CUJBench: Benchmarking LLM-Agent on Cross-Modal Failure Diagnosis from Browser to Backend
von: Meng, Haoming
Veröffentlicht: (2026)

AgentModernize: Preserving Business Logic in Legacy Modernization with Multi-Agent LLMs and Behavioral Specification Graphs
von: Ahmed, Sheikh Nazib, et al.
Veröffentlicht: (2026)

RMCBench: Benchmarking Large Language Models' Resistance to Malicious Code
von: Chen, Jiachi, et al.
Veröffentlicht: (2024)

Mining Subscenario Refactoring Opportunities in Behaviour-Driven Software Test Suites: ML Classifiers and LLM-Judge Baselines
von: Mughal, Ali Hassaan, et al.
Veröffentlicht: (2026)

The Specification as Quality Gate: Three Hypotheses on AI-Assisted Code Review
von: Zietsman, Christo
Veröffentlicht: (2026)

DeepCodeProbe: Towards Understanding What Models Trained on Code Learn
von: Majdinasab, Vahid, et al.
Veröffentlicht: (2024)