Buchumschlag

Are "Solved Issues" in SWE-bench Really Solved Correctly? An Empirical Study

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, You, Pradel, Michael, Liu, Zhongxin
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Software Engineering
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Names Are All You Need: Effective and Safe Regression Test Selection for Python
von: Wang, You, et al.
Veröffentlicht: (2026)

NoCode-bench: A Benchmark for Evaluating Natural Language-Driven Feature Addition
von: Deng, Le, et al.
Veröffentlicht: (2025)

SWE-bench Goes Live!
von: Zhang, Linghao, et al.
Veröffentlicht: (2025)

Investigating Test Overfitting on SWE-bench
von: Ahmed, Toufique, et al.
Veröffentlicht: (2025)

Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving
von: Zan, Daoguang, et al.
Veröffentlicht: (2025)

An Empirical Study on Failures in Automated Issue Solving
von: Liu, Simiao, et al.
Veröffentlicht: (2025)

SWE-bench-java: A GitHub Issue Resolving Benchmark for Java
von: Zan, Daoguang, et al.
Veröffentlicht: (2024)

SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
von: Jimenez, Carlos E., et al.
Veröffentlicht: (2023)

Testora: Using Natural Language Intent to Detect Behavioral Regressions
von: Pradel, Michael
Veröffentlicht: (2025)

SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?
von: Deng, Xiang, et al.
Veröffentlicht: (2025)

HE-SNR: Uncovering Latent Logic via Entropy for Guiding Mid-Training on SWE-bench
von: Wang, Yueyang, et al.
Veröffentlicht: (2026)

SWE-bench Multimodal: Do AI Systems Generalize to Visual Software Domains?
von: Yang, John, et al.
Veröffentlicht: (2024)

Analyzing Prominent LLMs: An Empirical Study of Performance and Complexity in Solving LeetCode Problems
von: Guimaraes, Everton, et al.
Veröffentlicht: (2025)

Exploring the Potential of Conversational Test Suite Based Program Repair on SWE-bench
von: Cheshkov, Anton, et al.
Veröffentlicht: (2024)

Issue2Test: Generating Reproducing Test Cases from Issue Reports
von: Nashid, Noor, et al.
Veröffentlicht: (2025)

SWE-Mirror: Scaling Issue-Resolving Datasets by Mirroring Issues Across Repositories
von: Wang, Junhao, et al.
Veröffentlicht: (2025)

CodeMapper: A Language-Agnostic Approach to Mapping Code Regions Across Commits
von: Hu, Huimin, et al.
Veröffentlicht: (2025)

De-Hallucinator: Mitigating LLM Hallucinations in Code Generation Tasks via Iterative Grounding
von: Eghbali, Aryaz, et al.
Veröffentlicht: (2024)

Artisan: Agentic Artifact Evaluation
von: Baek, Doehyun, et al.
Veröffentlicht: (2026)

Understanding Software Engineering Agents: A Study of Thought-Action-Result Trajectories
von: Bouzenia, Islem, et al.
Veröffentlicht: (2025)

Reproduction Test Generation for Java SWE Issues
von: Ahmed, Toufique, et al.
Veröffentlicht: (2026)

SWE-Cycle: Benchmarking Code Agents across the Complete Issue Resolution Cycle
von: Guan, Hao, et al.
Veröffentlicht: (2026)

Evaluating LLM Agents on Automated Software Analysis Tasks
von: Bouzenia, Islem, et al.
Veröffentlicht: (2026)

RippleGUItester: Change-Aware Exploratory Testing
von: Su, Yanqi, et al.
Veröffentlicht: (2026)

ChangeGuard: Validating Code Changes via Pairwise Learning-Guided Execution
von: Gröninger, Lars, et al.
Veröffentlicht: (2024)

Improving Retrieval-Augmented Code Comment Generation by Retrieving for Generation
von: Lu, Hanzhen, et al.
Veröffentlicht: (2024)

Heterogeneous Prompting and Execution Feedback for SWE Issue Test Generation and Selection
von: Ahmed, Toufique, et al.
Veröffentlicht: (2025)

Can Old Tests Do New Tricks for Resolving SWE Issues?
von: Chen, Yang, et al.
Veröffentlicht: (2025)

Treefix: Enabling Execution with a Tree of Prefixes
von: Souza, Beatriz, et al.
Veröffentlicht: (2025)

You Name It, I Run It: An LLM Agent to Execute Tests of Arbitrary Projects
von: Bouzenia, Islem, et al.
Veröffentlicht: (2024)

AgentStepper: Interactive Debugging of Software Development Agents
von: Hutter, Robert, et al.
Veröffentlicht: (2026)

How Safe Are AI-Generated Patches? A Large-scale Study on Security Risks in LLM and Agentic Automated Program Repair on SWE-bench
von: Sajadi, Amirali, et al.
Veröffentlicht: (2025)

iCoRe: An Iterative Correlation-Aware Retriever for Bug Reproduction Test Generation
von: Wang, Junyi, et al.
Veröffentlicht: (2026)

DyPyBench: A Benchmark of Executable Python Software
von: Bouzenia, Islem, et al.
Veröffentlicht: (2024)

SWE-Bench+: Enhanced Coding Benchmark for LLMs
von: Aleithan, Reem, et al.
Veröffentlicht: (2024)

Automating Zero-Shot Patch Porting for Hard Forks
von: Pan, Shengyi, et al.
Veröffentlicht: (2024)

Agentic Software Issue Resolution with Large Language Models: A Survey
von: Jiang, Zhonghao, et al.
Veröffentlicht: (2025)

Can Large Language Models Solve Path Constraints in Symbolic Execution?
von: Wang, Wenhan, et al.
Veröffentlicht: (2025)

SWE-Bench Mobile: Can Large Language Model Agents Develop Industry-Level Mobile Applications?
von: Tian, Muxin, et al.
Veröffentlicht: (2026)

A Real-World Benchmark for Evaluating Fine-Grained Issue Solving Capabilities of Large Language Models
von: Hu, Ruida, et al.
Veröffentlicht: (2024)