Buchumschlag

SWE-Sharp-Bench: A Reproducible Benchmark for C# Software Engineering Tasks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mhatre, Sanket, Bajpai, Yasharth, Gulwani, Sumit, Murphy-Hill, Emerson, Soares, Gustavo
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Software Engineering
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Why AI Agents Still Need You: Findings from Developer-Agent Collaborations in the Wild
von: Kumar, Aayush, et al.
Veröffentlicht: (2025)

Exploring Interaction Patterns for Debugging: Enhancing Conversational Capabilities of AI-assistants
von: Chopra, Bhavya, et al.
Veröffentlicht: (2024)

TableTalk: Scaffolding Spreadsheet Development with a Language Agent
von: Liang, Jenny T., et al.
Veröffentlicht: (2025)

SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?
von: Deng, Xiang, et al.
Veröffentlicht: (2025)

SWE-Bench+: Enhanced Coding Benchmark for LLMs
von: Aleithan, Reem, et al.
Veröffentlicht: (2024)

Future of Software Engineering Research: The SIGSOFT Perspective
von: Di Penta, Massimiliano, et al.
Veröffentlicht: (2026)

SWE-Next: Scalable Real-World Software Engineering Tasks for Agents
von: Liang, Jiarong, et al.
Veröffentlicht: (2026)

What's in a Benchmark? The Case of SWE-Bench in Automated Program Repair
von: Martinez, Matias, et al.
Veröffentlicht: (2026)

SWE-Hub: A Unified Production System for Scalable, Executable Software Engineering Tasks
von: Zeng, Yucheng, et al.
Veröffentlicht: (2026)

SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?
von: Han, Tingxu, et al.
Veröffentlicht: (2026)

SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineering Tasks
von: Adamenko, Pavel, et al.
Veröffentlicht: (2025)

SWE-Bench++: A Framework for the Scalable Generation of Software Engineering Benchmarks from Open-Source Repositories
von: Wang, Lilin, et al.
Veröffentlicht: (2025)

SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents
von: Badertdinov, Ibragim, et al.
Veröffentlicht: (2025)

SWE Context Bench: A Benchmark for Context Learning in Coding
von: Zhu, Jiayuan, et al.
Veröffentlicht: (2026)

ArchBench: Benchmarking Generative-AI for Software Architecture Tasks
von: Adnan, Bassam, et al.
Veröffentlicht: (2026)

Training Software Engineering Agents and Verifiers with SWE-Gym
von: Pan, Jiayi, et al.
Veröffentlicht: (2024)

TOM-SWE: User Mental Modeling For Software Engineering Agents
von: Zhou, Xuhui, et al.
Veröffentlicht: (2025)

Saving SWE-Bench: A Benchmark Mutation Approach for Realistic Agent Evaluation
von: Garg, Spandan, et al.
Veröffentlicht: (2025)

From SWE-ZERO to SWE-HERO: Execution-free to Execution-based Fine-tuning for Software Engineering Agents
von: Ludwig, Nikolai, et al.
Veröffentlicht: (2026)

SWE-Arena: An Interactive Platform for Evaluating Foundation Models in Software Engineering
von: Zhao, Zhimin
Veröffentlicht: (2025)

SWE-World: Building Software Engineering Agents in Docker-Free Environments
von: Sun, Shuang, et al.
Veröffentlicht: (2026)

SWE-smith: Scaling Data for Software Engineering Agents
von: Yang, John, et al.
Veröffentlicht: (2025)

SWE-WebDevBench: Evaluating Coding Agent Application Platforms as Virtual Software Agencies
von: Saxena, Siddhant, et al.
Veröffentlicht: (2026)

Does SWE-Bench-Verified Test Agent Ability or Model Memory?
von: Prathifkumar, Thanosan, et al.
Veröffentlicht: (2025)

SWE-Master: Unleashing the Potential of Software Engineering Agents via Post-Training
von: Song, Huatong, et al.
Veröffentlicht: (2026)

Assessing and Advancing Benchmarks for Evaluating Large Language Models in Software Engineering Tasks
von: Hu, Xing, et al.
Veröffentlicht: (2025)

Continuous Analysis: Evolution of Software Engineering and Reproducibility for Science
von: Malladi, Venkat S., et al.
Veröffentlicht: (2024)

DyPyBench: A Benchmark of Executable Python Software
von: Bouzenia, Islem, et al.
Veröffentlicht: (2024)

SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale
von: Badertdinov, Ibragim, et al.
Veröffentlicht: (2026)

Cloud-OpsBench: A Reproducible Benchmark for Agentic Root Cause Analysis in Cloud Systems
von: Wang, Yilun, et al.
Veröffentlicht: (2026)

SWE-PolyBench: A multi-language benchmark for repository level evaluation of coding agents
von: Rashid, Muhammad Shihab, et al.
Veröffentlicht: (2025)

SWE-Replay: Efficient Test-Time Scaling for Software Engineering Agents
von: Ding, Yifeng, et al.
Veröffentlicht: (2026)

Large Language Models for Software Engineering: A Reproducibility Crisis
von: Siddiq, Mohammed Latif, et al.
Veröffentlicht: (2025)

Reward Engineering for Reinforcement Learning in Software Tasks
von: Masud, Md Rayhanul, et al.
Veröffentlicht: (2026)

GSO: Challenging Software Optimization Tasks for Evaluating SWE-Agents
von: Shetty, Manish, et al.
Veröffentlicht: (2025)

SELU: A Software Engineering Language Understanding Benchmark
von: Peña, Fabian C., et al.
Veröffentlicht: (2025)

Satori-SWE: Evolutionary Test-Time Scaling for Sample-Efficient Software Engineering
von: Zeng, Guangtao, et al.
Veröffentlicht: (2025)

SPICE: An Automated SWE-Bench Labeling Pipeline for Issue Clarity, Test Coverage, and Effort Estimation
von: Oliva, Gustavo A., et al.
Veröffentlicht: (2025)

Reproducible, Explainable, and Effective Evaluations of Agentic AI for Software Engineering
von: Li, Jingyue, et al.
Veröffentlicht: (2026)

SWE-Bench Mobile: Can Large Language Model Agents Develop Industry-Level Mobile Applications?
von: Tian, Muxin, et al.
Veröffentlicht: (2026)