Buchumschlag

SWE-Effi: Re-Evaluating Software AI Agent System Effectiveness Under Resource Constraints

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Fan, Zhiyu, Vasilevski, Kirill, Lin, Dayi, Chen, Boyuan, Chen, Yihao, Zhong, Zhiqing, Zhang, Jie M., He, Pinjia, Hassan, Ahmed E.
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Software Engineering Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Watson: A Cognitive Observability Framework for the Reasoning of LLM-Powered Agents
von: Rombaut, Benjamin, et al.
Veröffentlicht: (2024)

SPICE: An Automated SWE-Bench Labeling Pipeline for Issue Clarity, Test Coverage, and Effort Estimation
von: Oliva, Gustavo A., et al.
Veröffentlicht: (2025)

RepoForge: Training a SOTA Fast-thinking SWE Agent with an End-to-End Data Curation Pipeline Synergizing SFT and RL at Scale
von: Chen, Zhilong, et al.
Veröffentlicht: (2025)

Rethinking Software Engineering in the Foundation Model Era: From Task-Driven AI Copilots to Goal-Driven AI Pair Programmers
von: Hassan, Ahmed E., et al.
Veröffentlicht: (2024)

Towards AI-Native Software Engineering (SE 3.0): A Vision and a Challenge Roadmap
von: Hassan, Ahmed E., et al.
Veröffentlicht: (2024)

Real-time Adapting Routing (RAR): Improving Efficiency Through Continuous Learning in Software Powered by Layered Foundation Models
von: Vasilevski, Kirill, et al.
Veröffentlicht: (2024)

UTBoost: Rigorous Evaluation of Coding Agents on SWE-Bench
von: Yu, Boxi, et al.
Veröffentlicht: (2025)

BackportBench: A Multilingual Benchmark for Automated Backporting of Patches
von: Zhong, Zhiqing, et al.
Veröffentlicht: (2025)

SWE-Next: Scalable Real-World Software Engineering Tasks for Agents
von: Liang, Jiarong, et al.
Veröffentlicht: (2026)

SWE-Manager: Selecting and Synthesizing Golden Proposals Before Coding
von: Tan, Boyin, et al.
Veröffentlicht: (2026)

TOM-SWE: User Mental Modeling For Software Engineering Agents
von: Zhou, Xuhui, et al.
Veröffentlicht: (2025)

SLA-Awareness for AI-assisted coding
von: Thangarajah, Kishanthan, et al.
Veröffentlicht: (2025)

The Hitchhikers Guide to Production-ready Trustworthy Foundation Model powered Software (FMware)
von: Vasilevski, Kirill, et al.
Veröffentlicht: (2025)

Context-Aware CodeLLM Eviction for AI-assisted Coding
von: Thangarajah, Kishanthan, et al.
Veröffentlicht: (2025)

Toward Training Superintelligent Software Agents through Self-Play SWE-RL
von: Wei, Yuxiang, et al.
Veröffentlicht: (2025)

Engineering AI Judge Systems
von: Lin, Jiahuei, et al.
Veröffentlicht: (2024)

Data Quality Antipatterns for Software Analytics
von: Bhatia, Aaditya, et al.
Veröffentlicht: (2024)

Training Software Engineering Agents and Verifiers with SWE-Gym
von: Pan, Jiayi, et al.
Veröffentlicht: (2024)

SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?
von: Deng, Xiang, et al.
Veröffentlicht: (2025)

SWE-Master: Unleashing the Potential of Software Engineering Agents via Post-Training
von: Song, Huatong, et al.
Veröffentlicht: (2026)

SWE-World: Building Software Engineering Agents in Docker-Free Environments
von: Sun, Shuang, et al.
Veröffentlicht: (2026)

An Empirical Study on Package-Level Deprecation in Python Ecosystem
von: Zhong, Zhiqing, et al.
Veröffentlicht: (2024)

SynConfRoute: Syntax-Aware Routing for Efficient Code Completion with Small CodeLLMs
von: Thangarajah, Kishanthan, et al.
Veröffentlicht: (2026)

Software Performance Engineering for Foundation Model-Powered Software
von: Zhang, Haoxiang, et al.
Veröffentlicht: (2024)

From SWE-ZERO to SWE-HERO: Execution-free to Execution-based Fine-tuning for Software Engineering Agents
von: Ludwig, Nikolai, et al.
Veröffentlicht: (2026)

Agentic Software Engineering: Foundational Pillars and a Research Roadmap
von: Hassan, Ahmed E., et al.
Veröffentlicht: (2025)

SWE-smith: Scaling Data for Software Engineering Agents
von: Yang, John, et al.
Veröffentlicht: (2025)

EffiSkill: Agent Skill Based Automated Code Efficiency Optimization
von: Wang, Zimu, et al.
Veröffentlicht: (2026)

SWE-ABS: Adversarial Benchmark Strengthening Exposes Inflated Success Rates on Test-based Benchmark
von: Yu, Boxi, et al.
Veröffentlicht: (2026)

SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?
von: Han, Tingxu, et al.
Veröffentlicht: (2026)

Scalable Supervising Software Agents with Patch Reasoner
von: Xu, Junjielong, et al.
Veröffentlicht: (2025)

Towards Conversational Development Environments: Using Theory-of-Mind and Multi-Agent Architectures for Requirements Refinement
von: Gallaba, Keheliya, et al.
Veröffentlicht: (2025)

When Elo Lies: Hidden Biases in Codeforces-Based Evaluation of Large Language Models
von: Zheng, Shenyu, et al.
Veröffentlicht: (2026)

SWE-Exp: Experience-Driven Software Issue Resolution
von: Chen, Silin, et al.
Veröffentlicht: (2025)

Can Old Tests Do New Tricks for Resolving SWE Issues?
von: Chen, Yang, et al.
Veröffentlicht: (2025)

SWE-Fuse: Empowering Software Agents via Issue-free Trajectory Learning and Entropy-aware RLVR Training
von: Wen, Xin-Cheng, et al.
Veröffentlicht: (2026)

SWE-Debate: Competitive Multi-Agent Debate for Software Issue Resolution
von: Li, Han, et al.
Veröffentlicht: (2025)

SWE-Replay: Efficient Test-Time Scaling for Software Engineering Agents
von: Ding, Yifeng, et al.
Veröffentlicht: (2026)

SWE-TRACE: Optimizing Long-Horizon SWE Agents Through Rubric Process Reward Models and Heuristic Test-Time Scaling
von: Han, Hao, et al.
Veröffentlicht: (2026)

GSO: Challenging Software Optimization Tasks for Evaluating SWE-Agents
von: Shetty, Manish, et al.
Veröffentlicht: (2025)