Buchumschlag

Software Development Life Cycle Perspective: A Survey of Benchmarks for Code Large Language Models and Agents

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Kaixin, Li, Tianlin, Zhang, Xiaoyu, Wang, Chong, Sun, Weisong, Liu, Yang, Liu, Aishan, Liu, Xianglong, Shen, Chao, Shi, Bin
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Software Engineering Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CodeChemist: Functional Knowledge Transfer for Low-Resource Code Generation via Test-Time Scaling
von: Wang, Kaixin, et al.
Veröffentlicht: (2025)

Latent Imitator: Generating Natural Individual Discriminatory Instances for Black-Box Fairness Testing
von: Xiao, Yisong, et al.
Veröffentlicht: (2023)

Knowledge-Guided Multi-Agent Framework for Application-Level Software Code Generation
von: Xiong, Qian, et al.
Veröffentlicht: (2025)

From Context to Intent: Reasoning-Guided Function-Level Code Completion
von: Li, Yanzhou, et al.
Veröffentlicht: (2025)

Teaching Code LLMs to Use Autocompletion Tools in Repository-Level Code Generation
von: Wang, Chong, et al.
Veröffentlicht: (2024)

Exploring the Power of Diffusion Large Language Models for Software Engineering: An Empirical Investigation
von: Zhang, Jingyao, et al.
Veröffentlicht: (2025)

Fairness Mediator: Neutralize Stereotype Associations to Mitigate Bias in Large Language Models
von: Xiao, Yisong, et al.
Veröffentlicht: (2025)

Benchmarking and Revisiting Code Generation Assessment: A Mutation-Based Approach
von: Wang, Longtian, et al.
Veröffentlicht: (2025)

Large Language Model-Based Agents for Software Engineering: A Survey
von: Liu, Junwei, et al.
Veröffentlicht: (2024)

BDefects4NN: A Backdoor Defect Database for Controlled Localization Studies in Neural Networks
von: Xiao, Yisong, et al.
Veröffentlicht: (2024)

Ensemble-Based Uncertainty Estimation for Code Correctness Estimation
von: Wei, Yunxiang, et al.
Veröffentlicht: (2026)

Promptware Engineering: Software Engineering for Prompt-Enabled Systems
von: Chen, Zhenpeng, et al.
Veröffentlicht: (2025)

Investigating Training Data Detection in AI Coders
von: Li, Tianlin, et al.
Veröffentlicht: (2025)

Towards Trustworthy LLMs for Code: A Data-Centric Synergistic Auditing Framework
von: Wang, Chong, et al.
Veröffentlicht: (2024)

Knowledge-Based Multi-Agent Framework for Automated Software Architecture Design
von: Zhang, Yiran, et al.
Veröffentlicht: (2025)

SWE-Cycle: Benchmarking Code Agents across the Complete Issue Resolution Cycle
von: Guan, Hao, et al.
Veröffentlicht: (2026)

Code Digital Twin: Empowering LLMs with Tacit Knowledge for Complex Software Development
von: Peng, Xin, et al.
Veröffentlicht: (2025)

Requirements Development and Formalization for Reliable Code Generation: A Multi-Agent Vision
von: Lu, Xu, et al.
Veröffentlicht: (2025)

REprompt: Prompt Generation for Intelligent Software Development Guided by Requirements Engineering
von: Shi, Junjie, et al.
Veröffentlicht: (2026)

Rethinking Technology Stack Selection with AI Coding Proficiency
von: Zhang, Xiaoyu, et al.
Veröffentlicht: (2025)

Code Digital Twin: A Knowledge Infrastructure for AI-Assisted Complex Software Development
von: Peng, Xin, et al.
Veröffentlicht: (2025)

Code2Bench: Scaling Source and Rigor for Dynamic Benchmark Construction
von: Zhang, Zhe, et al.
Veröffentlicht: (2025)

ComplexCodeEval: A Benchmark for Evaluating Large Code Models on More Complex Code
von: Feng, Jia, et al.
Veröffentlicht: (2024)

An Empirical Study of Bugs in Modern LLM Agent Frameworks
von: Zhu, Xinxue, et al.
Veröffentlicht: (2026)

A Survey on Large Language Models for Software Engineering
von: Zhang, Quanjun, et al.
Veröffentlicht: (2023)

Software Testing with Large Language Models: Survey, Landscape, and Vision
von: Wang, Junjie, et al.
Veröffentlicht: (2023)

QuanBench: Benchmarking Quantum Code Generation with Large Language Models
von: Guo, Xiaoyu, et al.
Veröffentlicht: (2025)

Unveiling the Role of ChatGPT in Software Development: Insights from Developer-ChatGPT Interactions on GitHub
von: Li, Ruiyin, et al.
Veröffentlicht: (2025)

FeedbackEval: A Benchmark for Evaluating Large Language Models in Feedback-Driven Code Repair Tasks
von: Dai, Dekun, et al.
Veröffentlicht: (2025)

Peer Code Review in Research Software Development: The Research Software Engineer Perspective
von: Malik, Md Ariful Islam, et al.
Veröffentlicht: (2025)

Understanding the Effectiveness of Coverage Criteria for Large Language Models: A Special Angle from Jailbreak Attacks
von: Zhou, Shide, et al.
Veröffentlicht: (2024)

TIGER: A Generating-Then-Ranking Framework for Practical Python Type Inference
von: Wang, Chong, et al.
Veröffentlicht: (2024)

A Hierarchical and Evolvable Benchmark for Fine-Grained Code Instruction Following with Multi-Turn Feedback
von: Duan, Guoliang, et al.
Veröffentlicht: (2025)

RealBench: A Repo-Level Code Generation Benchmark Aligned with Real-World Software Development Practices
von: Li, Jia, et al.
Veröffentlicht: (2026)

CodePori: Large-Scale System for Autonomous Software Development Using Multi-Agent Technology
von: Rasheed, Zeeshan, et al.
Veröffentlicht: (2024)

From Code Foundation Models to Agents and Applications: A Comprehensive Survey and Practical Guide to Code Intelligence
von: Yang, Jian, et al.
Veröffentlicht: (2025)

Unifying the Perspectives of NLP and Software Engineering: A Survey on Language Models for Code
von: Zhang, Ziyin, et al.
Veröffentlicht: (2023)

AI IDEs or Autonomous Agents? Measuring the Impact of Coding Agents on Software Development
von: Agarwal, Shyam, et al.
Veröffentlicht: (2026)

CodeCoR: An LLM-Based Self-Reflective Multi-Agent Framework for Code Generation
von: Pan, Ruwei, et al.
Veröffentlicht: (2025)

Empirical Analysis of Vulnerabilities Life Cycle in Golang Ecosystem
von: Hu, Jinchang, et al.
Veröffentlicht: (2023)