Buchumschlag

DevBench: A Realistic, Developer-Informed Benchmark for Code Generation Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kumarappan, Adarsh, Golnari, Pareesa Ameneh, Wen, Wen, Liu, Xiaoyu, Ryan, Gabriel, Sun, Yuting, Fu, Shengyu, Nallipogu, Elsie
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence Software Engineering
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Sphinx: Benchmarking and Modeling for LLM-Driven Pull Request Review
von: Zhang, Daoan, et al.
Veröffentlicht: (2026)

ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development
von: Lu, Pengrui, et al.
Veröffentlicht: (2026)

DSCodeBench: A Realistic Benchmark for Data Science Code Generation
von: Ouyang, Shuyin, et al.
Veröffentlicht: (2025)

MobileDev-Bench: A Benchmark for Issue Resolution in Mobile Application Development
von: Fakorede, Moshood A., et al.
Veröffentlicht: (2026)

DevOps Automation Pipeline Deployment with IaC (Infrastructure as Code)
von: Saxena, Adarsh, et al.
Veröffentlicht: (2025)

QuanBench: Benchmarking Quantum Code Generation with Large Language Models
von: Guo, Xiaoyu, et al.
Veröffentlicht: (2025)

Lita: Light Agent Uncovers the Agentic Coding Capabilities of LLMs
von: Dai, Hankun, et al.
Veröffentlicht: (2025)

Skeleton-Guided-Translation: A Benchmarking Framework for Code Repository Translation with Fine-Grained Quality Evaluation
von: Zhang, Xing, et al.
Veröffentlicht: (2025)

SimpleDevQA: Benchmarking Large Language Models on Development Knowledge QA
von: Zhang, Jing, et al.
Veröffentlicht: (2025)

SWE-WebDevBench: Evaluating Coding Agent Application Platforms as Virtual Software Agencies
von: Saxena, Siddhant, et al.
Veröffentlicht: (2026)

Embedded DevOps: A Survey on the Application of DevOps Practices in Embedded Software and Firmware Development
von: Katapara, Parthiv, et al.
Veröffentlicht: (2025)

SemRep: Generative Code Representation Learning with Code Transformations
von: Li, Weichen, et al.
Veröffentlicht: (2026)

Delulu: A Verified Multi-Lingual Benchmark for Code Hallucination Detection in Fill-in-the-Middle Tasks
von: Erfanian, Mahdi, et al.
Veröffentlicht: (2026)

SWE-Bench+: Enhanced Coding Benchmark for LLMs
von: Aleithan, Reem, et al.
Veröffentlicht: (2024)

GameDevBench: Evaluating Agentic Capabilities Through Game Development
von: Chi, Wayne, et al.
Veröffentlicht: (2026)

DevGPT: Studying Developer-ChatGPT Conversations
von: Xiao, Tao, et al.
Veröffentlicht: (2023)

DevEval: A Manually-Annotated Code Generation Benchmark Aligned with Real-World Code Repositories
von: Li, Jia, et al.
Veröffentlicht: (2024)

EvoCodeBench: A Human-Performance Benchmark for Self-Evolving LLM-Driven Coding Systems
von: Zhang, Wentao, et al.
Veröffentlicht: (2026)

FeatureBench: Benchmarking Agentic Coding for Complex Feature Development
von: Zhou, Qixing, et al.
Veröffentlicht: (2026)

Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces
von: Merrill, Mike A., et al.
Veröffentlicht: (2026)

Towards a Science of Developer eXperience (DevX)
von: Combemale, Benoit
Veröffentlicht: (2025)

Low-Code Paradox in DevOps: Security and Governance Insights from Practitioners
von: Akbar, Muhammad Azeem, et al.
Veröffentlicht: (2026)

RubberDuckBench: A Benchmark for AI Coding Assistants
von: Mohammed, Ferida, et al.
Veröffentlicht: (2026)

iReDev: A Knowledge-Driven Multi-Agent Framework for Intelligent Requirements Development
von: Jin, Dongming, et al.
Veröffentlicht: (2025)

RealBench: A Repo-Level Code Generation Benchmark Aligned with Real-World Software Development Practices
von: Li, Jia, et al.
Veröffentlicht: (2026)

DI-BENCH: Benchmarking Large Language Models on Dependency Inference with Testable Repositories at Scale
von: Zhang, Linghao, et al.
Veröffentlicht: (2025)

FEA-Bench: A Benchmark for Evaluating Repository-Level Code Generation for Feature Implementation
von: Li, Wei, et al.
Veröffentlicht: (2025)

Deployability-Centric Infrastructure-as-Code Generation: Fail, Learn, Refine, and Succeed through LLM-Empowered DevOps Simulation
von: Zhang, Tianyi, et al.
Veröffentlicht: (2025)

Saving SWE-Bench: A Benchmark Mutation Approach for Realistic Agent Evaluation
von: Garg, Spandan, et al.
Veröffentlicht: (2025)

ML-Dev-Bench: Comparative Analysis of AI Agents on ML development workflows
von: Padigela, Harshith, et al.
Veröffentlicht: (2025)

AutoDev: Automated AI-Driven Development
von: Tufano, Michele, et al.
Veröffentlicht: (2024)

The road to Sustainable DevOps
von: Herati, Darwish Ahmad, et al.
Veröffentlicht: (2025)

DevOps-Gym: Benchmarking AI Agents in Software DevOps Cycle
von: Tang, Yuheng, et al.
Veröffentlicht: (2026)

HumanEvo: An Evolution-aware Benchmark for More Realistic Evaluation of Repository-level Code Generation
von: Zheng, Dewu, et al.
Veröffentlicht: (2024)

Bridging Design and Development with Automated Declarative UI Code Generation
von: Zhou, Ting, et al.
Veröffentlicht: (2024)

MigrationBench: Repository-Level Code Migration Benchmark from Java 8
von: Liu, Linbo, et al.
Veröffentlicht: (2025)

OSS-Bench: Benchmark Generator for Coding LLMs
von: Jiang, Yuancheng, et al.
Veröffentlicht: (2025)

SimdBench: Benchmarking Large Language Models for SIMD-Intrinsic Code Generation
von: He, Yibo, et al.
Veröffentlicht: (2025)

Code2Bench: Scaling Source and Rigor for Dynamic Benchmark Construction
von: Zhang, Zhe, et al.
Veröffentlicht: (2025)

DevMuT: Testing Deep Learning Framework via Developer Expertise-Based Mutation
von: Mu, Yanzhou, et al.
Veröffentlicht: (2025)