Buchumschlag

HumanEvalComm: Benchmarking the Communication Competence of Code Generation for LLMs and LLM Agent

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wu, Jie JW, Fard, Fatemeh H
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Software Engineering
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Survey on LLM-based Code Generation for Low-Resource and Domain-Specific Programming Languages
von: Joel, Sathvik, et al.
Veröffentlicht: (2024)

MergeRepair: An Exploratory Study on Merging Task-Specific Adapters in Code LLMs for Automated Program Repair
von: Dehghan, Meghdad, et al.
Veröffentlicht: (2024)

MANTRA: a Framework for Multi-stage Adaptive Noise TReAtment During Training
von: Zhao, Zixiao, et al.
Veröffentlicht: (2025)

GrowthHacker: Automated Off-Policy Evaluation Optimization Using Code-Modifying LLM Agents
von: Wu, Jie JW, et al.
Veröffentlicht: (2025)

Can Code Language Models Learn Clarification-Seeking Behaviors?
von: Wu, Jie JW, et al.
Veröffentlicht: (2025)

Large Language Models Should Ask Clarifying Questions to Increase Confidence in Generated Code
von: Wu, Jie JW
Veröffentlicht: (2023)

An Exploratory Study of V-Model in Building ML-Enabled Software: A Systems Engineering Perspective
von: Wu, Jie JW
Veröffentlicht: (2023)

AutoOffAB: Toward Automated Offline A/B Testing for Data-Driven Requirement Engineering
von: Wu, Jie JW
Veröffentlicht: (2023)

Context-Augmented Code Generation Using Programming Knowledge Graphs
von: Saberi, Iman, et al.
Veröffentlicht: (2024)

Investigating the Efficacy of Large Language Models for Code Clone Detection
von: Khajezade, Mohamad, et al.
Veröffentlicht: (2024)

ClarEval: A Benchmark for Evaluating Clarification Skills of Code Agents under Ambiguous Instructions
von: Li, Jialin, et al.
Veröffentlicht: (2026)

Do Current Language Models Support Code Intelligence for R Programming Language?
von: Zhao, ZiXiao, et al.
Veröffentlicht: (2024)

Isolating Language-Coding from Problem-Solving: Benchmarking LLMs with PseudoEval
von: Wu, Jiarong, et al.
Veröffentlicht: (2025)

Studying Vulnerable Code Entities in R
von: Zhao, Zixiao, et al.
Veröffentlicht: (2024)

StackEval: Benchmarking LLMs in Coding Assistance
von: Shah, Nidhish, et al.
Veröffentlicht: (2024)

Empirical Studies of Parameter Efficient Methods for Large Language Models of Code and Knowledge Transfer to R
von: Esmaeili, Amirreza, et al.
Veröffentlicht: (2024)

CoderEval: A Benchmark of Pragmatic Code Generation with Generative Pre-trained Models
von: Yu, Hao, et al.
Veröffentlicht: (2023)

SR-Eval: Evaluating LLMs on Code Generation under Stepwise Requirement Refinement
von: Zhan, Zexun, et al.
Veröffentlicht: (2025)

Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering
von: Zhao, Zixiao, et al.
Veröffentlicht: (2026)

ProjectEval: A Benchmark for Programming Agents Automated Evaluation on Project-Level Code Generation
von: Liu, Kaiyuan, et al.
Veröffentlicht: (2025)

SolContractEval: A Benchmark for Evaluating Contract-Level Solidity Code Generation
von: Ye, Zhifan, et al.
Veröffentlicht: (2025)

SolEval: Benchmarking Large Language Models for Repository-level Solidity Code Generation
von: Peng, Zhiyuan, et al.
Veröffentlicht: (2025)

CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Benchmarking on HumanEval-X
von: Zheng, Qinkai, et al.
Veröffentlicht: (2023)

ComplexCodeEval: A Benchmark for Evaluating Large Code Models on More Complex Code
von: Feng, Jia, et al.
Veröffentlicht: (2024)

ArkEval: Benchmarking and Evaluating Automated CodeRepair for ArkTS
von: Xie, Bang, et al.
Veröffentlicht: (2026)

ScenEval: A Benchmark for Scenario-Based Evaluation of Code Generation
von: Paul, Debalina Ghosh, et al.
Veröffentlicht: (2024)

ARISE: A Repository-level Graph Representation and Toolset for Agentic Fault Localization and Program Repair
von: Seddik, Shahd, et al.
Veröffentlicht: (2026)

Context-Augmented Code Generation Using Programming Knowledge Graphs
von: Seddik, Shahd, et al.
Veröffentlicht: (2026)

CodeFuse-CommitEval: Towards Benchmarking LLM's Power on Commit Message and Code Change Inconsistency Detection
von: Zhang, Qingyu, et al.
Veröffentlicht: (2025)

Standing on the Shoulders of Giants: Stabilized Knowledge Distillation for Cross--Language Code Clone Detection
von: Khajezade, Mohamad, et al.
Veröffentlicht: (2026)

LibEvolutionEval: A Benchmark and Study for Version-Specific Code Generation
von: Kuhar, Sachit, et al.
Veröffentlicht: (2024)

HumanEval-XL: A Multilingual Code Generation Benchmark for Cross-lingual Natural Language Generalization
von: Peng, Qiwei, et al.
Veröffentlicht: (2024)

DependEval: Benchmarking LLMs for Repository Dependency Understanding
von: Du, Junjia, et al.
Veröffentlicht: (2025)

DevEval: A Manually-Annotated Code Generation Benchmark Aligned with Real-World Code Repositories
von: Li, Jia, et al.
Veröffentlicht: (2024)

CentaurEval: Benchmarking Human-in-the-Loop Value in Agentic Coding
von: Luo, Hanjun, et al.
Veröffentlicht: (2025)

SecVulEval: Benchmarking LLMs for Real-World C/C++ Vulnerability Detection
von: Ahmed, Md Basim Uddin, et al.
Veröffentlicht: (2025)

Automatic Generation of Benchmarks and Reliable LLM Judgment for Code Tasks
von: Farchi, Eitan, et al.
Veröffentlicht: (2024)

Evaluating LLM-Generated Code: A Benchmark and Developer Study
von: Szych, Joanna, et al.
Veröffentlicht: (2026)

ClassEval-Pro: A Cross-Domain Benchmark for Class-Level Code Generation
von: Chen, Yeheng, et al.
Veröffentlicht: (2026)

CodeAgent: Autonomous Communicative Agents for Code Review
von: Tang, Xunzhu, et al.
Veröffentlicht: (2024)