Buchumschlag

TESTEVAL: Benchmarking Large Language Models for Test Case Generation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Wenhan, Yang, Chenyuan, Wang, Zhijie, Huang, Yuheng, Chu, Zhaoyang, Song, Da, Zhang, Lingming, Chen, An Ran, Ma, Lei
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Software Engineering
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Towards Understanding the Characteristics of Code Generation Errors Made by Large Language Models
von: Wang, Zhijie, et al.
Veröffentlicht: (2024)

Fine-grained Testing for Autonomous Driving Software: a Study on Autoware with LLM-driven Unit Testing
von: Wang, Wenhan, et al.
Veröffentlicht: (2025)

KernelGPT: Enhanced Kernel Fuzzing via Large Language Models
von: Yang, Chenyuan, et al.
Veröffentlicht: (2023)

VLATest: Testing and Evaluating Vision-Language-Action Models for Robotic Manipulation
von: Wang, Zhijie, et al.
Veröffentlicht: (2024)

Evaluating LLMs on Sequential API Call Through Automated Test Generation
von: Huang, Yuheng, et al.
Veröffentlicht: (2025)

Can Large Language Models Solve Path Constraints in Symbolic Execution?
von: Wang, Wenhan, et al.
Veröffentlicht: (2025)

TRUSTVIS: A Multi-Dimensional Trustworthiness Evaluation Framework for Large Language Models
von: Sun, Ruoyu, et al.
Veröffentlicht: (2025)

AnyPoC: Universal Proof-of-Concept Test Generation for Scalable LLM-Based Bug Detection
von: Zhao, Zijie, et al.
Veröffentlicht: (2026)

Look Before You Leap: An Exploratory Study of Uncertainty Measurement for Large Language Models
von: Huang, Yuheng, et al.
Veröffentlicht: (2023)

On the Evaluation of Large Language Models in Unit Test Generation
von: Yang, Lin, et al.
Veröffentlicht: (2024)

WhiteFox: White-Box Compiler Fuzzing Empowered by Large Language Models
von: Yang, Chenyuan, et al.
Veröffentlicht: (2023)

Practical Program Repair in the Era of Large Pre-trained Language Models
von: Xia, Chunqiu Steven, et al.
Veröffentlicht: (2022)

Fuzzing Automatic Differentiation in Deep-Learning Libraries
von: Yang, Chenyuan, et al.
Veröffentlicht: (2023)

LeCov: Multi-level Testing Criteria for Large Language Models
von: Xie, Xuan, et al.
Veröffentlicht: (2024)

Large Language Models for Automated Web-Form-Test Generation: An Empirical Study
von: Li, Tao, et al.
Veröffentlicht: (2024)

Software Testing with Large Language Models: Survey, Landscape, and Vision
von: Wang, Junjie, et al.
Veröffentlicht: (2023)

MultiTest: Physical-Aware Object Insertion for Testing Multi-sensor Fusion Perception Systems
von: Gao, Xinyu, et al.
Veröffentlicht: (2024)

Understanding the Fundamental Design Decisions of Retrieval-Augmented Generation Systems
von: Zhao, Shengming, et al.
Veröffentlicht: (2024)

Revisiting the Plastic Surgery Hypothesis via Large Language Models
von: Xia, Chunqiu Steven, et al.
Veröffentlicht: (2023)

Large Language Models for Unit Test Generation: Achievements, Challenges, and Opportunities
von: Chu, Bei, et al.
Veröffentlicht: (2025)

Acceptance Test Generation with Large Language Models: An Industrial Case Study
von: Ferreira, Margarida, et al.
Veröffentlicht: (2025)

Python Symbolic Execution with LLM-powered Code Generation
von: Wang, Wenhan, et al.
Veröffentlicht: (2024)

TestBench: Evaluating Class-Level Test Case Generation Capability of Large Language Models
von: Zhang, Quanjun, et al.
Veröffentlicht: (2024)

A Tool for Test Case Scenarios Generation Using Large Language Models
von: Sami, Abdul Malik, et al.
Veröffentlicht: (2024)

Automated Control Logic Test Case Generation using Large Language Models
von: Koziolek, Heiko, et al.
Veröffentlicht: (2024)

Automatic High-Level Test Case Generation using Large Language Models
von: Hasan, Navid Bin, et al.
Veröffentlicht: (2025)

Can Large Language Models Serve as Evaluators for Code Summarization?
von: Wu, Yang, et al.
Veröffentlicht: (2024)

QuanBench: Benchmarking Quantum Code Generation with Large Language Models
von: Guo, Xiaoyu, et al.
Veröffentlicht: (2025)

Reflective Unit Test Generation for Precise Type Error Detection with Large Language Models
von: Yang, Chen, et al.
Veröffentlicht: (2025)

LUNA: A Model-Based Universal Analysis Framework for Large Language Models
von: Song, Da, et al.
Veröffentlicht: (2023)

Do Large Language Models Pay Similar Attention Like Human Programmers When Generating Code?
von: Kou, Bonan, et al.
Veröffentlicht: (2023)

Mutation-Guided Unit Test Generation with a Large Language Model
von: Wang, Guancheng, et al.
Veröffentlicht: (2025)

iScript: A Domain-Adapted Large Language Model and Benchmark for Physical Design Tcl Script Generation
von: Xu, Ning, et al.
Veröffentlicht: (2026)

Large Language Model-Based Agents for Software Engineering: A Survey
von: Liu, Junwei, et al.
Veröffentlicht: (2024)

AcTracer: Active Testing of Large Language Model via Multi-Stage Sampling
von: Huang, Yuheng, et al.
Veröffentlicht: (2024)

SQL-Commenter: Aligning Large Language Models for SQL Comment Generation with Direct Preference Optimization
von: Yu, Lei, et al.
Veröffentlicht: (2026)

KNighter: Transforming Static Analysis with LLM-Synthesized Checkers
von: Yang, Chenyuan, et al.
Veröffentlicht: (2025)

An Iterative Test-and-Repair Framework for Competitive Code Generation
von: Tang, Lingxiao, et al.
Veröffentlicht: (2026)

Evaluation and Improvement of Fault Detection for Large Language Models
von: Hu, Qiang, et al.
Veröffentlicht: (2024)

Fuzz4All: Universal Fuzzing with Large Language Models
von: Xia, Chunqiu Steven, et al.
Veröffentlicht: (2023)