Buchumschlag

STEPWISE-CODEX-Bench: Evaluating Complex Multi-Function Comprehension and Fine-Grained Execution Reasoning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yan, Kaiwen, Chang, Yuhang, Guo, Zirui, Mou, Yaling, Ming, Jiang, Sun, Jingwei
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Software Engineering
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SmartReco: Detecting Read-Only Reentrancy via Fine-Grained Cross-DApp Analysis
von: Zhang, Jingwen, et al.
Veröffentlicht: (2024)

CodeSpecBench: Benchmarking LLMs for Executable Behavioral Specification Generation
von: Chen, Zaoyu, et al.
Veröffentlicht: (2026)

DyPyBench: A Benchmark of Executable Python Software
von: Bouzenia, Islem, et al.
Veröffentlicht: (2024)

CodeFuse-CR-Bench: A Comprehensiveness-aware Benchmark for End-to-End Code Review Evaluation in Python Projects
von: Guo, Hanyang, et al.
Veröffentlicht: (2025)

VisualCoder: Guiding Large Language Models in Code Execution with Fine-grained Multimodal Chain-of-Thought Reasoning
von: Le, Cuong Chi, et al.
Veröffentlicht: (2024)

An Execution-Verified Multi-Language Benchmark for Code Semantic Reasoning
von: Li, Yikun, et al.
Veröffentlicht: (2026)

CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction
von: Gao, Jun, et al.
Veröffentlicht: (2026)

A Real-World Benchmark for Evaluating Fine-Grained Issue Solving Capabilities of Large Language Models
von: Hu, Ruida, et al.
Veröffentlicht: (2024)

SafeToolBench: Pioneering a Prospective Benchmark to Evaluating Tool Utilization Safety in LLMs
von: Xia, Hongfei, et al.
Veröffentlicht: (2025)

CodeScore: Evaluating Code Generation by Learning Code Execution
von: Dong, Yihong, et al.
Veröffentlicht: (2023)

TransAgent: Enhancing LLM-Based Code Translation via Fine-Grained Execution Alignment
von: Yuan, Zhiqiang, et al.
Veröffentlicht: (2024)

A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Code Smell Detection
von: Zhang, Beiqi, et al.
Veröffentlicht: (2024)

CoCo-Bench: A Comprehensive Code Benchmark For Multi-task Large Language Model Evaluation
von: Yin, Wenjing, et al.
Veröffentlicht: (2025)

CoreCodeBench: Decoupling Code Intelligence via Fine-Grained Repository-Level Tasks
von: Fu, Lingyue, et al.
Veröffentlicht: (2025)

MACAA: Belief-Revision Multi-Agent Reasoning for Code Authorship Verification
von: Ye, Jingwei, et al.
Veröffentlicht: (2026)

A Hierarchical and Evolvable Benchmark for Fine-Grained Code Instruction Following with Multi-Turn Feedback
von: Duan, Guoliang, et al.
Veröffentlicht: (2025)

Fine-Grained Assertion-Based Test Selection
von: Gu, Sijia, et al.
Veröffentlicht: (2024)

DecompileBench: A Comprehensive Benchmark for Evaluating Decompilers in Real-World Scenarios
von: Gao, Zeyu, et al.
Veröffentlicht: (2025)

Cloud-OpsBench: A Reproducible Benchmark for Agentic Root Cause Analysis in Cloud Systems
von: Wang, Yilun, et al.
Veröffentlicht: (2026)

CommitSuite: A Comprehensive Benchmark for Commit Classification and Message Generation
von: Wan, Zirui, et al.
Veröffentlicht: (2026)

Assessing Coherency and Consistency of Code Execution Reasoning by Large Language Models
von: Liu, Changshu, et al.
Veröffentlicht: (2025)

V2E: Validating Smart Contract Vulnerabilities through Profit-driven Exploit Generation and Execution
von: Zhang, Jingwen, et al.
Veröffentlicht: (2026)

FuncDroid: Towards Inter-Functional Flows for Comprehensive Mobile App GUI Testing
von: He, Jinlong, et al.
Veröffentlicht: (2026)

WebCoderBench: Benchmarking Web Application Generation with Comprehensive and Interpretable Evaluation Metrics
von: Liu, Chenxu, et al.
Veröffentlicht: (2026)

Demystifying Errors in LLM Reasoning Traces: An Empirical Study of Code Execution Simulation
von: Abdollahi, Mohammad, et al.
Veröffentlicht: (2025)

A Tool for In-depth Analysis of Code Execution Reasoning of Large Language Models
von: Liu, Changshu, et al.
Veröffentlicht: (2025)

Talk Less, Verify More: Improving LLM Assistants with Semantic Checks and Execution Feedback
von: Sun, Yan, et al.
Veröffentlicht: (2026)

TRACE: Evaluating Execution Efficiency of LLM-Based Code Translation
von: Gong, Zhihao, et al.
Veröffentlicht: (2026)

TRACE: Evaluating Execution Efficiency of LLM-Based Code Translation
von: Gong, Zhihao, et al.
Veröffentlicht: (2025)

ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents
von: Jeon, YoungHoon, et al.
Veröffentlicht: (2026)

ExecVerify: White-Box RL with Verifiable Stepwise Rewards for Code Execution Reasoning
von: Tang, Lingxiao, et al.
Veröffentlicht: (2026)

DesignBench: A Comprehensive Benchmark for MLLM-based Front-end Code Generation
von: Xiao, Jingyu, et al.
Veröffentlicht: (2025)

ResearchEnvBench: Benchmarking Agents on Environment Synthesis for Research Code Execution
von: Wang, Yubang, et al.
Veröffentlicht: (2026)

CodeBenchGen: Creating Scalable Execution-based Code Generation Benchmarks
von: Xie, Yiqing, et al.
Veröffentlicht: (2024)

A Minimal Executable Proof for Multi-Language Contract Traceability
von: Kasselman, Werner
Veröffentlicht: (2026)

Unveiling Hybrid Cyclomatic Complexity: A Comprehensive Analysis and Evaluation as an Integral Feature in Automatic Defect Prediction Models
von: Cernau, Laura Diana, et al.
Veröffentlicht: (2025)

Evaluating Generated Commit Messages with Large Language Models
von: Zeng, Qunhong, et al.
Veröffentlicht: (2025)

Observing Fine-Grained Changes in Jupyter Notebooks During Development Time
von: Titov, Sergey, et al.
Veröffentlicht: (2025)

Integrating Symbolic Execution into the Fine-Tuning of Code-Generating LLMs
von: Sakharova, Marina, et al.
Veröffentlicht: (2025)

CodeFlowBench: A Multi-turn, Iterative Benchmark for Complex Code Generation
von: Wang, Sizhe, et al.
Veröffentlicht: (2025)