Buchumschlag

VHDL-Eval: A Framework for Evaluating Large Language Models in VHDL Code Generation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Vijayaraghavan, Prashanth, Shi, Luyao, Ambrogio, Stefano, Mackin, Charles, Nitsure, Apoorva, Beymer, David, Degan, Ehsan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Software Engineering Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Chain-of-Descriptions: Improving Code LLMs for VHDL Code Generation and Summarization
von: Vijayaraghavan, Prashanth, et al.
Veröffentlicht: (2025)

SYMDIREC: A Neuro-Symbolic Divide-Retrieve-Conquer Framework for Enhanced RTL Synthesis and Summarization
von: Vijayaraghavan, Prashanth, et al.
Veröffentlicht: (2026)

Customizing a Large Language Model for VHDL Design of High-Performance Microprocessors
von: Dupuis, Nicolas, et al.
Veröffentlicht: (2025)

Self-Regulated Data-Free Knowledge Amalgamation for Text Classification
von: Vijayaraghavan, Prashanth, et al.
Veröffentlicht: (2024)

Is Your AI-Generated Code Really Safe? Evaluating Large Language Models on Secure Code Generation with CodeSecEval
von: Wang, Jiexin, et al.
Veröffentlicht: (2024)

HumanEval Pro and MBPP Pro: Evaluating Large Language Models on Self-invoking Code Generation
von: Yu, Zhaojian, et al.
Veröffentlicht: (2024)

ConCodeEval: Evaluating Large Language Models for Code Constraints in Domain-Specific Languages
von: Kammakomati, Mehant, et al.
Veröffentlicht: (2024)

CodeJudge-Eval: Can Large Language Models be Good Judges in Code Understanding?
von: Zhao, Yuwei, et al.
Veröffentlicht: (2024)

SV-TrustEval-C: Evaluating Structure and Semantic Reasoning in Large Language Models for Source Code Vulnerability Analysis
von: Li, Yansong, et al.
Veröffentlicht: (2025)

AUTOCIRCUIT-RL: Reinforcement Learning-Driven LLM for Automated Circuit Topology Generation
von: Vijayaraghavan, Prashanth, et al.
Veröffentlicht: (2025)

IndicEval-XL: Bridging Linguistic Diversity in Code Generation Across Indic Languages
von: Singh, Ujjwal, et al.
Veröffentlicht: (2025)

ProjectEval: A Benchmark for Programming Agents Automated Evaluation on Project-Level Code Generation
von: Liu, Kaiyuan, et al.
Veröffentlicht: (2025)

ClassEval-Pro: A Cross-Domain Benchmark for Class-Level Code Generation
von: Chen, Yeheng, et al.
Veröffentlicht: (2026)

DevEval: Evaluating Code Generation in Practical Software Projects
von: Li, Jia, et al.
Veröffentlicht: (2024)

HumanEval-XL: A Multilingual Code Generation Benchmark for Cross-lingual Natural Language Generalization
von: Peng, Qiwei, et al.
Veröffentlicht: (2024)

Isolating Language-Coding from Problem-Solving: Benchmarking LLMs with PseudoEval
von: Wu, Jiarong, et al.
Veröffentlicht: (2025)

CodeJudge: Evaluating Code Generation with Large Language Models
von: Tong, Weixi, et al.
Veröffentlicht: (2024)

CodeIF-Bench: Evaluating Instruction-Following Capabilities of Large Language Models in Interactive Code Generation
von: Wang, Peiding, et al.
Veröffentlicht: (2025)

CIRCUITSYNTH: Leveraging Large Language Models for Circuit Topology Synthesis
von: Vijayaraghavan, Prashanth, et al.
Veröffentlicht: (2024)

M2rc-Eval: Massively Multilingual Repository-level Code Completion Evaluation
von: Liu, Jiaheng, et al.
Veröffentlicht: (2024)

DevEval: A Manually-Annotated Code Generation Benchmark Aligned with Real-World Code Repositories
von: Li, Jia, et al.
Veröffentlicht: (2024)

SwiftEval: Developing a Language-Specific Benchmark for LLM-generated Code Evaluation
von: Petrukha, Ivan, et al.
Veröffentlicht: (2025)

Bridging Code Graphs and Large Language Models for Better Code Understanding
von: Chen, Zeqi, et al.
Veröffentlicht: (2025)

AutoCodeBench: Large Language Models are Automatic Code Benchmark Generators
von: Chou, Jason, et al.
Veröffentlicht: (2025)

CODMAS: A Dialectic Multi-Agent Collaborative Framework for Structured RTL Optimization
von: Chang, Che-Ming, et al.
Veröffentlicht: (2026)

CodeVisionary: An Agent-based Framework for Evaluating Large Language Models in Code Generation
von: Wang, Xinchen, et al.
Veröffentlicht: (2025)

Evaluating the Generalization Capabilities of Large Language Models on Code Reasoning
von: Yang, Rem, et al.
Veröffentlicht: (2025)

ClassEval-T: Evaluating Large Language Models in Class-Level Code Translation
von: Xue, Pengyu, et al.
Veröffentlicht: (2024)

SIMCOPILOT: Evaluating Large Language Models for Copilot-Style Code Generation
von: Jiang, Mingchao, et al.
Veröffentlicht: (2025)

Evaluation of Code LLMs on Geospatial Code Generation
von: Gramacki, Piotr, et al.
Veröffentlicht: (2024)

Leveraging Print Debugging to Improve Code Generation in Large Language Models
von: Hu, Xueyu, et al.
Veröffentlicht: (2024)

Strengthening Programming Comprehension in Large Language Models through Code Generation
von: Ren, Xiaoning, et al.
Veröffentlicht: (2025)

A Survey of using Large Language Models for Generating Infrastructure as Code
von: Srivatsa, Kalahasti Ganesh, et al.
Veröffentlicht: (2024)

Seeker: Towards Exception Safety Code Generation with Intermediate Language Agents Framework
von: Zhang, Xuanming, et al.
Veröffentlicht: (2024)

CodeMind: Evaluating Large Language Models for Code Reasoning
von: Liu, Changshu, et al.
Veröffentlicht: (2024)

What's Wrong with Your Code Generated by Large Language Models? An Extensive Study
von: Dou, Shihan, et al.
Veröffentlicht: (2024)

SpecEval: Evaluating Code Comprehension in Large Language Models via Program Specifications
von: Ma, Lezhi, et al.
Veröffentlicht: (2024)

NExT: Teaching Large Language Models to Reason about Code Execution
von: Ni, Ansong, et al.
Veröffentlicht: (2024)

CodeOCR: On the Effectiveness of Vision Language Models in Code Understanding
von: Shi, Yuling, et al.
Veröffentlicht: (2026)

COBOL-Coder: Domain-Adapted Large Language Models for COBOL Code Generation and Translation
von: Dau, Anh T. V., et al.
Veröffentlicht: (2026)