Qiskit HumanEval: An Evaluation Benchmark For Quantum Code Generative Models
Fuente:
arXiv
Salvato in:
| Autori principali: | Vishwakarma, Sanjay, Harkins, Francis, Golecha, Siddharth, Bajpe, Vishal Sharathchandra, Dupuis, Nicolas, Buratti, Luca, Kremer, David, Faro, Ismael, Puri, Ruchir, Cruz-Benito, Juan |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2024
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Qiskit Code Assistant: Training LLMs for generating Quantum Computing Code
di: Dupuis, Nicolas, et al.
Pubblicazione: (2024)
di: Dupuis, Nicolas, et al.
Pubblicazione: (2024)
Quantum Verifiable Rewards for Post-Training Qiskit Code Assistant
di: Dupuis, Nicolas, et al.
Pubblicazione: (2025)
di: Dupuis, Nicolas, et al.
Pubblicazione: (2025)
The Role of Community Building and Education as Key Pillar of Institutionalizing Responsible Quantum
di: Vishwakarma, Sanjay, et al.
Pubblicazione: (2024)
di: Vishwakarma, Sanjay, et al.
Pubblicazione: (2024)
Qiskit QuantumKatas: Adapting Microsoft's Quantum Computing exercises for LLM evaluation
di: Cruz-Benito, Juan, et al.
Pubblicazione: (2026)
di: Cruz-Benito, Juan, et al.
Pubblicazione: (2026)
AI methods for approximate compiling of unitaries
di: Kremer, David, et al.
Pubblicazione: (2024)
di: Kremer, David, et al.
Pubblicazione: (2024)
Quantum Processing Unit (QPU) processing time Prediction with Machine Learning
di: Xing, Lucy, et al.
Pubblicazione: (2025)
di: Xing, Lucy, et al.
Pubblicazione: (2025)
Evolutionary Discovery of Bivariate Bicycle Codes with LLM-Guided Search
di: Cruz-Benito, Juan, et al.
Pubblicazione: (2026)
di: Cruz-Benito, Juan, et al.
Pubblicazione: (2026)
AI Methods for Permutation Circuit Synthesis Across Generic Topologies
di: Villar, Victor, et al.
Pubblicazione: (2025)
di: Villar, Victor, et al.
Pubblicazione: (2025)
HumanEval-V: Benchmarking High-Level Visual Reasoning with Complex Diagrams in Coding Tasks
di: Zhang, Fengji, et al.
Pubblicazione: (2024)
di: Zhang, Fengji, et al.
Pubblicazione: (2024)
CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Benchmarking on HumanEval-X
di: Zheng, Qinkai, et al.
Pubblicazione: (2023)
di: Zheng, Qinkai, et al.
Pubblicazione: (2023)
HumanEval-XL: A Multilingual Code Generation Benchmark for Cross-lingual Natural Language Generalization
di: Peng, Qiwei, et al.
Pubblicazione: (2024)
di: Peng, Qiwei, et al.
Pubblicazione: (2024)
HumanEval on Latest GPT Models -- 2024
di: Li, Daniel, et al.
Pubblicazione: (2024)
di: Li, Daniel, et al.
Pubblicazione: (2024)
NaturalCodeBench: Examining Coding Performance Mismatch on HumanEval and Natural User Prompts
di: Zhang, Shudan, et al.
Pubblicazione: (2024)
di: Zhang, Shudan, et al.
Pubblicazione: (2024)
Efficient Classical Simulation of Heuristic Peaked Quantum Circuits
di: Kremer, David, et al.
Pubblicazione: (2026)
di: Kremer, David, et al.
Pubblicazione: (2026)
Practical and efficient quantum circuit synthesis and transpiling with Reinforcement Learning
di: Kremer, David, et al.
Pubblicazione: (2024)
di: Kremer, David, et al.
Pubblicazione: (2024)
HumanEval Pro and MBPP Pro: Evaluating Large Language Models on Self-invoking Code Generation
di: Yu, Zhaojian, et al.
Pubblicazione: (2024)
di: Yu, Zhaojian, et al.
Pubblicazione: (2024)
Addressing Data Leakage in HumanEval Using Combinatorial Test Design
di: Bradbury, Jeremy S., et al.
Pubblicazione: (2024)
di: Bradbury, Jeremy S., et al.
Pubblicazione: (2024)
Agent Factories for High Level Synthesis: How Far Can General-Purpose Coding Agents Go in Hardware Optimization?
di: Bhandwaldar, Abhishek, et al.
Pubblicazione: (2026)
di: Bhandwaldar, Abhishek, et al.
Pubblicazione: (2026)
Reactor Mk.1 performances: MMLU, HumanEval and BBH test results
di: Dunham, TJ, et al.
Pubblicazione: (2024)
di: Dunham, TJ, et al.
Pubblicazione: (2024)
How Generation Architecture Shapes Code Complexity in Multi-Agent LLM Systems: A Paired Study on HumanEval
di: Ashrafi, Nazmus
Pubblicazione: (2026)
di: Ashrafi, Nazmus
Pubblicazione: (2026)
QSpark: Towards Reliable Qiskit Code Generation
di: Kheiri, Kiana, et al.
Pubblicazione: (2025)
di: Kheiri, Kiana, et al.
Pubblicazione: (2025)
Customizing a Large Language Model for VHDL Design of High-Performance Microprocessors
di: Dupuis, Nicolas, et al.
Pubblicazione: (2025)
di: Dupuis, Nicolas, et al.
Pubblicazione: (2025)
Automatic Qiskit Code Refactoring Using Large Language Models
di: Suárez, José Manuel, et al.
Pubblicazione: (2025)
di: Suárez, José Manuel, et al.
Pubblicazione: (2025)
Unveiling Code Clones in Quantum Programming: An Empirical Study with Qiskit
di: Manoku, Kenta, et al.
Pubblicazione: (2025)
di: Manoku, Kenta, et al.
Pubblicazione: (2025)
Optimal partition of feature using Bayesian classifier
di: Vishwakarma, Sanjay, et al.
Pubblicazione: (2023)
di: Vishwakarma, Sanjay, et al.
Pubblicazione: (2023)
Quantum computing with Qiskit
di: Javadi-Abhari, Ali, et al.
Pubblicazione: (2024)
di: Javadi-Abhari, Ali, et al.
Pubblicazione: (2024)
Superfluid--Bose-glass transition in a system of disordered bosons with long-range hopping in one dimension
di: Dupuis, Nicolas
Pubblicazione: (2024)
di: Dupuis, Nicolas
Pubblicazione: (2024)
Ask-EDA: A Design Assistant Empowered by LLM, Hybrid RAG and Abbreviation De-hallucination
di: Shi, Luyao, et al.
Pubblicazione: (2024)
di: Shi, Luyao, et al.
Pubblicazione: (2024)
Qiskit Variational Quantum Classifier on the Pulsar Classification Problem
di: Souza, Anna B. M., et al.
Pubblicazione: (2025)
di: Souza, Anna B. M., et al.
Pubblicazione: (2025)
Code Comments for Quantum Software Development Kits: An Empirical Study on Qiskit
di: Zhou, Zenghui, et al.
Pubblicazione: (2025)
di: Zhou, Zenghui, et al.
Pubblicazione: (2025)
StackEval: Benchmarking LLMs in Coding Assistance
di: Shah, Nidhish, et al.
Pubblicazione: (2024)
di: Shah, Nidhish, et al.
Pubblicazione: (2024)
AAFL: An Agent-Augmented Framework for Learning
di: Bakshi, Ruchir
Pubblicazione: (2026)
di: Bakshi, Ruchir
Pubblicazione: (2026)
Chapter Disegno in transizione e transizione nel disegno. Passato e futuro degli esercizi di Parquet Deformations
di: Buratti, Giorgio
Pubblicazione: (2024)
di: Buratti, Giorgio
Pubblicazione: (2024)
Managing Risk and Information Security Protect to Enable
di: Malcolm Harkins.
di: Malcolm Harkins.
Insights from the Usage of the Ansible Lightspeed Code Completion Service
di: Sahoo, Priyam, et al.
Pubblicazione: (2024)
di: Sahoo, Priyam, et al.
Pubblicazione: (2024)
tert ‐Butyl Nitrite‐Mediated Deaminative Chalcogenation of Substituted 5‐Aminopyrazoles via Diaryl Dichalcogenides
di: Farman Moh Abbasi, et al.
Pubblicazione: (2025)
di: Farman Moh Abbasi, et al.
Pubblicazione: (2025)
CentaurEval: Benchmarking Human-in-the-Loop Value in Agentic Coding
di: Luo, Hanjun, et al.
Pubblicazione: (2025)
di: Luo, Hanjun, et al.
Pubblicazione: (2025)
ComplexCodeEval: A Benchmark for Evaluating Large Code Models on More Complex Code
di: Feng, Jia, et al.
Pubblicazione: (2024)
di: Feng, Jia, et al.
Pubblicazione: (2024)
Violation of the Fluctuation Dissipation Theorem during Domain Growth in the Long-range Ising Model
di: Saha, Parbati, et al.
Pubblicazione: (2025)
di: Saha, Parbati, et al.
Pubblicazione: (2025)
Surface-directed Dynamics in Living Liquid Crystals
di: Vats, Aditya, et al.
Pubblicazione: (2024)
di: Vats, Aditya, et al.
Pubblicazione: (2024)
Documenti analoghi
-
Qiskit Code Assistant: Training LLMs for generating Quantum Computing Code
di: Dupuis, Nicolas, et al.
Pubblicazione: (2024) -
Quantum Verifiable Rewards for Post-Training Qiskit Code Assistant
di: Dupuis, Nicolas, et al.
Pubblicazione: (2025) -
The Role of Community Building and Education as Key Pillar of Institutionalizing Responsible Quantum
di: Vishwakarma, Sanjay, et al.
Pubblicazione: (2024) -
Qiskit QuantumKatas: Adapting Microsoft's Quantum Computing exercises for LLM evaluation
di: Cruz-Benito, Juan, et al.
Pubblicazione: (2026) -
AI methods for approximate compiling of unitaries
di: Kremer, David, et al.
Pubblicazione: (2024)