Buchumschlag

CelloAI Benchmarks: Toward Repeatable Evaluation of AI Assistants

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Atif, Mohammad, Chopra, Kriti, Tsai, Fang-Ying, Kilic, Ozgur O., Wang, Tianle, Dong, Zhihua, Benjamin, Douglas, Leggett, Charles, Lin, Meifeng, Calafiura, Paolo, Habib, Salman
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	High Energy Physics - Experiment Software Engineering
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CelloAI: Leveraging Large Language Models for HPC Software Development in High Energy Physics
von: Atif, Mohammad, et al.
Veröffentlicht: (2025)

A Microbenchmark Framework for Performance Evaluation of OpenMP Target Offloading
von: Atif, Mohammad, et al.
Veröffentlicht: (2025)

Packaging HEP Heterogeneous Mini-apps for Portable Benchmarking and Facility Evaluation on Modern HPCs
von: Atif, Mohammad, et al.
Veröffentlicht: (2025)

Benchmarking AI-evolved cosmological structure formation
von: Dong, Xiaofeng, et al.
Veröffentlicht: (2025)

Beyond Benchmarks: How Users Evaluate AI Chat Assistants
von: Awan, Moiz Sadiq, et al.
Veröffentlicht: (2026)

AI-Powered Assistant for Long-Term Access to RHIC Knowledge
von: Atif, Mohammad, et al.
Veröffentlicht: (2025)

Evaluating Application Characteristics for GPU Portability Layer Selection
von: Atif, Mohammad, et al.
Veröffentlicht: (2026)

AI Innovations in Public Services: The Case of National Libraries. By InesMergel and CarstenSchmidt (eds.), Cham: Springer, 2026. 222 pp. Open Access (ebook)
von: Salman Bin Habib
Veröffentlicht: (2026)

The Mimetic Strand in the Cello Literature
von: Mizia, Urszula
Veröffentlicht: (2021)

Physics and Computing Performance of the EggNet Tracking Pipeline
von: Chan, Jay, et al.
Veröffentlicht: (2025)

Rethinking AI Evaluation in Education: The TEACH-AI Framework and Benchmark for Generative AI Assistants
von: Ding, Shi, et al.
Veröffentlicht: (2025)

VoiceAssistant-Eval: Benchmarking AI Assistants across Listening, Speaking, and Viewing
von: Wang, Ke, et al.
Veröffentlicht: (2025)

TeleEgo: Benchmarking Egocentric AI Assistants in the Wild
von: Yan, Jiaqi, et al.
Veröffentlicht: (2025)

CURATe: Benchmarking Personalised Alignment of Conversational AI Assistants
von: Alberts, Lize, et al.
Veröffentlicht: (2024)

Scalable Runtime Architecture for Data-driven, Hybrid HPC and ML Workflow Applications
von: Merzky, Andre, et al.
Veröffentlicht: (2025)

Scalable AI-assisted Workflow Management for Detector Design Optimization Using Distributed Computing
von: Anderson, Derek, et al.
Veröffentlicht: (2026)

RubberDuckBench: A Benchmark for AI Coding Assistants
von: Mohammed, Ferida, et al.
Veröffentlicht: (2026)

Building Egocentric Procedural AI Assistant: Methods, Benchmarks, and Challenges
von: Li, Junlong, et al.
Veröffentlicht: (2025)

CelloCut: Constructive Watertight Remeshing via Tetrahedral Cell Cuts
von: Yang, Xuan, et al.
Veröffentlicht: (2026)

Spectrographic Portamento Gradient Analysis: A Quantitative Method for Historical Cello Recordings with Application to Beethoven's Piano and Cello Sonatas, 1930--2012
von: Sole, Ignasi
Veröffentlicht: (2026)

AI User Assistant
von: Sen, Subhayu, et al.
Veröffentlicht: (2025)

Uncertainty Quantification and Propagation for ACORN, a geometric deep learning tracking pipeline for HEP experiments
von: Péron, Lukas, et al.
Veröffentlicht: (2025)

EggNet: An Evolving Graph-based Graph Attention Network for Particle Track Reconstruction
von: Calafiura, Paolo, et al.
Veröffentlicht: (2024)

AI‐Involved Inventions and Patentability: Emotional Perception AI v Comptroller‐General of Patents, Designs and Trade Marks
von: Özgür Arıkan
Veröffentlicht: (2025)

MHDash: An Online Platform for Benchmarking Mental Health-Aware AI Assistants
von: Zhang, Yihe, et al.
Veröffentlicht: (2026)

CI-Bench: Benchmarking Contextual Integrity of AI Assistants on Synthetic Data
von: Cheng, Zhao, et al.
Veröffentlicht: (2024)

PersonaLens: A Benchmark for Personalization Evaluation in Conversational AI Assistants
von: Zhao, Zheng, et al.
Veröffentlicht: (2025)

Development and Benchmarking of a Blended Human-AI Qualitative Research Assistant
von: Matveyenko, Joseph, et al.
Veröffentlicht: (2025)

SIGN-AI: An AI Assistant for Sign Language
von: Guechi Ayoub
Veröffentlicht: (2025)

Uncertainty-Aware Adaptation of Large Language Models for Protein-Protein Interaction Analysis
von: Jantre, Sanket, et al.
Veröffentlicht: (2025)

Strategic AI adoption in SMEs: A Prescriptive Framework
von: Hussain, Atif, et al.
Veröffentlicht: (2024)

Can Risk-taking AI-Assistants suitably represent entities
von: Mazyaki, Ali, et al.
Veröffentlicht: (2025)

Evaluation and Continual Improvement for an Enterprise AI Assistant
von: Maharaj, Akash V., et al.
Veröffentlicht: (2024)

VISION: A Modular AI Assistant for Natural Human-Instrument Interaction at Scientific User Facilities
von: Mathur, Shray, et al.
Veröffentlicht: (2024)

Inventorship in the age of AI: Legal challenges and potential solutions
von: Özgür Arikan
Veröffentlicht: (2026)

ELGAR: Expressive Cello Performance Motion Generation for Audio Rendition
von: Qiu, Zhiping, et al.
Veröffentlicht: (2025)

Fidelity-Age-Aware Scheduling in Quantum Repeater Networks
von: Ercetin, Ozgur, et al.
Veröffentlicht: (2026)

The Ethics of Advanced AI Assistants
von: Gabriel, Iason, et al.
Veröffentlicht: (2024)

Generative AI for subgrid turbulence in large-eddy simulations
von: Cheng, Yu, et al.
Veröffentlicht: (2025)

The Case for an Industrial Policy Approach to AI Sector of Pakistan for Growth and Autonomy
von: Hussain, Atif, et al.
Veröffentlicht: (2024)