Beyond Static Snapshots: A Grounded Evaluation Framework for Language Models at the Agentic Frontier
Fuente:
arXiv
Salvato in:
| Autore principale: | Henry, Jazmia |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2026
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Prompting Fairness: Artificial Intelligence as Game Players
di: Henry, Jazmia
Pubblicazione: (2024)
di: Henry, Jazmia
Pubblicazione: (2024)
Beyond Static Snapshots: Dynamic Modeling and Forecasting of Group-Level Value Evolution with Large Language Models
di: Pi, Qiankun, et al.
Pubblicazione: (2026)
di: Pi, Qiankun, et al.
Pubblicazione: (2026)
Evidence-Grounded Frontier Mapping and Agentic Hypothesis Generation in Nanomedicine
di: Viviers, Christiaan G. A., et al.
Pubblicazione: (2026)
di: Viviers, Christiaan G. A., et al.
Pubblicazione: (2026)
The Hierarchy of Agentic Capabilities: Evaluating Frontier Models on Realistic RL Environments
di: Ritchie, Logan, et al.
Pubblicazione: (2026)
di: Ritchie, Logan, et al.
Pubblicazione: (2026)
Beyond Accuracy: A Multi-Dimensional Framework for Evaluating Enterprise Agentic AI Systems
di: Mehta, Sushant
Pubblicazione: (2025)
di: Mehta, Sushant
Pubblicazione: (2025)
Unified Preference Optimization: Language Model Alignment Beyond the Preference Frontier
di: Badrinath, Anirudhan, et al.
Pubblicazione: (2024)
di: Badrinath, Anirudhan, et al.
Pubblicazione: (2024)
Beyond Protein Language Models: An Agentic LLM Framework for Mechanistic Enzyme Design
di: Jacob, Bruno, et al.
Pubblicazione: (2025)
di: Jacob, Bruno, et al.
Pubblicazione: (2025)
The Evaluation Game: Beyond Static LLM Benchmarking
di: Wang, Paul, et al.
Pubblicazione: (2026)
di: Wang, Paul, et al.
Pubblicazione: (2026)
TeachBench: A Syllabus-Grounded Framework for Evaluating Teaching Ability in Large Language Models
di: Li, Zheng, et al.
Pubblicazione: (2026)
di: Li, Zheng, et al.
Pubblicazione: (2026)
AgenticEval: Toward Agentic and Self-Evolving Safety Evaluation of Large Language Models
di: Wang, Yixu, et al.
Pubblicazione: (2025)
di: Wang, Yixu, et al.
Pubblicazione: (2025)
Beyond Task Completion: An Assessment Framework for Evaluating Agentic AI Systems
di: Akshathala, Sreemaee, et al.
Pubblicazione: (2025)
di: Akshathala, Sreemaee, et al.
Pubblicazione: (2025)
A Unified Framework for the Evaluation of LLM Agentic Capabilities
di: Zhu, Pengyu, et al.
Pubblicazione: (2026)
di: Zhu, Pengyu, et al.
Pubblicazione: (2026)
ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence
di: Foundation, ARC Prize
Pubblicazione: (2026)
di: Foundation, ARC Prize
Pubblicazione: (2026)
Auditing Frontier Vision-Language Models for Trustworthy Medical VQA: Grounding Failures, Format Collapse, and Domain Adaptation
di: Chen, Xupeng, et al.
Pubblicazione: (2026)
di: Chen, Xupeng, et al.
Pubblicazione: (2026)
SpotAgent: Grounding Visual Geo-localization in Large Vision-Language Models through Agentic Reasoning
di: Jia, Furong, et al.
Pubblicazione: (2026)
di: Jia, Furong, et al.
Pubblicazione: (2026)
Evaluating Small Language Models for Agentic On-Farm Decision Support Systems
di: Liu, Enhong, et al.
Pubblicazione: (2025)
di: Liu, Enhong, et al.
Pubblicazione: (2025)
Beyond SMILES: Evaluating Agentic Systems for Drug Discovery
di: Wijaya, Edward
Pubblicazione: (2026)
di: Wijaya, Edward
Pubblicazione: (2026)
Beyond Static Assumptions: the Predictive Justified Perspective Model for Epistemic Planning
di: Hu, Guang, et al.
Pubblicazione: (2024)
di: Hu, Guang, et al.
Pubblicazione: (2024)
LLM-as-an-Interviewer: Beyond Static Testing Through Dynamic LLM Evaluation
di: Kim, Eunsu, et al.
Pubblicazione: (2024)
di: Kim, Eunsu, et al.
Pubblicazione: (2024)
Agentic World Modeling: Foundations, Capabilities, Laws, and Beyond
di: Chu, Meng, et al.
Pubblicazione: (2026)
di: Chu, Meng, et al.
Pubblicazione: (2026)
Beyond Metrics: A Critical Analysis of the Variability in Large Language Model Evaluation Frameworks
di: Pimentel, Marco AF, et al.
Pubblicazione: (2024)
di: Pimentel, Marco AF, et al.
Pubblicazione: (2024)
PRiSM: An Agentic Multimodal Benchmark for Scientific Reasoning via Python-Grounded Evaluation
di: Imani, Shima, et al.
Pubblicazione: (2025)
di: Imani, Shima, et al.
Pubblicazione: (2025)
Think, Act, Build: An Agentic Framework with Vision Language Models for Zero-Shot 3D Visual Grounding
di: Wang, Haibo, et al.
Pubblicazione: (2026)
di: Wang, Haibo, et al.
Pubblicazione: (2026)
Limits of Emergent Reasoning of Large Language Models in Agentic Frameworks for Deterministic Games
di: Su, Chris, et al.
Pubblicazione: (2025)
di: Su, Chris, et al.
Pubblicazione: (2025)
Beyond Monolithic Architectures: A Multi-Agent Search and Knowledge Optimization Framework for Agentic Search
di: Chen, Yiqun, et al.
Pubblicazione: (2026)
di: Chen, Yiqun, et al.
Pubblicazione: (2026)
JudgeAgent: Beyond Static Benchmarks for Knowledge-Driven and Dynamic LLM Evaluation
di: Shi, Zhichao, et al.
Pubblicazione: (2025)
di: Shi, Zhichao, et al.
Pubblicazione: (2025)
Knowledge-Grounded Agentic Large Language Models for Multi-Hazard Understanding from Reconnaissance Reports
di: Kuai, Chenchen, et al.
Pubblicazione: (2025)
di: Kuai, Chenchen, et al.
Pubblicazione: (2025)
Frontier AI Ethics: Anticipating and Evaluating the Societal Impacts of Language Model Agents
di: Lazar, Seth
Pubblicazione: (2024)
di: Lazar, Seth
Pubblicazione: (2024)
An Agentic Evaluation Framework for AI-Generated Scientific Code in PETSc
di: Zhang, Hong, et al.
Pubblicazione: (2026)
di: Zhang, Hong, et al.
Pubblicazione: (2026)
Beyond Static Artifacts: A Forensic Benchmark for Video Deepfake Reasoning in Vision Language Models
di: Gu, Zheyuan, et al.
Pubblicazione: (2026)
di: Gu, Zheyuan, et al.
Pubblicazione: (2026)
Governing AI Beyond the Pretraining Frontier
di: Caputo, Nicholas A.
Pubblicazione: (2025)
di: Caputo, Nicholas A.
Pubblicazione: (2025)
Sabotage Evaluations for Frontier Models
di: Benton, Joe, et al.
Pubblicazione: (2024)
di: Benton, Joe, et al.
Pubblicazione: (2024)
Are Frontier Large Language Models Suitable for Q&A in Science Centres?
di: Watson, Jacob, et al.
Pubblicazione: (2024)
di: Watson, Jacob, et al.
Pubblicazione: (2024)
Do Multi-Agents Solve Better Than Single? Evaluating Agentic Frameworks for Diagram-Grounded Geometry Problem Solving and Reasoning
di: Sobhani, Mahbub E, et al.
Pubblicazione: (2025)
di: Sobhani, Mahbub E, et al.
Pubblicazione: (2025)
A Frontier AI Risk Management Framework: Bridging the Gap Between Current AI Practices and Established Risk Management
di: Campos, Simeon, et al.
Pubblicazione: (2025)
di: Campos, Simeon, et al.
Pubblicazione: (2025)
How NOT to benchmark your SITE metric: Beyond Static Leaderboards and Towards Realistic Evaluation
di: Singh, Prabhant, et al.
Pubblicazione: (2025)
di: Singh, Prabhant, et al.
Pubblicazione: (2025)
GCA Framework: A GCC Countries-Grounded Dataset and Agentic Pipeline for Climate Decision Support
di: Sheikh, Muhammad Umer, et al.
Pubblicazione: (2026)
di: Sheikh, Muhammad Umer, et al.
Pubblicazione: (2026)
Beyond Surface Judgments: Human-Grounded Risk Evaluation of LLM-Generated Disinformation
di: Xu, Zonghuan, et al.
Pubblicazione: (2026)
di: Xu, Zonghuan, et al.
Pubblicazione: (2026)
AEMA: Verifiable Evaluation Framework for Trustworthy and Controlled Agentic LLM Systems
di: Lee, YenTing, et al.
Pubblicazione: (2026)
di: Lee, YenTing, et al.
Pubblicazione: (2026)
Modeling Expert AI Diagnostic Alignment via Immutable Inference Snapshots
di: Panagoulias, Dimitrios P., et al.
Pubblicazione: (2026)
di: Panagoulias, Dimitrios P., et al.
Pubblicazione: (2026)
Documenti analoghi
-
Prompting Fairness: Artificial Intelligence as Game Players
di: Henry, Jazmia
Pubblicazione: (2024) -
Beyond Static Snapshots: Dynamic Modeling and Forecasting of Group-Level Value Evolution with Large Language Models
di: Pi, Qiankun, et al.
Pubblicazione: (2026) -
Evidence-Grounded Frontier Mapping and Agentic Hypothesis Generation in Nanomedicine
di: Viviers, Christiaan G. A., et al.
Pubblicazione: (2026) -
The Hierarchy of Agentic Capabilities: Evaluating Frontier Models on Realistic RL Environments
di: Ritchie, Logan, et al.
Pubblicazione: (2026) -
Beyond Accuracy: A Multi-Dimensional Framework for Evaluating Enterprise Agentic AI Systems
di: Mehta, Sushant
Pubblicazione: (2025)