Buchumschlag

TPS-CalcBench: A Benchmark and Diagnostic Evaluation Framework for LLM Analytical Calculation Competence in Hypersonic Thermal Protection System Engineering

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zheng, Jinglai, Qiao, Chuhan, Huang, Haiming
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

AeroTherm-GPT: A Verification-Centered LLM Framework for Thermal Protection System Engineering Workflows
von: Qiao, Chuhan, et al.
Veröffentlicht: (2026)

MedCalc-Bench: Evaluating Large Language Models for Medical Calculations
von: Khandekar, Nikhil, et al.
Veröffentlicht: (2024)

TaxCalcBench: Evaluating Frontier Models on the Tax Calculation Task
von: Bock, Michael R., et al.
Veröffentlicht: (2025)

MedMCP-Calc: Benchmarking LLMs for Realistic Medical Calculator Scenarios via MCP Integration
von: Zhu, Yakun, et al.
Veröffentlicht: (2026)

NC-Bench: An LLM Benchmark for Evaluating Conversational Competence
von: Moore, Robert J., et al.
Veröffentlicht: (2026)

Physics-Informed Causal MDPs for Sequential Constraint Repair in Engineering Simulation Pipelines
von: Qiao, Chuhan
Veröffentlicht: (2026)

TPS-Bench: Evaluating AI Agents' Tool Planning \& Scheduling Abilities in Compounding Tasks
von: Xu, Hanwen, et al.
Veröffentlicht: (2025)

MedCalc-Eval and MedCalc-Env: Advancing Medical Calculation Capabilities of Large Language Models
von: Mao, Kangkun, et al.
Veröffentlicht: (2025)

MatFormBench: A Benchmarking Evaluation Framework for Target-Driven Materials Formulation
von: Wu, Linhan, et al.
Veröffentlicht: (2026)

MedCalc-Bench Doesn't Measure What You Think: A Benchmark Audit and the Case for Open-Book Evaluation
von: Krohn-Grimberghe, Artus
Veröffentlicht: (2026)

POLAR-Bench: A Diagnostic Benchmark for Privacy-Utility Trade-offs in LLM Agents
von: Zheng, Qiaoyuan, et al.
Veröffentlicht: (2026)

CADMAS-CTX: Contextual Capability Calibration for Multi-Agent Delegation
von: Qiao, Chuhan
Veröffentlicht: (2026)

Pre-Calc: Learning to Use the Calculator Improves Numeracy in Language Models
von: Veerendranath, Vishruth, et al.
Veröffentlicht: (2024)

MedConsultBench: A Full-Cycle, Fine-Grained, Process-Aware Benchmark for Medical Consultation Agents
von: Qiao, Chuhan, et al.
Veröffentlicht: (2026)

CombiBench: Benchmarking LLM Capability for Combinatorial Mathematics
von: Liu, Junqi, et al.
Veröffentlicht: (2025)

CricBench: A Multilingual Benchmark for Evaluating LLMs in Cricket Analytics
von: Agarwal, Parth, et al.
Veröffentlicht: (2025)

TIDE-Bench: Task-Aware and Diagnostic Evaluation of Tool-Integrated Reasoning
von: Li, Yize, et al.
Veröffentlicht: (2026)

VGA-Bench: A Unified Benchmark and Multi-Model Framework for Video Aesthetics and Generation Quality Evaluation
von: Jiang, Longteng, et al.
Veröffentlicht: (2026)

LLMRouterBench: A Massive Benchmark and Unified Framework for LLM Routing
von: Li, Hao, et al.
Veröffentlicht: (2026)

CT-FineBench: A Diagnostic Fidelity Benchmark for Fine-Grained Evaluation of CT Report Generation
von: Yuan, Ruifeng, et al.
Veröffentlicht: (2026)

MedDialBench: Benchmarking LLM Diagnostic Robustness under Parametric Adversarial Patient Behaviors
von: Luo, Xiaotian, et al.
Veröffentlicht: (2026)

Web-Bench: A LLM Code Benchmark Based on Web Standards and Frameworks
von: Xu, Kai, et al.
Veröffentlicht: (2025)

Mobile-Bench: An Evaluation Benchmark for LLM-based Mobile Agents
von: Deng, Shihan, et al.
Veröffentlicht: (2024)

AEC-Bench: A Multimodal Benchmark for Agentic Systems in Architecture, Engineering, and Construction
von: Mankodiya, Harsh, et al.
Veröffentlicht: (2026)

Bench4KE: Benchmarking Automated Competency Question Generation
von: Lippolis, Anna Sofia, et al.
Veröffentlicht: (2025)

EngiBench: A Benchmark for Evaluating Large Language Models on Engineering Problem Solving
von: Zhou, Xiyuan, et al.
Veröffentlicht: (2025)

StarBench: A Turn-Based RPG Benchmark for Agentic Multimodal Decision-Making and Information Seeking
von: Zhang, Haoran, et al.
Veröffentlicht: (2025)

SepsisCalc: Integrating Clinical Calculators into Early Sepsis Prediction via Dynamic Temporal Graph Construction
von: Yin, Changchang, et al.
Veröffentlicht: (2024)

NeuroBench: A Framework for Benchmarking Neuromorphic Computing Algorithms and Systems
von: Yik, Jason, et al.
Veröffentlicht: (2023)

RouterBench: A Benchmark for Multi-LLM Routing System
von: Hu, Qitian Jason, et al.
Veröffentlicht: (2024)

EnvSimBench: A Benchmark for Evaluating and Improving LLM-Based Environment Simulation
von: Liu, Yi, et al.
Veröffentlicht: (2026)

PHM-Bench: A Domain-Specific Benchmarking Framework for Systematic Evaluation of Large Models in Prognostics and Health Management
von: Yang, Puyu, et al.
Veröffentlicht: (2025)

CXReasonBench: A Benchmark for Evaluating Structured Diagnostic Reasoning in Chest X-rays
von: Lee, Hyungyung, et al.
Veröffentlicht: (2025)

Segmenting Human-LLM Co-authored Text via Change Point Detection
von: Li, Mengchu, et al.
Veröffentlicht: (2026)

JudgeBench: A Benchmark for Evaluating LLM-based Judges
von: Tan, Sijun, et al.
Veröffentlicht: (2024)

SemBench: A Universal Semantic Framework for LLM Evaluation
von: Zubillaga, Mikel, et al.
Veröffentlicht: (2026)

NewtonBench: Benchmarking Generalizable Scientific Law Discovery in LLM Agents
von: Zheng, Tianshi, et al.
Veröffentlicht: (2025)

LifelongAgentBench: Evaluating LLM Agents as Lifelong Learners
von: Zheng, Junhao, et al.
Veröffentlicht: (2025)

LoCoBench-Agent: An Interactive Benchmark for LLM Agents in Long-Context Software Engineering
von: Qiu, Jielin, et al.
Veröffentlicht: (2025)

When Agents Fail to Act: A Diagnostic Framework for Tool Invocation Reliability in Multi-Agent LLM Systems
von: Huang, Donghao, et al.
Veröffentlicht: (2026)