Buchumschlag

AutomationBench

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Shepard, Daniel, Salimans, Robin
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Automating Document Intelligence in Statutory City Planning
von: Malmqvist, Lars, et al.
Veröffentlicht: (2026)

Adopting Large Language Models to Automated System Integration
von: Pesl, Robin D.
Veröffentlicht: (2025)

Multistep Distillation of Diffusion Models via Moment Matching
von: Salimans, Tim, et al.
Veröffentlicht: (2024)

MonitoringBench: Semi-Automated Red-Teaming for Agent Monitoring
von: Jotautaitė, Monika, et al.
Veröffentlicht: (2026)

TaskBench: Benchmarking Large Language Models for Task Automation
von: Shen, Yongliang, et al.
Veröffentlicht: (2023)

Bench4KE: Benchmarking Automated Competency Question Generation
von: Lippolis, Anna Sofia, et al.
Veröffentlicht: (2025)

LiveMedBench: A Contamination-Free Medical Benchmark for LLMs with Automated Rubric Evaluation
von: Yan, Zhiling, et al.
Veröffentlicht: (2026)

BacktestBench: Benchmarking Large Language Models for Automated Quantitative Strategy Backtesting
von: Wang, Zhensheng, et al.
Veröffentlicht: (2026)

DeepScholar-Bench: A Live Benchmark and Automated Evaluation for Generative Research Synthesis
von: Patel, Liana, et al.
Veröffentlicht: (2025)

FRACTURED-SORRY-Bench: Framework for Revealing Attacks in Conversational Turns Undermining Refusal Efficacy and Defenses over SORRY-Bench (Automated Multi-shot Jailbreaks)
von: Priyanshu, Aman, et al.
Veröffentlicht: (2024)

IsoBench: Benchmarking Multimodal Foundation Models on Isomorphic Representations
von: Fu, Deqing, et al.
Veröffentlicht: (2024)

SPICE: An Automated SWE-Bench Labeling Pipeline for Issue Clarity, Test Coverage, and Effort Estimation
von: Oliva, Gustavo A., et al.
Veröffentlicht: (2025)

AssetOpsBench: Benchmarking AI Agents for Task Automation in Industrial Asset Operations and Maintenance
von: Patel, Dhaval, et al.
Veröffentlicht: (2025)

Automated Generation and Tagging of Knowledge Components from Multiple-Choice Questions
von: Moore, Steven, et al.
Veröffentlicht: (2024)

Counterfactual Reasoning in Automated Planning
von: Pozanco, Alberto, et al.
Veröffentlicht: (2026)

PostTrainBench: Can LLM Agents Automate LLM Post-Training?
von: Rank, Ben, et al.
Veröffentlicht: (2026)

BenchGuard: Who Guards the Benchmarks? Automated Auditing of LLM Agent Benchmarks
von: Tu, Xinming, et al.
Veröffentlicht: (2026)

DrafterBench: Benchmarking Large Language Models for Tasks Automation in Civil Engineering
von: Li, Yinsheng, et al.
Veröffentlicht: (2025)

CHI-Bench: Can AI Agents Automate End-to-End, Long-Horizon, Policy-Rich Healthcare Workflows?
von: Chen, Haolin, et al.
Veröffentlicht: (2026)

Deep Research Bench: Evaluating AI Web Research Agents
von: FutureSearch, et al.
Veröffentlicht: (2025)

ELT-Bench: An End-to-End Benchmark for Evaluating AI Agents on ELT Pipelines
von: Jin, Tengjun, et al.
Veröffentlicht: (2025)

RamanBench: A Large-Scale Benchmark for Machine Learning on Raman Spectroscopy
von: Koddenbrock, Mario, et al.
Veröffentlicht: (2026)

EM Distillation for One-step Diffusion Models
von: Xie, Sirui, et al.
Veröffentlicht: (2024)

MacroBench: A Novel Testbed for Web Automation Scripts via Large Language Models
von: Kim, Hyunjun, et al.
Veröffentlicht: (2025)

TeamBench: Evaluating Agent Coordination under Enforced Role Separation
von: Kim, Yubin, et al.
Veröffentlicht: (2026)

TaoBench: Do Automated Theorem Prover LLMs Generalize Beyond MathLib?
von: Taylor, Alexander K, et al.
Veröffentlicht: (2026)

WorkstreamBench: Evaluating LLM Agents on End-to-End Spreadsheet Tasks in Finance
von: Yen, Thomson, et al.
Veröffentlicht: (2026)

Riemann-Bench: A Benchmark for Moonshot Mathematics
von: Garre, Suhaas, et al.
Veröffentlicht: (2026)

JobBench: Aligning Agent Work With Human Will
von: Li, Yuetai, et al.
Veröffentlicht: (2026)

A Graph-Attentive LSTM Model for Malicious URL Detection
von: Hossain, Md. Ifthekhar, et al.
Veröffentlicht: (2025)

Sales Research Agent and Sales Research Bench
von: Bhol, Deepanjan
Veröffentlicht: (2025)

REMOR: Automated Peer Review Generation with LLM Reasoning and Multi-Objective Reinforcement Learning
von: Taechoyotin, Pawin, et al.
Veröffentlicht: (2025)

Framing AI System Benchmarking as a Learning Task: FlexBench and the Open MLPerf Dataset
von: Fursin, Grigori, et al.
Veröffentlicht: (2025)

ManipBench: Benchmarking Vision-Language Models for Low-Level Robot Manipulation
von: Zhao, Enyu, et al.
Veröffentlicht: (2025)

Automating Thought of Search: A Journey Towards Soundness and Completeness
von: Cao, Daniel, et al.
Veröffentlicht: (2024)

ReEfBench: Quantifying the Reasoning Efficiency of LLMs
von: Fu, Zhizhang, et al.
Veröffentlicht: (2026)

FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights
von: Wang, Zhen, et al.
Veröffentlicht: (2026)

ConvexBench: Can LLMs Recognize Convex Functions?
von: Liu, Yepeng, et al.
Veröffentlicht: (2026)

IndustryBench: Probing the Industrial Knowledge Boundaries of LLMs
von: Bai, Songlin, et al.
Veröffentlicht: (2026)

CombiBench: Benchmarking LLM Capability for Combinatorial Mathematics
von: Liu, Junqi, et al.
Veröffentlicht: (2025)