Buchumschlag

DEEP: Docker-based Execution and Evaluation Platform

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	González, Sergio Gómez, Domingo, Miguel, Casacuberta, Francisco
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Comparative Evaluation of Machine Translation Systems on Images with Text
von: Puchol, Blai, et al.
Veröffentlicht: (2026)

Two Spelling Normalization Approaches Based on Large Language Models
von: Domingo, Miguel, et al.
Veröffentlicht: (2025)

Segment-Based Interactive Machine Translation for Pre-trained Models
von: Navarro, Angel, et al.
Veröffentlicht: (2024)

Efficient Continual Learning in Neural Machine Translation: A Low-Rank Adaptation Approach
von: Carrión, Salvador, et al.
Veröffentlicht: (2025)

DEEP: Edge-based Dataflow Processing with Hybrid Docker Hub and Regional Registries
von: Mehran, Narges, et al.
Veröffentlicht: (2025)

Large-Scale Terminal Agentic Trajectory Generation from Dockerized Environments
von: Wu, Siwei, et al.
Veröffentlicht: (2026)

SWE-World: Building Software Engineering Agents in Docker-Free Environments
von: Sun, Shuang, et al.
Veröffentlicht: (2026)

OneKE: A Dockerized Schema-Guided LLM Agent-based Knowledge Extraction System
von: Luo, Yujie, et al.
Veröffentlicht: (2024)

Evaluation of Oncotimia: An LLM based system for supporting tumour boards
von: Lorenzo, Luis, et al.
Veröffentlicht: (2026)

ExecRepoBench: Multi-level Executable Code Completion Evaluation
von: Yang, Jian, et al.
Veröffentlicht: (2024)

L0-Reasoning Bench: Evaluating Procedural Correctness in Language Models via Simple Program Execution
von: Sun, Simeng, et al.
Veröffentlicht: (2025)

Detecting Errors through Ensembling Prompts (DEEP): An End-to-End LLM Framework for Detecting Factual Errors
von: Chandler, Alex, et al.
Veröffentlicht: (2024)

Beyond Benchmarks: MathArena as an Evaluation Platform for Mathematics with LLMs
von: Dekoninck, Jasper, et al.
Veröffentlicht: (2026)

Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference
von: Chiang, Wei-Lin, et al.
Veröffentlicht: (2024)

From SWE-ZERO to SWE-HERO: Execution-free to Execution-based Fine-tuning for Software Engineering Agents
von: Ludwig, Nikolai, et al.
Veröffentlicht: (2026)

UltraEval: A Lightweight Platform for Flexible and Comprehensive Evaluation for LLMs
von: He, Chaoqun, et al.
Veröffentlicht: (2024)

The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research
von: Bai, Xiaoyan, et al.
Veröffentlicht: (2026)

MRAG-Suite: A Diagnostic Evaluation Platform for Visual Retrieval-Augmented Generation
von: Ji, Yuelyu, et al.
Veröffentlicht: (2025)

Towards Personalized Evaluation of Large Language Models with An Anonymous Crowd-Sourcing Platform
von: Cheng, Mingyue, et al.
Veröffentlicht: (2024)

Jackal: A Real-World Execution-Based Benchmark Evaluating Large Language Models on Text-to-JQL Tasks
von: Frank, Kevin, et al.
Veröffentlicht: (2025)

CodeScope: An Execution-based Multilingual Multitask Multidimensional Benchmark for Evaluating LLMs on Code Understanding and Generation
von: Yan, Weixiang, et al.
Veröffentlicht: (2023)

EcoGym: Evaluating LLMs for Long-Horizon Plan-and-Execute in Interactive Economies
von: Hu, Xavier, et al.
Veröffentlicht: (2026)

Execution-Based Evaluation of Natural Language to Bash and PowerShell for Incident Remediation
von: Vo, Ngoc Phuoc An, et al.
Veröffentlicht: (2024)

Cross-Platform Evaluation of Reasoning Capabilities in Foundation Models
von: de Curtò, J., et al.
Veröffentlicht: (2025)

QuantCode-Bench: A Benchmark for Evaluating the Ability of Large Language Models to Generate Executable Algorithmic Trading Strategies
von: Khoroshilov, Alexey, et al.
Veröffentlicht: (2026)

VIDEE: Visual and Interactive Decomposition, Execution, and Evaluation of Text Analytics with Intelligent Agents
von: Lee, Sam Yu-Te, et al.
Veröffentlicht: (2025)

Query and Conquer: Execution-Guided SQL Generation
von: Borchmann, Łukasz, et al.
Veröffentlicht: (2025)

SPEED: Speculative Pipelined Execution for Efficient Decoding
von: Hooper, Coleman, et al.
Veröffentlicht: (2023)

The Self-Execution Benchmark: Measuring LLMs' Attempts to Overcome Their Lack of Self-Execution
von: Ezra, Elon, et al.
Veröffentlicht: (2025)

CodeHalu: Investigating Code Hallucinations in LLMs via Execution-based Verification
von: Tian, Yuchen, et al.
Veröffentlicht: (2024)

CodeBenchGen: Creating Scalable Execution-based Code Generation Benchmarks
von: Xie, Yiqing, et al.
Veröffentlicht: (2024)

Resource Management Schemes for Cloud-Native Platforms with Computing Containers of Docker and Kubernetes
von: Mao, Ying, et al.
Veröffentlicht: (2020)

MMBench-GUI: Hierarchical Multi-Platform Evaluation Framework for GUI Agents
von: Wang, Xuehui, et al.
Veröffentlicht: (2025)

ASPERA: A Simulated Environment to Evaluate Planning for Complex Action Execution
von: Coca, Alexandru, et al.
Veröffentlicht: (2025)

Large Language Model Critics for Execution-Free Evaluation of Code Changes
von: Yadavally, Aashish, et al.
Veröffentlicht: (2025)

MGTEVAL: An Interactive Platform for Systemtic Evaluation of Machine-Generated Text Detectors
von: Li, Yuanfan, et al.
Veröffentlicht: (2026)

OpenCompass: A Universal Evaluation Platform for Large Language Models
von: Cao, Maosong, et al.
Veröffentlicht: (2026)

QGen Studio: An Adaptive Question-Answer Generation, Training and Evaluation Platform
von: Moses, Movina, et al.
Veröffentlicht: (2025)

Deflanderization for Game Dialogue: Balancing Character Authenticity with Task Execution in LLM-based NPCs
von: Buakhaw, Pasin, et al.
Veröffentlicht: (2025)

From Legal Text to Executable Decision Models: Evaluating Structured Representations for Legal Decision Model Generation
von: Graus, David
Veröffentlicht: (2026)