Buchumschlag

DeepTest Tool Competition 2026: Benchmarking an LLM-Based Automotive Assistant

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sorokin, Lev, Vasilev, Ivan, Pasini, Samuele
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Can Search-Based Testing with Pareto Optimization Effectively Cover Failure-Revealing Test Inputs?
von: Sorokin, Lev, et al.
Veröffentlicht: (2024)

Simulator Ensembles for Trustworthy Autonomous Driving Testing
von: Sorokin, Lev, et al.
Veröffentlicht: (2025)

STELLAR: A Search-Based Testing Framework for Large Language Model Applications
von: Sorokin, Lev, et al.
Veröffentlicht: (2026)

Detecting Trojaned DNNs via Spectral Regression Analysis
von: Pasini, Samuele, et al.
Veröffentlicht: (2026)

Automated Factual Benchmarking for In-Car Conversational Systems using Large Language Models
von: Giebisch, Rafael, et al.
Veröffentlicht: (2025)

BABILong: Testing the Limits of LLMs with Long Context Reasoning-in-a-Haystack
von: Kuratov, Yuri, et al.
Veröffentlicht: (2024)

VoiceBench: Benchmarking LLM-Based Voice Assistants
von: Chen, Yiming, et al.
Veröffentlicht: (2024)

Cross-site scripting adversarial attacks based on deep reinforcement learning: Evaluation and extension study
von: Pasini, Samuele, et al.
Veröffentlicht: (2025)

LLM-Based Approach for Enhancing Maintainability of Automotive Architectures
von: Petrovic, Nenad, et al.
Veröffentlicht: (2025)

ELABORATION: A Comprehensive Benchmark on Human-LLM Competitive Programming
von: Yang, Xinwei, et al.
Veröffentlicht: (2025)

Hallucination in LLM-Based Code Generation: An Automotive Case Study
von: Pavel, Marc, et al.
Veröffentlicht: (2025)

ToolFuzz -- Automated Agent Tool Testing
von: Milev, Ivan, et al.
Veröffentlicht: (2025)

Towards Specification-Driven LLM-Based Generation of Embedded Automotive Software
von: Patil, Minal Suresh, et al.
Veröffentlicht: (2024)

Automotive innovation landscaping using LLM
von: Gorain, Raju, et al.
Veröffentlicht: (2024)

LLM-based Iterative Approach to Metamodeling in Automotive
von: Petrovic, Nenad, et al.
Veröffentlicht: (2025)

SimuAgent: An LLM-Based Simulink Modeling Assistant Enhanced with Reinforcement Learning
von: Liang, Yanchang, et al.
Veröffentlicht: (2026)

User Misconceptions of LLM-Based Conversational Programming Assistants
von: O'Brien, Gabrielle, et al.
Veröffentlicht: (2025)

BPMN Assistant: An LLM-Based Approach to Business Process Modeling
von: Licardo, Josip Tomo, et al.
Veröffentlicht: (2025)

Disrupting Test Development with AI Assistants
von: Joshi, Vijay, et al.
Veröffentlicht: (2024)

Internship Report: Benchmark of Deep Learning-based Imaging PPG in Automotive Domain
von: Tu, Yuqi, et al.
Veröffentlicht: (2024)

The Base-Rate Effect on LLM Benchmark Performance: Disambiguating Test-Taking Strategies from Benchmark Performance
von: Moore, Kyle, et al.
Veröffentlicht: (2024)

HeroBench: A Benchmark for Long-Horizon Planning and Structured Reasoning in Virtual Worlds
von: Anokhin, Petr, et al.
Veröffentlicht: (2025)

Benchmarking LLM Tool-Use in the Wild
von: Yu, Peijie, et al.
Veröffentlicht: (2026)

Intelligent Assistants for the Semiconductor Failure Analysis with LLM-Based Planning Agents
von: Dobrovsky, Aline, et al.
Veröffentlicht: (2025)

DriveSafe: A Hierarchical Risk Taxonomy for Safety-Critical LLM-Based Driving Assistants
von: Kumar, Abhishek, et al.
Veröffentlicht: (2026)

Profit is the Red Team: Stress-Testing Agents in Strategic Economic Interactions
von: Wang, Shouqiao, et al.
Veröffentlicht: (2026)

LLM-Empowered Functional Safety and Security by Design in Automotive Systems
von: Petrovic, Nenad, et al.
Veröffentlicht: (2026)

LiveClawBench: Benchmarking LLM Agents on Complex, Real-World Assistant Tasks
von: Long, Xiang, et al.
Veröffentlicht: (2026)

CI-Bench: Benchmarking Contextual Integrity of AI Assistants on Synthetic Data
von: Cheng, Zhao, et al.
Veröffentlicht: (2024)

LLM-Based Agents for Competitive Landscape Mapping in Drug Asset Due Diligence
von: Vinogradov, Vlad, et al.
Veröffentlicht: (2025)

AssistantX: An LLM-Powered Proactive Assistant in Collaborative Human-Populated Environment
von: Sun, Nan, et al.
Veröffentlicht: (2024)

Benchmark Test-Time Scaling of General LLM Agents
von: Li, Xiaochuan, et al.
Veröffentlicht: (2026)

DeepWriter: A Fact-Grounded Multimodal Writing Assistant Based On Offline Knowledge Base
von: Mao, Song, et al.
Veröffentlicht: (2025)

Reward Hacking Benchmark: Measuring Exploits in LLM Agents with Tool Use
von: Thaman, Kunvar
Veröffentlicht: (2026)

AgentNoiseBench: Benchmarking Robustness of Tool-Using LLM Agents Under Noisy Condition
von: Wang, Ruipeng, et al.
Veröffentlicht: (2026)

Tests as Prompt: A Test-Driven-Development Benchmark for LLM Code Generation
von: Cui, Yi
Veröffentlicht: (2025)

A Large-Scale Real-World Evaluation of LLM-Based Virtual Teaching Assistant
von: Kweon, Sunjun, et al.
Veröffentlicht: (2025)

FaMA: LLM-Empowered Agentic Assistant for Consumer-to-Consumer Marketplace
von: Yan, Yineng, et al.
Veröffentlicht: (2025)

Curiosity by Design: An LLM-based Coding Assistant Asking Clarification Questions
von: Darji, Harsh, et al.
Veröffentlicht: (2025)

SiriusHelper: An LLM Agent-Based Operations Assistant for Big Data Platforms
von: Shen, Yu, et al.
Veröffentlicht: (2026)