Buchumschlag

Limitations of Current Evaluation Practices for Conversational Recommender Systems and the Potential of User Simulation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bernard, Nolwenn, Balog, Krisztian
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Information Retrieval
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

UserSimCRS v2: Simulation-Based Evaluation for Conversational Recommender Systems
von: Bernard, Nolwenn, et al.
Veröffentlicht: (2025)

Identifying Breakdowns in Conversational Recommender Systems using User Simulation
von: Bernard, Nolwenn, et al.
Veröffentlicht: (2024)

Towards a Formal Characterization of User Simulation Objectives in Conversational Information Access
von: Bernard, Nolwenn, et al.
Veröffentlicht: (2024)

CRS Arena: Crowdsourced Benchmarking of Conversational Recommender Systems
von: Bernard, Nolwenn, et al.
Veröffentlicht: (2024)

IAI MovieBot 2.0: An Enhanced Research Platform with Trainable Neural Components and Transparent User Modeling
von: Bernard, Nolwenn, et al.
Veröffentlicht: (2024)

SimLab: A Platform for Simulation-based Evaluation of Conversational Information Access Systems
von: Bernard, Nolwenn, et al.
Veröffentlicht: (2025)

A Standardized Re-evaluation of Conversational Recommender Systems on the ReDial Dataset
von: Kostric, Ivica, et al.
Veröffentlicht: (2026)

Know Your Users! Estimating User Domain Knowledge in Conversational Recommenders
von: Kostric, Ivica, et al.
Veröffentlicht: (2025)

SciNUP: Natural Language User Interest Profiles for Scientific Literature Recommendation
von: Arustashvili, Mariam, et al.
Veröffentlicht: (2025)

User Simulation for Evaluating Information Access Systems
von: Balog, Krisztian, et al.
Veröffentlicht: (2023)

Should We Tailor the Talk? Understanding the Impact of Conversational Styles on Preference Elicitation in Conversational Recommender Systems
von: Kostric, Ivica, et al.
Veröffentlicht: (2025)

User Simulation in the Era of Generative AI: User Modeling, Synthetic Data Generation, and System Evaluation
von: Balog, Krisztian, et al.
Veröffentlicht: (2025)

Dataset and Models for Item Recommendation Using Multi-Modal User Interactions
von: Bruun, Simone Borg, et al.
Veröffentlicht: (2024)

Trust Me on This: A User Study of Trustworthiness for RAG Responses
von: Łajewska, Weronika, et al.
Veröffentlicht: (2026)

Generating Usage-related Questions for Preference Elicitation in Conversational Recommender Systems
von: Kostric, Ivica, et al.
Veröffentlicht: (2021)

A Surprisingly Simple yet Effective Multi-Query Rewriting Method for Conversational Passage Retrieval
von: Kostric, Ivica, et al.
Veröffentlicht: (2024)

Can Users Detect Biases or Factual Errors in Generated Responses in Conversational Information-Seeking?
von: Łajewska, Weronika, et al.
Veröffentlicht: (2024)

An Ecosystem for Personal Knowledge Graphs: A Survey and Research Roadmap
von: Skjæveland, Martin G., et al.
Veröffentlicht: (2023)

Towards Reliable and Factual Response Generation: Detecting Unanswerable Questions in Information-Seeking Conversations
von: Łajewska, Weronika, et al.
Veröffentlicht: (2024)

Towards Self-Contained Answers: Entity-Based Answer Rewriting in Conversational Search
von: Sekulić, Ivan, et al.
Veröffentlicht: (2024)

Sim4IA-Bench: A User Simulation Benchmark Suite for Next Query and Utterance Prediction
von: Kruff, Andreas Konstantin, et al.
Veröffentlicht: (2025)

GINGER: Grounded Information Nugget-Based Generation of Responses
von: Łajewska, Weronika, et al.
Veröffentlicht: (2025)

Estimating the Usefulness of Clarifying Questions and Answers for Conversational Search
von: Sekulić, Ivan, et al.
Veröffentlicht: (2024)

Explainability for Transparent Conversational Information-Seeking
von: Łajewska, Weronika, et al.
Veröffentlicht: (2024)

On the Reliability of User-Centric Evaluation of Conversational Recommender Systems
von: Müller, Michael, et al.
Veröffentlicht: (2026)

Validating Search Query Simulations: A Taxonomy of Measures
von: Kruff, Andreas Konstantin, et al.
Veröffentlicht: (2026)

Decision-aware User Simulation Agent for Evaluating Conversational Recommender Systems
von: Li, Yuan-Chi, et al.
Veröffentlicht: (2026)

Stop Playing the Guessing Game! Target-free User Simulation for Evaluating Conversational Recommender Systems
von: Kim, Sunghwan, et al.
Veröffentlicht: (2024)

Rankers, Judges, and Assistants: Towards Understanding the Interplay of LLMs in Information Retrieval Evaluation
von: Balog, Krisztian, et al.
Veröffentlicht: (2025)

What Else Would I Like? A User Simulator using Alternatives for Improved Evaluation of Fashion Conversational Recommendation Systems
von: Vlachou, Maria, et al.
Veröffentlicht: (2024)

Evaluating Conversational Recommender Systems via Large Language Models: A User-Centric Framework
von: Chen, Nuo, et al.
Veröffentlicht: (2025)

UiS-IAI@LiveRAG: Retrieval-Augmented Information Nugget-Based Generation of Responses
von: Łajewska, Weronika, et al.
Veröffentlicht: (2025)

Report on the Workshop on Simulations for Information Access (Sim4IA 2024) at SIGIR 2024
von: Breuer, Timo, et al.
Veröffentlicht: (2024)

Evaluating Large Language Models as Generative User Simulators for Conversational Recommendation
von: Yoon, Se-eun, et al.
Veröffentlicht: (2024)

Towards Realistic Synthetic User-Generated Content: A Scaffolding Approach to Generating Online Discussions
von: Balog, Krisztian, et al.
Veröffentlicht: (2024)

User Simulator-Guided Multi-Turn Preference Optimization for Reasoning LLM-based Conversational Recommendation
von: Xiang, Xingyuan, et al.
Veröffentlicht: (2026)

LLM-Powered User Simulator for Recommender System
von: Zhang, Zijian, et al.
Veröffentlicht: (2024)

Exploring the Potential of LLMs for Serendipity Evaluation in Recommender Systems
von: Kang, Li, et al.
Veröffentlicht: (2025)

Temporal-Aware User Behaviour Simulation with Large Language Models for Recommender Systems
von: Wanyan, Xinye, et al.
Veröffentlicht: (2025)

Federated Conversational Recommender System
von: Lin, Allen, et al.
Veröffentlicht: (2025)