How Reliable is Your Simulator? Analysis on the Limitations of Current LLM-based User Simulators for Conversational Recommendation
Fuente:
arXiv
Salvato in:
| Autori principali: | Zhu, Lixi, Huang, Xiaowen, Sang, Jitao |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2024
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
A LLM-based Controllable, Scalable, Human-Involved User Simulator Framework for Conversational Recommender Systems
di: Zhu, Lixi, et al.
Pubblicazione: (2024)
di: Zhu, Lixi, et al.
Pubblicazione: (2024)
ITDR: An Instruction Tuning Dataset for Enhancing Large Language Models in Recommendations
di: Liu, Zekun, et al.
Pubblicazione: (2025)
di: Liu, Zekun, et al.
Pubblicazione: (2025)
Membership Inference Attack against Large Language Model-based Recommendation Systems: A New Distillation-based Paradigm
di: Cuihong, Li, et al.
Pubblicazione: (2025)
di: Cuihong, Li, et al.
Pubblicazione: (2025)
Exploring the Privacy Protection Capabilities of Chinese Large Language Models
di: Yang, Yuqi, et al.
Pubblicazione: (2024)
di: Yang, Yuqi, et al.
Pubblicazione: (2024)
LLM-Powered User Simulator for Recommender System
di: Zhang, Zijian, et al.
Pubblicazione: (2024)
di: Zhang, Zijian, et al.
Pubblicazione: (2024)
A Disguised Wolf Is More Harmful Than a Toothless Tiger: Adaptive Malicious Code Injection Backdoor Attack Leveraging User Behavior as Triggers
di: Wu, Shangxi, et al.
Pubblicazione: (2024)
di: Wu, Shangxi, et al.
Pubblicazione: (2024)
RecUserSim: A Realistic and Diverse User Simulator for Evaluating Conversational Recommender Systems
di: Chen, Luyu, et al.
Pubblicazione: (2025)
di: Chen, Luyu, et al.
Pubblicazione: (2025)
Decision-aware User Simulation Agent for Evaluating Conversational Recommender Systems
di: Li, Yuan-Chi, et al.
Pubblicazione: (2026)
di: Li, Yuan-Chi, et al.
Pubblicazione: (2026)
Goal Alignment in LLM-Based User Simulators for Conversational AI
di: Mehri, Shuhaib, et al.
Pubblicazione: (2025)
di: Mehri, Shuhaib, et al.
Pubblicazione: (2025)
Evaluating Large Language Models as Generative User Simulators for Conversational Recommendation
di: Yoon, Se-eun, et al.
Pubblicazione: (2024)
di: Yoon, Se-eun, et al.
Pubblicazione: (2024)
Positional Failures in Long-Context LLMs: A Blind Spot in Reasoning Benchmarks
di: Zhang, Chuyifei, et al.
Pubblicazione: (2026)
di: Zhang, Chuyifei, et al.
Pubblicazione: (2026)
LLM-Based User Simulation for Low-Knowledge Shilling Attacks on Recommender Systems
di: Gu, Shengkang, et al.
Pubblicazione: (2025)
di: Gu, Shengkang, et al.
Pubblicazione: (2025)
Reasoning Shapes Alignment: Investigating Cultural Alignment in Large Reasoning Models with Cultural Norms
di: Wang, Yuhang, et al.
Pubblicazione: (2025)
di: Wang, Yuhang, et al.
Pubblicazione: (2025)
Simulating User Agents for Embodied Conversational-AI
di: Philipov, Daniel, et al.
Pubblicazione: (2024)
di: Philipov, Daniel, et al.
Pubblicazione: (2024)
How Catastrophic is Your LLM? Certifying Risk in Conversation
di: Wang, Chengxiao, et al.
Pubblicazione: (2025)
di: Wang, Chengxiao, et al.
Pubblicazione: (2025)
KG-FPQ: Evaluating Factuality Hallucination in LLMs with Knowledge Graph-based False Premise Questions
di: Zhu, Yanxu, et al.
Pubblicazione: (2024)
di: Zhu, Yanxu, et al.
Pubblicazione: (2024)
Interplay: Training Independent Simulators for Reference-Free Conversational Recommendation
di: Ramos, Jerome, et al.
Pubblicazione: (2026)
di: Ramos, Jerome, et al.
Pubblicazione: (2026)
Agentic Feedback Loop Modeling Improves Recommendation and User Simulation
di: Cai, Shihao, et al.
Pubblicazione: (2024)
di: Cai, Shihao, et al.
Pubblicazione: (2024)
Understanding the Information Cocoon: A Multidimensional Assessment and Analysis of News Recommendation Systems
di: Wang, Xin, et al.
Pubblicazione: (2025)
di: Wang, Xin, et al.
Pubblicazione: (2025)
PRISM: Prompt Reliability via Iterative Simulation and Monitoring for Enterprise Conversational AI
di: Chaitanya, Keshava, et al.
Pubblicazione: (2026)
di: Chaitanya, Keshava, et al.
Pubblicazione: (2026)
Lost in Simulation: LLM-Simulated Users are Unreliable Proxies for Human Users in Agentic Evaluations
di: Seshadri, Preethi, et al.
Pubblicazione: (2026)
di: Seshadri, Preethi, et al.
Pubblicazione: (2026)
Self-Guided Defense: Adaptive Safety Alignment for Reasoning Models via Synthesized Guidelines
di: Wang, Yuhang, et al.
Pubblicazione: (2025)
di: Wang, Yuhang, et al.
Pubblicazione: (2025)
SimUSER: Simulating User Behavior with Large Language Models for Recommender System Evaluation
di: Bougie, Nicolas, et al.
Pubblicazione: (2025)
di: Bougie, Nicolas, et al.
Pubblicazione: (2025)
Unifying Perplexing Behaviors in Modified BP Attributions through Alignment Perspective
di: Zheng, Guanhua, et al.
Pubblicazione: (2025)
di: Zheng, Guanhua, et al.
Pubblicazione: (2025)
Limitations of Agents Simulated by Predictive Models
di: Douglas, Raymond, et al.
Pubblicazione: (2024)
di: Douglas, Raymond, et al.
Pubblicazione: (2024)
How Well Can LLM Agents Simulate End-User Security and Privacy Attitudes and Behaviors?
di: Li, Yuxuan, et al.
Pubblicazione: (2026)
di: Li, Yuxuan, et al.
Pubblicazione: (2026)
OmniReview: A Large-scale Benchmark and LLM-enhanced Framework for Realistic Reviewer Recommendation
di: Huang, Yehua, et al.
Pubblicazione: (2026)
di: Huang, Yehua, et al.
Pubblicazione: (2026)
WebSynthesis: World-Model-Guided MCTS for Efficient WebUI-Trajectory Synthesis
di: Gao, Yifei, et al.
Pubblicazione: (2025)
di: Gao, Yifei, et al.
Pubblicazione: (2025)
CSPO: Alleviating Reward Ambiguity for Structured Table-to-LaTeX Generation
di: Yang, Yunfan, et al.
Pubblicazione: (2026)
di: Yang, Yunfan, et al.
Pubblicazione: (2026)
A Personalized Conversational Benchmark: Towards Simulating Personalized Conversations
di: Li, Li, et al.
Pubblicazione: (2025)
di: Li, Li, et al.
Pubblicazione: (2025)
The Indispensable Role of User Simulation in the Pursuit of AGI
di: Balog, Krisztian, et al.
Pubblicazione: (2025)
di: Balog, Krisztian, et al.
Pubblicazione: (2025)
Stop Listening to Me! How Multi-turn Conversations Can Degrade LLM Reliability
di: Guo, Kevin H., et al.
Pubblicazione: (2026)
di: Guo, Kevin H., et al.
Pubblicazione: (2026)
Navigating User Experience of ChatGPT-based Conversational Recommender Systems: The Effects of Prompt Guidance and Recommendation Domain
di: Zhang, Yizhe, et al.
Pubblicazione: (2024)
di: Zhang, Yizhe, et al.
Pubblicazione: (2024)
User Behavior Simulation with Large Language Model based Agents
di: Wang, Lei, et al.
Pubblicazione: (2023)
di: Wang, Lei, et al.
Pubblicazione: (2023)
Backdoor for Debias: Mitigating Model Bias with Backdoor Attack-based Artificial Bias
di: Wu, Shangxi, et al.
Pubblicazione: (2023)
di: Wu, Shangxi, et al.
Pubblicazione: (2023)
Controllable User Simulation
di: Tennenholtz, Guy, et al.
Pubblicazione: (2026)
di: Tennenholtz, Guy, et al.
Pubblicazione: (2026)
Concept -- An Evaluation Protocol on Conversational Recommender Systems with System-centric and User-centric Factors
di: Huang, Chen, et al.
Pubblicazione: (2024)
di: Huang, Chen, et al.
Pubblicazione: (2024)
LLM-Agent-based Social Simulation for Attitude Diffusion
di: Reji, Deepak John
Pubblicazione: (2026)
di: Reji, Deepak John
Pubblicazione: (2026)
M$^3$: Reframing Training Measures for Discretized Physical Simulations
di: Mei, Yuan, et al.
Pubblicazione: (2026)
di: Mei, Yuan, et al.
Pubblicazione: (2026)
Enhancing Dialogue State Tracking Models through LLM-backed User-Agents Simulation
di: Niu, Cheng, et al.
Pubblicazione: (2024)
di: Niu, Cheng, et al.
Pubblicazione: (2024)
Documenti analoghi
-
A LLM-based Controllable, Scalable, Human-Involved User Simulator Framework for Conversational Recommender Systems
di: Zhu, Lixi, et al.
Pubblicazione: (2024) -
ITDR: An Instruction Tuning Dataset for Enhancing Large Language Models in Recommendations
di: Liu, Zekun, et al.
Pubblicazione: (2025) -
Membership Inference Attack against Large Language Model-based Recommendation Systems: A New Distillation-based Paradigm
di: Cuihong, Li, et al.
Pubblicazione: (2025) -
Exploring the Privacy Protection Capabilities of Chinese Large Language Models
di: Yang, Yuqi, et al.
Pubblicazione: (2024) -
LLM-Powered User Simulator for Recommender System
di: Zhang, Zijian, et al.
Pubblicazione: (2024)