User Perceptions vs. Proxy LLM Judges: Privacy and Helpfulness in LLM Responses to Privacy-Sensitive Scenarios
Fuente:
arXiv
Salvato in:
| Autori principali: | Wu, Xiaoyuan, Kaushik, Roshni, Li, Wenkai, Bauer, Lujo, Onoue, Koichi |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2025
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Estimating LLM Consistency: A User Baseline vs Surrogate Metrics
di: Wu, Xiaoyuan, et al.
Pubblicazione: (2025)
di: Wu, Xiaoyuan, et al.
Pubblicazione: (2025)
Examining the Effect of Explanations of AI Privacy Redaction in AI-mediated Interactions
di: Kaushik, Roshni, et al.
Pubblicazione: (2026)
di: Kaushik, Roshni, et al.
Pubblicazione: (2026)
The Impact of Device Type, Data Practices, and Use Case Scenarios on Privacy Concerns about Eye-tracked Augmented Reality in the United States and Germany
di: Bozkir, Efe, et al.
Pubblicazione: (2025)
di: Bozkir, Efe, et al.
Pubblicazione: (2025)
Human-Centred LLM Privacy Audits: Findings and Frictions
di: Staufer, Dimitri, et al.
Pubblicazione: (2026)
di: Staufer, Dimitri, et al.
Pubblicazione: (2026)
Evaluating LLM Adaptation to Sociodemographic Factors: User Profile vs. Dialogue History
di: Zhong, Qishuai, et al.
Pubblicazione: (2025)
di: Zhong, Qishuai, et al.
Pubblicazione: (2025)
Personality as Relational Infrastructure: User Perceptions of Personality-Trait-Infused LLM Messaging
di: Hofer, Dominik P., et al.
Pubblicazione: (2026)
di: Hofer, Dominik P., et al.
Pubblicazione: (2026)
LLM Whisperer: An Inconspicuous Attack to Bias LLM Responses
di: Lin, Weiran, et al.
Pubblicazione: (2024)
di: Lin, Weiran, et al.
Pubblicazione: (2024)
AI vs. Human Judgment of Content Moderation: LLM-as-a-Judge and Ethics-Based Response Refusals
di: Pasch, Stefan
Pubblicazione: (2025)
di: Pasch, Stefan
Pubblicazione: (2025)
Let Them Down Easy! Contextual Effects of LLM Guardrails on User Perceptions and Preferences
di: Zheng, Mingqian, et al.
Pubblicazione: (2025)
di: Zheng, Mingqian, et al.
Pubblicazione: (2025)
Creative Beam Search: LLM-as-a-Judge For Improving Response Generation
di: Franceschelli, Giorgio, et al.
Pubblicazione: (2024)
di: Franceschelli, Giorgio, et al.
Pubblicazione: (2024)
Understanding Users' Privacy Perceptions Towards LLM's RAG-based Memory
di: Zhang, Shuning, et al.
Pubblicazione: (2025)
di: Zhang, Shuning, et al.
Pubblicazione: (2025)
Learned, Lagged, LLM-splained: LLM Responses to End User Security Questions
di: Prakash, Vijay, et al.
Pubblicazione: (2024)
di: Prakash, Vijay, et al.
Pubblicazione: (2024)
Grading Scale Impact on LLM-as-a-Judge: Human-LLM Alignment Is Highest on 0-5 Grading Scale
di: Li, Weiyue, et al.
Pubblicazione: (2026)
di: Li, Weiyue, et al.
Pubblicazione: (2026)
Vibe Check: Understanding the Effects of LLM-Based Conversational Agents' Personality and Alignment on User Perceptions in Goal-Oriented Tasks
di: Rahman, Hasibur, et al.
Pubblicazione: (2025)
di: Rahman, Hasibur, et al.
Pubblicazione: (2025)
Comparing How a Chatbot References User Utterances from Previous Chatting Sessions: An Investigation of Users' Privacy Concerns and Perceptions
di: Cox, Samuel Rhys, et al.
Pubblicazione: (2023)
di: Cox, Samuel Rhys, et al.
Pubblicazione: (2023)
Through the Judge's Eyes: Inferred Thinking Traces Improve Reliability of LLM Raters
di: Zhang, Xingjian, et al.
Pubblicazione: (2025)
di: Zhang, Xingjian, et al.
Pubblicazione: (2025)
The Alternative Annotator Test for LLM-as-a-Judge: How to Statistically Justify Replacing Human Annotators with LLMs
di: Calderon, Nitay, et al.
Pubblicazione: (2025)
di: Calderon, Nitay, et al.
Pubblicazione: (2025)
Understand User Opinions of Large Language Models via LLM-Powered In-the-Moment User Experience Interviews
di: Liu, Mengqiao, et al.
Pubblicazione: (2025)
di: Liu, Mengqiao, et al.
Pubblicazione: (2025)
Epistemic Alignment: A Mediating Framework for User-LLM Knowledge Delivery
di: Clark, Nicholas, et al.
Pubblicazione: (2025)
di: Clark, Nicholas, et al.
Pubblicazione: (2025)
Dialect vs Demographics: Quantifying LLM Bias from Implicit Linguistic Signals vs. Explicit User Profiles
di: Haq, Irti, et al.
Pubblicazione: (2026)
di: Haq, Irti, et al.
Pubblicazione: (2026)
ContextAgent: Context-Aware Proactive LLM Agents with Open-World Sensory Perceptions
di: Yang, Bufang, et al.
Pubblicazione: (2025)
di: Yang, Bufang, et al.
Pubblicazione: (2025)
DailyLLM: Context-Aware Activity Log Generation Using Multi-Modal Sensors and LLMs
di: Tian, Ye, et al.
Pubblicazione: (2025)
di: Tian, Ye, et al.
Pubblicazione: (2025)
Fakes of Varying Shades: How Warning Affects Human Perception and Engagement Regarding LLM Hallucinations
di: Nahar, Mahjabin, et al.
Pubblicazione: (2024)
di: Nahar, Mahjabin, et al.
Pubblicazione: (2024)
Between Rules and Reality: On the Context Sensitivity of LLM Moral Judgment
di: Sauter, Adrian, et al.
Pubblicazione: (2026)
di: Sauter, Adrian, et al.
Pubblicazione: (2026)
Game Development as Human-LLM Interaction
di: Hong, Jiale, et al.
Pubblicazione: (2024)
di: Hong, Jiale, et al.
Pubblicazione: (2024)
Acceptability of AI Assistants for Privacy: Perceptions of Experts and Users on Personalized Privacy Assistants
di: Xu, Meihe, et al.
Pubblicazione: (2025)
di: Xu, Meihe, et al.
Pubblicazione: (2025)
Empowering Users in Digital Privacy Management through Interactive LLM-Based Agents
di: Sun, Bolun, et al.
Pubblicazione: (2024)
di: Sun, Bolun, et al.
Pubblicazione: (2024)
Investigating In-Context Privacy Learning by Integrating User-Facing Privacy Tools into Conversational Agents
di: Nezhad, Mohammad Hadi, et al.
Pubblicazione: (2026)
di: Nezhad, Mohammad Hadi, et al.
Pubblicazione: (2026)
A Survey on LLM-based Conversational User Simulation
di: Ni, Bo, et al.
Pubblicazione: (2026)
di: Ni, Bo, et al.
Pubblicazione: (2026)
"I Like Sunnie More Than I Expected!": Exploring User Expectation and Perception of an Anthropomorphic LLM-based Conversational Agent for Well-Being Support
di: Wu, Siyi, et al.
Pubblicazione: (2024)
di: Wu, Siyi, et al.
Pubblicazione: (2024)
From Text to Self: Users' Perceptions of Potential of AI on Interpersonal Communication and Self
di: Fu, Yue, et al.
Pubblicazione: (2023)
di: Fu, Yue, et al.
Pubblicazione: (2023)
Augmenting Human Evaluation with LLM Judges: How Many Human Reviews Do You Need?
di: Kim, Jane Paik
Pubblicazione: (2026)
di: Kim, Jane Paik
Pubblicazione: (2026)
Understanding Users' Privacy Reasoning and Behaviors During Chatbot Use to Support Meaningful Agency in Privacy
di: Nezhad, Mohammad Hadi, et al.
Pubblicazione: (2026)
di: Nezhad, Mohammad Hadi, et al.
Pubblicazione: (2026)
Autonomous Radiotherapy Treatment Planning Using DOLA: A Privacy-Preserving, LLM-Based Optimization Agent
di: Nusrat, Humza, et al.
Pubblicazione: (2025)
di: Nusrat, Humza, et al.
Pubblicazione: (2025)
Low-code LLM: Graphical User Interface over Large Language Models
di: Cai, Yuzhe, et al.
Pubblicazione: (2023)
di: Cai, Yuzhe, et al.
Pubblicazione: (2023)
Creativity in LLM-based Multi-Agent Systems: A Survey
di: Lin, Yi-Cheng, et al.
Pubblicazione: (2025)
di: Lin, Yi-Cheng, et al.
Pubblicazione: (2025)
ABLEIST: Intersectional Disability Bias in LLM-Generated Hiring Scenarios
di: Phutane, Mahika, et al.
Pubblicazione: (2025)
di: Phutane, Mahika, et al.
Pubblicazione: (2025)
Lost in Simulation: LLM-Simulated Users are Unreliable Proxies for Human Users in Agentic Evaluations
di: Seshadri, Preethi, et al.
Pubblicazione: (2026)
di: Seshadri, Preethi, et al.
Pubblicazione: (2026)
LLM Content Moderation and User Satisfaction: Evidence from Response Refusals in Chatbot Arena
di: Pasch, Stefan
Pubblicazione: (2025)
di: Pasch, Stefan
Pubblicazione: (2025)
Benchmarking LLM Tool-Use in the Wild
di: Yu, Peijie, et al.
Pubblicazione: (2026)
di: Yu, Peijie, et al.
Pubblicazione: (2026)
Documenti analoghi
-
Estimating LLM Consistency: A User Baseline vs Surrogate Metrics
di: Wu, Xiaoyuan, et al.
Pubblicazione: (2025) -
Examining the Effect of Explanations of AI Privacy Redaction in AI-mediated Interactions
di: Kaushik, Roshni, et al.
Pubblicazione: (2026) -
The Impact of Device Type, Data Practices, and Use Case Scenarios on Privacy Concerns about Eye-tracked Augmented Reality in the United States and Germany
di: Bozkir, Efe, et al.
Pubblicazione: (2025) -
Human-Centred LLM Privacy Audits: Findings and Frictions
di: Staufer, Dimitri, et al.
Pubblicazione: (2026) -
Evaluating LLM Adaptation to Sociodemographic Factors: User Profile vs. Dialogue History
di: Zhong, Qishuai, et al.
Pubblicazione: (2025)