Modeling Annotator Disagreement with Demographic-Aware Experts and Synthetic Perspectives
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Xu, Yinuo, Derricks, Veronica, Earl, Allison, Jurgens, David |
|---|---|
| Format: | Preprint |
| Publié: |
2025
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Beyond Consensus: Perspectivist Modeling and Evaluation of Annotator Disagreement in NLP
par: Xu, Yinuo, et autres
Publié: (2026)
par: Xu, Yinuo, et autres
Publié: (2026)
NUTMEG: Separating Signal From Noise in Annotator Disagreement
par: Ivey, Jonathan, et autres
Publié: (2025)
par: Ivey, Jonathan, et autres
Publié: (2025)
Leveraging Annotator Disagreement for Text Classification
par: Xu, Jin, et autres
Publié: (2024)
par: Xu, Jin, et autres
Publié: (2024)
A Critical Reflection and Forward Perspective on Empathy and Natural Language Processing
par: Lahnala, Allison, et autres
Publié: (2022)
par: Lahnala, Allison, et autres
Publié: (2022)
Funzac at CoMeDi Shared Task: Modeling Annotator Disagreement from Word-In-Context Perspectives
par: Sarumi, Olufunke O., et autres
Publié: (2025)
par: Sarumi, Olufunke O., et autres
Publié: (2025)
The Muddy Waters of Modeling Empathy in Language: The Practical Impacts of Theoretical Constructs
par: Lahnala, Allison, et autres
Publié: (2025)
par: Lahnala, Allison, et autres
Publié: (2025)
When the Majority is Wrong: Modeling Annotator Disagreement for Subjective Tasks
par: Fleisig, Eve, et autres
Publié: (2023)
par: Fleisig, Eve, et autres
Publié: (2023)
Modeling Empathetic Alignment in Conversation
par: Yang, Jiamin, et autres
Publié: (2024)
par: Yang, Jiamin, et autres
Publié: (2024)
Crowd-Calibrator: Can Annotator Disagreement Inform Calibration in Subjective Tasks?
par: Khurana, Urja, et autres
Publié: (2024)
par: Khurana, Urja, et autres
Publié: (2024)
A Decomposition-Based Approach for Evaluating and Analyzing Inter-Annotator Disagreement
par: Levi, Effi, et autres
Publié: (2022)
par: Levi, Effi, et autres
Publié: (2022)
Can Reasoning Help Large Language Models Capture Human Annotator Disagreement?
par: Ni, Jingwei, et autres
Publié: (2025)
par: Ni, Jingwei, et autres
Publié: (2025)
Beyond Demographics: Fine-tuning Large Language Models to Predict Individuals' Subjective Text Perceptions
par: Orlikowski, Matthias, et autres
Publié: (2025)
par: Orlikowski, Matthias, et autres
Publié: (2025)
JuniperLiu at CoMeDi Shared Task: Models as Annotators in Lexical Semantics Disagreements
par: Liu, Zhu, et autres
Publié: (2024)
par: Liu, Zhu, et autres
Publié: (2024)
The Call for Socially Aware Language Technologies
par: Yang, Diyi, et autres
Publié: (2024)
par: Yang, Diyi, et autres
Publié: (2024)
Are Expert-Level Language Models Expert-Level Annotators?
par: Tseng, Yu-Min, et autres
Publié: (2024)
par: Tseng, Yu-Min, et autres
Publié: (2024)
Think Multilingual, Not Harder: A Data-Efficient Framework for Teaching Reasoning Models to Code-Switch
par: Lin, Eleanor M., et autres
Publié: (2026)
par: Lin, Eleanor M., et autres
Publié: (2026)
Persuasion at Play: Understanding Misinformation Dynamics in Demographic-Aware Human-LLM Interactions
par: Borah, Angana, et autres
Publié: (2025)
par: Borah, Angana, et autres
Publié: (2025)
Is LLM an Overconfident Judge? Unveiling the Capabilities of LLMs in Detecting Offensive Language with Annotation Disagreement
par: Lu, Junyu, et autres
Publié: (2025)
par: Lu, Junyu, et autres
Publié: (2025)
Assessing the Reliability of LLMs Annotations in the Context of Demographic Bias and Model Explanation
par: Mohammadi, Hadi, et autres
Publié: (2025)
par: Mohammadi, Hadi, et autres
Publié: (2025)
Modeling Human Perspectives with Socio-Demographic Representations
par: Zhang, Leixin, et autres
Publié: (2026)
par: Zhang, Leixin, et autres
Publié: (2026)
Aggregate vs. Personalized Judges in Business Idea Evaluation: Evidence from Expert Disagreement
par: Hirota, Wataru, et autres
Publié: (2026)
par: Hirota, Wataru, et autres
Publié: (2026)
Are Rules Meant to be Broken? Understanding Multilingual Moral Reasoning as a Computational Pipeline with UniMoral
par: Kumar, Shivani, et autres
Publié: (2025)
par: Kumar, Shivani, et autres
Publié: (2025)
When Does Demographic Information Help? Data and Modeling Regimes for Perspective-Aware Hate Speech Detection
par: Cai, Weibin, et autres
Publié: (2026)
par: Cai, Weibin, et autres
Publié: (2026)
Evaluating Large Language Models as Expert Annotators
par: Tseng, Yu-Min, et autres
Publié: (2025)
par: Tseng, Yu-Min, et autres
Publié: (2025)
Structured Disagreement in Health-Literacy Annotation: Epistemic Stability, Conceptual Difficulty, and Agreement-Stratified Inference
par: Kellert, Olga, et autres
Publié: (2026)
par: Kellert, Olga, et autres
Publié: (2026)
Which Demographics do LLMs Default to During Annotation?
par: Schäfer, Johannes, et autres
Publié: (2024)
par: Schäfer, Johannes, et autres
Publié: (2024)
Dealing with Annotator Disagreement in Hate Speech Classification
par: Dehghan, Somaiyeh, et autres
Publié: (2025)
par: Dehghan, Somaiyeh, et autres
Publié: (2025)
Big Reasoning with Small Models: Instruction Retrieval at Inference Time
par: Alkiek, Kenan, et autres
Publié: (2025)
par: Alkiek, Kenan, et autres
Publié: (2025)
GRASP: A Disagreement Analysis Framework to Assess Group Associations in Perspectives
par: Prabhakaran, Vinodkumar, et autres
Publié: (2023)
par: Prabhakaran, Vinodkumar, et autres
Publié: (2023)
Bridging the Gap: In-Context Learning for Modeling Human Disagreement
par: Muscato, Benedetta, et autres
Publié: (2025)
par: Muscato, Benedetta, et autres
Publié: (2025)
Selective Annotation via Data Allocation: These Data Should Be Triaged to Experts for Annotation Rather Than the Model
par: Huang, Chen, et autres
Publié: (2024)
par: Huang, Chen, et autres
Publié: (2024)
Tasks and Roles in Legal AI: Data Curation, Annotation, and Verification
par: Koenecke, Allison, et autres
Publié: (2025)
par: Koenecke, Allison, et autres
Publié: (2025)
Tokenization is Sensitive to Language Variation
par: Wegmann, Anna, et autres
Publié: (2025)
par: Wegmann, Anna, et autres
Publié: (2025)
Leveraging Multilingual Training for Authorship Representation: Enhancing Generalization across Languages and Domains
par: Kim, Junghwan, et autres
Publié: (2025)
par: Kim, Junghwan, et autres
Publié: (2025)
The Noisy Path from Source to Citation: Measuring How Scholars Engage with Past Research
par: Chen, Hong, et autres
Publié: (2025)
par: Chen, Hong, et autres
Publié: (2025)
Are Economists Always More Introverted? Analyzing Consistency in Persona-Assigned LLMs
par: Reusens, Manon, et autres
Publié: (2025)
par: Reusens, Manon, et autres
Publié: (2025)
Mapping the Podcast Ecosystem with the Structured Podcast Research Corpus
par: Litterer, Benjamin, et autres
Publié: (2024)
par: Litterer, Benjamin, et autres
Publié: (2024)
Learning Who Disagrees: Demographic Importance Weighting for Modeling Annotator Distributions with DiADEM
par: Shetty, Samay U., et autres
Publié: (2026)
par: Shetty, Samay U., et autres
Publié: (2026)
When Disagreements Elicit Robustness: Investigating Self-Repair Capabilities under LLM Multi-Agent Disagreements
par: Ju, Tianjie, et autres
Publié: (2025)
par: Ju, Tianjie, et autres
Publié: (2025)
Mixed Signals: Understanding Model Disagreement in Multimodal Empathy Detection
par: Srikanth, Maya, et autres
Publié: (2025)
par: Srikanth, Maya, et autres
Publié: (2025)
Documents similaires
-
Beyond Consensus: Perspectivist Modeling and Evaluation of Annotator Disagreement in NLP
par: Xu, Yinuo, et autres
Publié: (2026) -
NUTMEG: Separating Signal From Noise in Annotator Disagreement
par: Ivey, Jonathan, et autres
Publié: (2025) -
Leveraging Annotator Disagreement for Text Classification
par: Xu, Jin, et autres
Publié: (2024) -
A Critical Reflection and Forward Perspective on Empathy and Natural Language Processing
par: Lahnala, Allison, et autres
Publié: (2022) -
Funzac at CoMeDi Shared Task: Modeling Annotator Disagreement from Word-In-Context Perspectives
par: Sarumi, Olufunke O., et autres
Publié: (2025)