Buchumschlag

Beyond Consensus: Perspectivist Modeling and Evaluation of Annotator Disagreement in NLP

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xu, Yinuo, Jurgens, David
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Modeling Annotator Disagreement with Demographic-Aware Experts and Synthetic Perspectives
von: Xu, Yinuo, et al.
Veröffentlicht: (2025)

NUTMEG: Separating Signal From Noise in Annotator Disagreement
von: Ivey, Jonathan, et al.
Veröffentlicht: (2025)

Counting on Consensus: Selecting the Right Inter-annotator Agreement Metric for NLP Annotation and Evaluation
von: James, Joseph
Veröffentlicht: (2026)

Leveraging Annotator Disagreement for Text Classification
von: Xu, Jin, et al.
Veröffentlicht: (2024)

Grounded Misunderstandings in Asymmetric Dialogue: A Perspectivist Annotation Scheme for MapTask
von: Li, Nan, et al.
Veröffentlicht: (2025)

A Decomposition-Based Approach for Evaluating and Analyzing Inter-Annotator Disagreement
von: Levi, Effi, et al.
Veröffentlicht: (2022)

Towards a Perspectivist Turn in Argument Quality Assessment
von: Romberg, Julia, et al.
Veröffentlicht: (2025)

Beyond Majority Voting: Agreement-Based Clustering to Model Annotator Perspectives in Subjective NLP Tasks
von: Belay, Tadesse Destaw, et al.
Veröffentlicht: (2026)

When the Majority is Wrong: Modeling Annotator Disagreement for Subjective Tasks
von: Fleisig, Eve, et al.
Veröffentlicht: (2023)

P1SCO: Social Dimensions from a Perspectivist Lens
von: Curry, Amanda Cercas, et al.
Veröffentlicht: (2026)

The Perspectivist Paradigm Shift: Assumptions and Challenges of Capturing Human Labels
von: Fleisig, Eve, et al.
Veröffentlicht: (2024)

Modeling Empathetic Alignment in Conversation
von: Yang, Jiamin, et al.
Veröffentlicht: (2024)

Crowd-Calibrator: Can Annotator Disagreement Inform Calibration in Subjective Tasks?
von: Khurana, Urja, et al.
Veröffentlicht: (2024)

Can Reasoning Help Large Language Models Capture Human Annotator Disagreement?
von: Ni, Jingwei, et al.
Veröffentlicht: (2025)

JuniperLiu at CoMeDi Shared Task: Models as Annotators in Lexical Semantics Disagreements
von: Liu, Zhu, et al.
Veröffentlicht: (2024)

Funzac at CoMeDi Shared Task: Modeling Annotator Disagreement from Word-In-Context Perspectives
von: Sarumi, Olufunke O., et al.
Veröffentlicht: (2025)

Think Multilingual, Not Harder: A Data-Efficient Framework for Teaching Reasoning Models to Code-Switch
von: Lin, Eleanor M., et al.
Veröffentlicht: (2026)

Is LLM an Overconfident Judge? Unveiling the Capabilities of LLMs in Detecting Offensive Language with Annotation Disagreement
von: Lu, Junyu, et al.
Veröffentlicht: (2025)

Annotator-Centric Active Learning for Subjective NLP Tasks
von: van der Meer, Michiel, et al.
Veröffentlicht: (2024)

The Annotation Scarcity Paradox in Low-Resource NLP Evaluation: A Decade of Acceleration and Emerging Constraints
von: Marivate, Vukosi
Veröffentlicht: (2026)

Are Rules Meant to be Broken? Understanding Multilingual Moral Reasoning as a Computational Pipeline with UniMoral
von: Kumar, Shivani, et al.
Veröffentlicht: (2025)

Beyond the Explicit: A Bilingual Dataset for Dehumanization Detection in Social Media
von: Assenmacher, Dennis, et al.
Veröffentlicht: (2025)

Structured Disagreement in Health-Literacy Annotation: Epistemic Stability, Conceptual Difficulty, and Agreement-Stratified Inference
von: Kellert, Olga, et al.
Veröffentlicht: (2026)

Beyond the Illusion of Consensus: From Surface Heuristics to Knowledge-Grounded Evaluation in LLM-as-a-Judge
von: Song, Mingyang, et al.
Veröffentlicht: (2026)

Dealing with Annotator Disagreement in Hate Speech Classification
von: Dehghan, Somaiyeh, et al.
Veröffentlicht: (2025)

Foundations and Evaluations in NLP
von: Park, Jungyeul
Veröffentlicht: (2025)

The Hidden Strength of Disagreement: Unraveling the Consensus-Diversity Tradeoff in Adaptive Multi-Agent Systems
von: Wu, Zengqing, et al.
Veröffentlicht: (2025)

Contradiction to Consensus: Dual Perspective, Multi Source Retrieval Based Claim Verification with Source Level Disagreement using LLM
von: Biswas, Md Badsha, et al.
Veröffentlicht: (2026)

Privacy Evaluation Benchmarks for NLP Models
von: Huang, Wei, et al.
Veröffentlicht: (2024)

Big Reasoning with Small Models: Instruction Retrieval at Inference Time
von: Alkiek, Kenan, et al.
Veröffentlicht: (2025)

Blind Spots and Biases: Exploring the Role of Annotator Cognitive Biases in NLP
von: Gautam, Sanjana, et al.
Veröffentlicht: (2024)

The Muddy Waters of Modeling Empathy in Language: The Practical Impacts of Theoretical Constructs
von: Lahnala, Allison, et al.
Veröffentlicht: (2025)

Bridging the Gap: In-Context Learning for Modeling Human Disagreement
von: Muscato, Benedetta, et al.
Veröffentlicht: (2025)

Tokenization and Morphological Fidelity in Uralic NLP: A Cross-Lingual Evaluation
von: Xu, Nuo, et al.
Veröffentlicht: (2026)

Do LLMs Understand Social Knowledge? Evaluating the Sociability of Large Language Models with SocKET Benchmark
von: Choi, Minje, et al.
Veröffentlicht: (2023)

Beyond Demographics: Fine-tuning Large Language Models to Predict Individuals' Subjective Text Perceptions
von: Orlikowski, Matthias, et al.
Veröffentlicht: (2025)

Evaluating Large Language Models for Abstract Evaluation Tasks: An Empirical Study
von: Liu, Yinuo, et al.
Veröffentlicht: (2026)

A Survey on Out-of-Distribution Evaluation of Neural NLP Models
von: Li, Xinzhe, et al.
Veröffentlicht: (2023)

Tokenization is Sensitive to Language Variation
von: Wegmann, Anna, et al.
Veröffentlicht: (2025)

Leveraging Multilingual Training for Authorship Representation: Enhancing Generalization across Languages and Domains
von: Kim, Junghwan, et al.
Veröffentlicht: (2025)