Buchumschlag

Multi-Perspective LLM Annotations for Valid Analyses in Subjective Tasks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mehrotra, Navya, Visokay, Adam, Gligorić, Kristina
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks
von: Mokhberian, Negar, et al.
Veröffentlicht: (2023)

Can Unconfident LLM Annotations Be Used for Confident Conclusions?
von: Gligorić, Kristina, et al.
Veröffentlicht: (2024)

SWAY: A Counterfactual Computational Linguistic Approach to Measuring and Mitigating Sycophancy
von: Bhalla, Joy, et al.
Veröffentlicht: (2026)

Valid Survey Simulations with Limited Human Data: The Roles of Prompting, Fine-Tuning, and Rectification
von: Krsteski, Stefan, et al.
Veröffentlicht: (2025)

Othering and low status framing of immigrant cuisines in US restaurant reviews and large language models
von: Luo, Yiwei, et al.
Veröffentlicht: (2023)

Beyond Majority Voting: Agreement-Based Clustering to Model Annotator Perspectives in Subjective NLP Tasks
von: Belay, Tadesse Destaw, et al.
Veröffentlicht: (2026)

AnthroScore: A Computational Linguistic Measure of Anthropomorphism
von: Cheng, Myra, et al.
Veröffentlicht: (2024)

Annotator-Centric Active Learning for Subjective NLP Tasks
von: van der Meer, Michiel, et al.
Veröffentlicht: (2024)

Cost-Efficient Subjective Task Annotation and Modeling through Few-Shot Annotator Adaptation
von: Golazizian, Preni, et al.
Veröffentlicht: (2024)

From Narratives to Numbers: Valid Inference Using Language Model Predictions from Verbal Autopsy Narratives
von: Fan, Shuxian, et al.
Veröffentlicht: (2024)

What can large language models do for sustainable food?
von: Thomas, Anna T., et al.
Veröffentlicht: (2025)

Crowd-Calibrator: Can Annotator Disagreement Inform Calibration in Subjective Tasks?
von: Khurana, Urja, et al.
Veröffentlicht: (2024)

When the Majority is Wrong: Modeling Annotator Disagreement for Subjective Tasks
von: Fleisig, Eve, et al.
Veröffentlicht: (2023)

Social Construction of Urban Space: Using LLMs to Identify Neighborhood Boundaries From Craigslist Ads
von: Visokay, Adam, et al.
Veröffentlicht: (2025)

NLP Systems That Can't Tell Use from Mention Censor Counterspeech, but Teaching the Distinction Helps
von: Gligoric, Kristina, et al.
Veröffentlicht: (2024)

Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors
von: Chochlakis, Georgios, et al.
Veröffentlicht: (2024)

Grounding Gaps in Language Model Generations
von: Shaikh, Omar, et al.
Veröffentlicht: (2023)

Humans Hallucinate Too: Language Models Identify and Correct Subjective Annotation Errors With Label-in-a-Haystack Prompts
von: Chochlakis, Georgios, et al.
Veröffentlicht: (2025)

Multilingual Open QA on the MIA Shared Task
von: Yarrabelly, Navya, et al.
Veröffentlicht: (2025)

Don't Blame the Data, Blame the Model: Understanding Noise and Bias When Learning from Subjective Annotations
von: Anand, Abhishek, et al.
Veröffentlicht: (2024)

Perspective Transition of Large Language Models for Solving Subjective Tasks
von: Wang, Xiaolong, et al.
Veröffentlicht: (2025)

Subjectivity in the Annotation of Bridging Anaphora
von: Levine, Lauren, et al.
Veröffentlicht: (2025)

Will Annotators Disagree? Identifying Subjectivity in Value-Laden Arguments
von: Homayounirad, Amir, et al.
Veröffentlicht: (2025)

Multimodal Multihop Source Retrieval for Web Question Answering
von: Yarrabelly, Navya, et al.
Veröffentlicht: (2025)

EMMI -- Empathic Multimodal Motivational Interviews Dataset: Analyses and Annotations
von: Galland, Lucie, et al.
Veröffentlicht: (2024)

Larger Language Models Don't Care How You Think: Why Chain-of-Thought Prompting Fails in Subjective Tasks
von: Chochlakis, Georgios, et al.
Veröffentlicht: (2024)

Refining and Reusing Annotation Guidelines for LLM Annotation
von: Kim, Kon Woo, et al.
Veröffentlicht: (2026)

Can External Validation Tools Improve Annotation Quality for LLM-as-a-Judge?
von: Findeis, Arduin, et al.
Veröffentlicht: (2025)

Emergent Convergence in Multi-Agent LLM Annotation
von: Parfenova, Angelina, et al.
Veröffentlicht: (2025)

Funzac at CoMeDi Shared Task: Modeling Annotator Disagreement from Word-In-Context Perspectives
von: Sarumi, Olufunke O., et al.
Veröffentlicht: (2025)

LLM-as-an-Annotator: Training Lightweight Models with LLM-Annotated Examples for Aspect Sentiment Tuple Prediction
von: Hellwig, Nils Constantin, et al.
Veröffentlicht: (2026)

Benchmark on Peer Review Toxic Detection: A Challenging Task with a New Dataset
von: Luo, Man, et al.
Veröffentlicht: (2025)

On Crowdsourcing Task Design for Discourse Relation Annotation
von: Yung, Frances, et al.
Veröffentlicht: (2024)

To Aggregate or Not to Aggregate. That is the Question: A Case Study on Annotation Subjectivity in Span Prediction
von: Kurniawan, Kemal, et al.
Veröffentlicht: (2024)

Re-TASK: Revisiting LLM Tasks from Capability, Skill, and Knowledge Perspectives
von: Wang, Zhihu, et al.
Veröffentlicht: (2024)

To Err Is Human; To Annotate, SILICON? Toward Robust Reproducibility in LLM Annotation
von: Cheng, Xiang, et al.
Veröffentlicht: (2024)

Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs
von: Wang, Weixuan, et al.
Veröffentlicht: (2024)

Hybrid Annotation for Propaganda Detection: Integrating LLM Pre-Annotations with Human Intelligence
von: Sahitaj, Ariana, et al.
Veröffentlicht: (2025)

The Consensus Trap: Dissecting Subjectivity and the "Ground Truth" Illusion in Data Annotation
von: Munir, Sheza, et al.
Veröffentlicht: (2026)

Labels have Human Values: Value Calibration of Subjective Tasks
von: Parappan, Mohammed Fayiz, et al.
Veröffentlicht: (2026)