Buchumschlag

Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mokhberian, Negar, Marmarelis, Myrl G., Hopp, Frederic R., Basile, Valerio, Morstatter, Fred, Lerman, Kristina
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Estimating Causal Effects of Text Interventions Leveraging LLMs
von: Guo, Siyi, et al.
Veröffentlicht: (2024)

Don't Blame the Data, Blame the Model: Understanding Noise and Bias When Learning from Subjective Annotations
von: Anand, Abhishek, et al.
Veröffentlicht: (2024)

Reading Between the Tweets: Deciphering Ideological Stances of Interconnected Mixed-Ideology Communities
von: He, Zihao, et al.
Veröffentlicht: (2024)

Harmful Speech Detection by Language Models Exhibits Gender-Queer Dialect Bias
von: Dorn, Rebecca, et al.
Veröffentlicht: (2024)

Multi-Perspective LLM Annotations for Valid Analyses in Subjective Tasks
von: Mehrotra, Navya, et al.
Veröffentlicht: (2026)

Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors
von: Chochlakis, Georgios, et al.
Veröffentlicht: (2024)

Reinforcing Stereotypes of Anger: Emotion AI on African American Vernacular English
von: Dorn, Rebecca, et al.
Veröffentlicht: (2025)

The Butterfly Effect of Altering Prompts: How Small Changes and Jailbreaks Affect Large Language Model Performance
von: Salinas, Abel, et al.
Veröffentlicht: (2024)

On Crowdsourcing Task Design for Discourse Relation Annotation
von: Yung, Frances, et al.
Veröffentlicht: (2024)

Humans Hallucinate Too: Language Models Identify and Correct Subjective Annotation Errors With Label-in-a-Haystack Prompts
von: Chochlakis, Georgios, et al.
Veröffentlicht: (2025)

Larger Language Models Don't Care How You Think: Why Chain-of-Thought Prompting Fails in Subjective Tasks
von: Chochlakis, Georgios, et al.
Veröffentlicht: (2024)

Risk and Response in Large Language Models: Evaluating Key Threat Categories
von: Harandizadeh, Bahareh, et al.
Veröffentlicht: (2024)

Knowledge Graph Analysis of Legal Understanding and Violations in LLMs
von: Jha, Abha, et al.
Veröffentlicht: (2025)

"Define Your Terms" : Enhancing Efficient Offensive Speech Classification with Definition
von: Nghiem, Huy, et al.
Veröffentlicht: (2024)

Characterizing Network Structure of Anti-Trans Actors on TikTok
von: Leitner, Maxyn, et al.
Veröffentlicht: (2025)

KULCQ: An Unsupervised Keyword-based Utterance Level Clustering Quality Metric
von: Guruprasad, Pranav, et al.
Veröffentlicht: (2024)

Annotator-Centric Active Learning for Subjective NLP Tasks
von: van der Meer, Michiel, et al.
Veröffentlicht: (2024)

Do Methods to Jailbreak and Defend LLMs Generalize Across Languages?
von: Atil, Berk, et al.
Veröffentlicht: (2025)

A Systematic Analysis of Base Model Choice for Reward Modeling
von: Ahrabian, Kian, et al.
Veröffentlicht: (2025)

Contextualizing Argument Quality Assessment with Relevant Knowledge
von: Deshpande, Darshan, et al.
Veröffentlicht: (2023)

Beyond Majority Voting: Agreement-Based Clustering to Model Annotator Perspectives in Subjective NLP Tasks
von: Belay, Tadesse Destaw, et al.
Veröffentlicht: (2026)

Cost-Efficient Subjective Task Annotation and Modeling through Few-Shot Annotator Adaptation
von: Golazizian, Preni, et al.
Veröffentlicht: (2024)

CPL-NoViD: Context-Aware Prompt-based Learning for Norm Violation Detection in Online Communities
von: He, Zihao, et al.
Veröffentlicht: (2023)

Crowd-Calibrator: Can Annotator Disagreement Inform Calibration in Subjective Tasks?
von: Khurana, Urja, et al.
Veröffentlicht: (2024)

When the Majority is Wrong: Modeling Annotator Disagreement for Subjective Tasks
von: Fleisig, Eve, et al.
Veröffentlicht: (2023)

Large Language Models Reveal Information Operation Goals, Tactics, and Narrative Frames
von: Burghardt, Keith, et al.
Veröffentlicht: (2024)

AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators
von: He, Xingwei, et al.
Veröffentlicht: (2023)

STEER-BENCH: A Benchmark for Evaluating the Steerability of Large Language Models
von: Chen, Kai, et al.
Veröffentlicht: (2025)

Gendered Divides in Online Discussions about Reproductive Rights
von: Rao, Ashwin, et al.
Veröffentlicht: (2025)

Free to play: UN Trade and Development's experience with developing its own open-source Retrieval Augmented Generation Large Language Model application
von: Hopp, Daniel
Veröffentlicht: (2024)

Scaling Public Health Text Annotation: Zero-Shot Learning vs. Crowdsourcing for Improved Efficiency and Labeling Accuracy
von: Kazari, Kamyar, et al.
Veröffentlicht: (2025)

A Comparative Study on Annotation Quality of Crowdsourcing and LLM via Label Aggregation
von: Li, Jiyi
Veröffentlicht: (2024)

The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations
von: Salinas, Abel, et al.
Veröffentlicht: (2023)

RAG-based Crowdsourcing Task Decomposition via Masked Contrastive Learning with Prompts
von: Yang, Jing, et al.
Veröffentlicht: (2024)

The Curious Case of Nonverbal Abstract Reasoning with Multi-Modal Large Language Models
von: Ahrabian, Kian, et al.
Veröffentlicht: (2024)

If in a Crowdsourced Data Annotation Pipeline, a GPT-4
von: He, Zeyu, et al.
Veröffentlicht: (2024)

The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition
von: Chochlakis, Georgios, et al.
Veröffentlicht: (2024)

LeWiDi-2025 at NLPerspectives: Third Edition of the Learning with Disagreements Shared Task
von: Leonardelli, Elisa, et al.
Veröffentlicht: (2025)

Perspective Transition of Large Language Models for Solving Subjective Tasks
von: Wang, Xiaolong, et al.
Veröffentlicht: (2025)

TemPrompt: Multi-Task Prompt Learning for Temporal Relation Extraction in RAG-based Crowdsourcing Systems
von: Yang, Jing, et al.
Veröffentlicht: (2024)