Buchumschlag

The Perspectivist Paradigm Shift: Assumptions and Challenges of Capturing Human Labels

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Fleisig, Eve, Blodgett, Su Lin, Klein, Dan, Talat, Zeerak
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language Computers and Society
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Capabilities Approach to Studying Bias and Harm in Language Technologies
von: Nigatu, Hellina Hailu, et al.
Veröffentlicht: (2024)

Linguistic Bias in ChatGPT: Language Models Reinforce Dialect Discrimination
von: Fleisig, Eve, et al.
Veröffentlicht: (2024)

Understanding "Democratization" in NLP and ML Research
von: Subramonian, Arjun, et al.
Veröffentlicht: (2024)

Subjective $\textit{Isms}$? On the Danger of Conflating Hate and Offence in Abusive Language Detection
von: Curry, Amanda Cercas, et al.
Veröffentlicht: (2024)

Impoverished Language Technology: The Lack of (Social) Class in NLP
von: Curry, Amanda Cercas, et al.
Veröffentlicht: (2024)

FedMental: Evaluating Federated Learning for Mental Health Detection from Social Media Data
von: Abdelkadir, Nuredin Ali, et al.
Veröffentlicht: (2026)

Balancing Quality and Variation: Spam Filtering Distorts Data Label Distributions
von: Fleisig, Eve, et al.
Veröffentlicht: (2025)

When the Majority is Wrong: Modeling Annotator Disagreement for Subjective Tasks
von: Fleisig, Eve, et al.
Veröffentlicht: (2023)

MLLM-as-a-Judge for Image Safety without Human Labeling
von: Wang, Zhenting, et al.
Veröffentlicht: (2024)

Exploitation All the Way Down: Calling out the Root Cause of Bad Online Experiences for Users of the "Majority World"
von: Nigatu, Hellina Hailu, et al.
Veröffentlicht: (2024)

PluriHarms: Benchmarking the Full Spectrum of Human Judgments on AI Harm
von: Li, Jing-Jing, et al.
Veröffentlicht: (2026)

Augmenting Human-Annotated Training Data with Large Language Model Generation and Distillation in Open-Response Assessment
von: Borchers, Conrad, et al.
Veröffentlicht: (2025)

Protected group bias and stereotypes in Large Language Models
von: Kotek, Hadas, et al.
Veröffentlicht: (2024)

Position: the Stochastic Parrot in the Coal Mine. Model Collapse is a Threat to Low-Resource Communities
von: Jarvis, Devon, et al.
Veröffentlicht: (2026)

Questionnaire Responses Do not Capture the Safety of AI Agents
von: Hellrigel-Holderbaum, Max, et al.
Veröffentlicht: (2026)

Ghostbuster: Detecting Text Ghostwritten by Large Language Models
von: Verma, Vivek, et al.
Veröffentlicht: (2023)

LLM Analysis of 150+ years of German Parliamentary Debates on Migration Reveals Shift from Post-War Solidarity to Anti-Solidarity in the Last Decade
von: Kostikova, Aida, et al.
Veröffentlicht: (2025)

The Dark Side of ChatGPT: Legal and Ethical Challenges from Stochastic Parrots and Hallucination
von: Li, Zihao
Veröffentlicht: (2023)

Operationalizing Automated Essay Scoring: A Human-Aware Approach
von: Plasencia-Calaña, Yenisel
Veröffentlicht: (2025)

Mapping Social Choice Theory to RLHF
von: Dai, Jessica, et al.
Veröffentlicht: (2024)

Hypothesis Testing for Quantifying LLM-Human Misalignment in Multiple Choice Settings
von: Hong, Harbin, et al.
Veröffentlicht: (2025)

Diagnosing Hate Speech Classification: Where Do Humans and Machines Disagree, and Why?
von: Yang, Xilin
Veröffentlicht: (2024)

Vicarious Offense and Noise Audit of Offensive Speech Classifiers: Unifying Human and Machine Disagreement on What is Offensive
von: Weerasooriya, Tharindu Cyril, et al.
Veröffentlicht: (2023)

Challenging Assumptions in Learning Generic Text Style Embeddings
von: Ostheimer, Phil, et al.
Veröffentlicht: (2025)

KPoEM: A Human-Annotated Dataset for Emotion Classification and RAG-Based Poetry Generation in Korean Modern Poetry
von: Lim, Iro, et al.
Veröffentlicht: (2025)

Simulated Adoption: Decoupling Magnitude and Direction in LLM In-Context Conflict Resolution
von: Zhang, Long, et al.
Veröffentlicht: (2026)

Ethics Whitepaper: Whitepaper on Ethical Research into Large Language Models
von: Ungless, Eddie L., et al.
Veröffentlicht: (2024)

The Geometric Price of Discrete Logic: Context-driven Manifold Dynamics of Number Representations
von: Zhang, Long, et al.
Veröffentlicht: (2026)

Online Learning Defense against Iterative Jailbreak Attacks via Prompt Optimization
von: Kaneko, Masahiro, et al.
Veröffentlicht: (2025)

Big AI's Regulatory Capture: Mapping Industry Interference and Government Complicity
von: Birhane, Abeba, et al.
Veröffentlicht: (2026)

Humanizing LLMs: A Survey of Psychological Measurements with Tools, Datasets, and Human-Agent Applications
von: Dong, Wenhan, et al.
Veröffentlicht: (2025)

Foundational Challenges in Assuring Alignment and Safety of Large Language Models
von: Anwar, Usman, et al.
Veröffentlicht: (2024)

Embracing Imperfection: Simulating Students with Diverse Cognitive Levels Using LLM-based Agents
von: Wu, Tao, et al.
Veröffentlicht: (2025)

"I Am the One and Only, Your Cyber BFF": Understanding the Impact of GenAI Requires Understanding the Impact of Anthropomorphic AI
von: Cheng, Myra, et al.
Veröffentlicht: (2024)

Understanding and Meeting Practitioner Needs When Measuring Representational Harms Caused by LLM-Based Systems
von: Harvey, Emma, et al.
Veröffentlicht: (2025)

ELMES: An Automated Framework for Evaluating Large Language Models in Educational Scenarios
von: Wei, Shou'ang, et al.
Veröffentlicht: (2025)

LLM Defenses Are Not Robust to Multi-Turn Human Jailbreaks Yet
von: Li, Nathaniel, et al.
Veröffentlicht: (2024)

PsychoGAT: A Novel Psychological Measurement Paradigm through Interactive Fiction Games with LLM Agents
von: Yang, Qisen, et al.
Veröffentlicht: (2024)

AI-Augmented Predictions: LLM Assistants Improve Human Forecasting Accuracy
von: Schoenegger, Philipp, et al.
Veröffentlicht: (2024)

Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments
von: Zhou, Han, et al.
Veröffentlicht: (2024)