Buchumschlag

Annotator in the Loop: A Case Study of In-Depth Rater Engagement to Create a Bridging Benchmark Dataset

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Schmer-Galunder, Sonja, Wheelock, Ruta, Friedman, Scott, Chvasta, Alyssa, Jalan, Zaria, Saltz, Emily
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computers and Society
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Re-Ranking News Comments by Constructiveness and Curiosity Significantly Increases Perceived Respect, Trustworthiness, and Interest
von: Saltz, Emily, et al.
Veröffentlicht: (2024)

Directed Social Regard: Surfacing Targeted Advocacy, Opposition, Aid, Harms, and Victimization in Online Media
von: Friedman, Scott, et al.
Veröffentlicht: (2026)

Relating Word Embedding Gender Biases to Gender Gaps: A Cross-Cultural Analysis
von: Friedman, Scott, et al.
Veröffentlicht: (2026)

Large Language Models and User Trust: Consequence of Self-Referential Learning Loop and the Deskilling of Healthcare Professionals
von: Choudhury, Avishek, et al.
Veröffentlicht: (2024)

Bottom-Up and Top-Down Analysis of Values, Agendas, and Observations in Corpora and LLMs
von: Friedman, Scott E., et al.
Veröffentlicht: (2024)

AI and Suicide Prevention: A Cross-Sector Primer
von: Saltz, Emily, et al.
Veröffentlicht: (2026)

Discipline and Label: A WEIRD Genealogy and Social Theory of Data Annotation
von: Smart, Andrew, et al.
Veröffentlicht: (2024)

SLIDE: Sliding Localized Information for Document Extraction
von: Singh, Divyansh, et al.
Veröffentlicht: (2025)

Community Notes are Vulnerable to Rater Bias and Manipulation
von: Truong, Bao Tran, et al.
Veröffentlicht: (2025)

Balancing Transparency and Accuracy: A Comparative Analysis of Rule-Based and Deep Learning Models in Political Bias Classification
von: Martinez, Manuel Nunez, et al.
Veröffentlicht: (2024)

AI-in-the-Loop Planning for Transportation Electrification: Case Studies from Austin, Texas
von: Choi, Seung Jun
Veröffentlicht: (2025)

Just Put a Human in the Loop? Investigating LLM-Assisted Annotation for Subjective Tasks
von: Schroeder, Hope, et al.
Veröffentlicht: (2025)

Applications of Artificial Intelligence Tools to Enhance Legislative Engagement: Case Studies from Make.Org and MAPLE
von: Combaz, Alicia, et al.
Veröffentlicht: (2025)

Investigating the Influence of Election Debates on Children’s Political Engagement: A Case Study of the Dutch Parliamentary Elections
von: Lott H. S. Fransen, et al.
Veröffentlicht: (2026)

AI and the Future of Digital Public Squares
von: Goldberg, Beth, et al.
Veröffentlicht: (2024)

A Bridge to Nowhere: A Healthcare Case Study for Non-Reformist Design
von: Huber, Linda
Veröffentlicht: (2025)

Predicting Healthcare Provider Engagement in SMS Campaigns
von: Qureshi, Daanish Aleem, et al.
Veröffentlicht: (2025)

A High School Camp on Algorithms and Coding in Jamaica
von: Fokum, Daniel T., et al.
Veröffentlicht: (2023)

WhatsApp Vaccine Discourse (WhaVax): An Expert-Annotated Dataset and Benchmark for Health Misinformation Detection
von: Santos, Jônatas H. dos, et al.
Veröffentlicht: (2026)

Decoding Safety Feedback from Diverse Raters: A Data-driven Lens on Responsiveness to Severity
von: Mishra, Pushkar, et al.
Veröffentlicht: (2025)

How to Drill Into Silos: Creating a Free-to-Use Dataset of Data Subject Access Packages
von: Leschke, Nicola, et al.
Veröffentlicht: (2024)

Is GPT-4 Alone Sufficient for Automated Essay Scoring?: A Comparative Judgment Approach Based on Rater Cognition
von: Kim, Seungju, et al.
Veröffentlicht: (2024)

Social Bias in Popular Question-Answering Benchmarks
von: Kraft, Angelie, et al.
Veröffentlicht: (2025)

Crowdsourcing Dermatology Images with Google Search Ads: Creating a Real-World Skin Condition Dataset
von: Ward, Abbi, et al.
Veröffentlicht: (2024)

Predicting Disagreement with Human Raters in LLM-as-a-Judge Difficulty Assessment without Using Generation-Time Probability Signals
von: Ehara, Yo
Veröffentlicht: (2026)

Datasets for Fairness in Language Models: An In-Depth Survey
von: Zhang, Jiale, et al.
Veröffentlicht: (2025)

Teaching AI Interactively: A Case Study in Higher Education
von: Reddig, Jennifer M., et al.
Veröffentlicht: (2026)

Demographic Benchmarking: Bridging Socio-Technical Gaps in Bias Detection
von: Clavell, Gemma Galdon, et al.
Veröffentlicht: (2025)

Comparing impacts of corn residue removal and amelioration practices on soil properties after 3, 6, and 10 years
von: Hans W. Klopp, et al.
Veröffentlicht: (2024)

Annotating the Chain-of-Thought: A Behavior-Labeled Dataset for AI Safety
von: Menke, Antonio-Gabriel Chacón, et al.
Veröffentlicht: (2025)

GPT is Not an Annotator: The Necessity of Human Annotation in Fairness Benchmark Construction
von: Felkner, Virginia K., et al.
Veröffentlicht: (2024)

The State of Data Curation at NeurIPS: An Assessment of Dataset Development Practices in the Datasets and Benchmarks Track
von: Bhardwaj, Eshta, et al.
Veröffentlicht: (2024)

The Memecoin Phenomenon: An In-Depth Study of Solana's Blockchain Trends
von: Mancino, Davide
Veröffentlicht: (2025)

SPOT: An Annotated French Corpus and Benchmark for Detecting Critical Interventions in Online Conversations
von: Berriche, Manon, et al.
Veröffentlicht: (2025)

Bringing the People Back In: Contesting Benchmark Machine Learning Datasets
von: Denton, Remi, et al.
Veröffentlicht: (2020)

BaBE: Enhancing Fairness via Estimation of Latent Explaining Variables
von: Binkyte, Ruta, et al.
Veröffentlicht: (2023)

On the Need and Applicability of Causality for Fairness: A Unified Framework for AI Auditing and Legal Analysis
von: Binkyte, Ruta, et al.
Veröffentlicht: (2022)

Influence of Water Vapor Content on Oxidation of the SiC Layer of Tristructural Isotropic Particles
von: Visharad Jalan, et al.
Veröffentlicht: (2026)

Social Engagement and Epigenetic Age Acceleration in the Health and Retirement Study
von: Zhao Hu, et al.
Veröffentlicht: (2026)

Instructor-Created Custom GPTs as Pedagogical Partners Fostering Immersion in Online Higher Education: Two Case Studies
von: Beck, Dennis, et al.
Veröffentlicht: (2026)