Buchumschlag

Gaps Between Research and Practice When Measuring Representational Harms Caused by LLM-Based Systems

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Harvey, Emma, Sheng, Emily, Blodgett, Su Lin, Chouldechova, Alexandra, Garcia-Gathright, Jean, Olteanu, Alexandra, Wallach, Hanna
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computers and Society
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Understanding and Meeting Practitioner Needs When Measuring Representational Harms Caused by LLM-Based Systems
von: Harvey, Emma, et al.
Veröffentlicht: (2025)

"One-Size-Fits-All"? Examining Expectations around What Constitute "Fair" or "Good" NLG System Behaviors
von: Lucy, Li, et al.
Veröffentlicht: (2023)

Taxonomizing Representational Harms using Speech Act Theory
von: Corvi, Emily, et al.
Veröffentlicht: (2025)

AI-Assisted Systematization for Evaluating GenAI Systems
von: Agarwal, Dhruv, et al.
Veröffentlicht: (2026)

Evaluating Generative AI Systems is a Social Science Measurement Challenge
von: Wallach, Hanna, et al.
Veröffentlicht: (2024)

Position: Evaluating Generative AI Systems Is a Social Science Measurement Challenge
von: Wallach, Hanna, et al.
Veröffentlicht: (2025)

A Framework for Evaluating LLMs Under Task Indeterminacy
von: Guerdan, Luke, et al.
Veröffentlicht: (2024)

Validating LLM-as-a-Judge Systems under Rating Indeterminacy
von: Guerdan, Luke, et al.
Veröffentlicht: (2025)

A Shared Standard for Valid Measurement of Generative AI Systems' Capabilities, Risks, and Impacts
von: Chouldechova, Alexandra, et al.
Veröffentlicht: (2024)

Dehumanizing Machines: Mitigating Anthropomorphic Behaviors in Text Generation Systems
von: Cheng, Myra, et al.
Veröffentlicht: (2025)

AI Automatons: AI Systems Intended to Imitate Humans
von: Olteanu, Alexandra, et al.
Veröffentlicht: (2025)

A Taxonomy of Linguistic Expressions That Contribute To Anthropomorphism of Language Technologies
von: DeVrio, Alicia, et al.
Veröffentlicht: (2025)

From Use to Oversight: How Mental Models Influence User Behavior and Output in AI Writing Assistants
von: Rismani, Shalaleh, et al.
Veröffentlicht: (2026)

"I Am the One and Only, Your Cyber BFF": Understanding the Impact of GenAI Requires Understanding the Impact of Anthropomorphic AI
von: Cheng, Myra, et al.
Veröffentlicht: (2024)

Measuring Machine Learning Harms from Stereotypes Requires Understanding Who Is Harmed by Which Errors in What Ways
von: Wang, Angelina, et al.
Veröffentlicht: (2024)

Comparison requires valid measurement: Rethinking attack success rate comparisons in AI red teaming
von: Chouldechova, Alexandra, et al.
Veröffentlicht: (2026)

Dimensions of Generative AI Evaluation Design
von: Dow, P. Alex, et al.
Veröffentlicht: (2024)

"It was 80% me, 20% AI": Seeking Authenticity in Co-Writing with Large Language Models
von: Hwang, Angel Hsing-Chi, et al.
Veröffentlicht: (2024)

ECBD: Evidence-Centered Benchmark Design for NLP
von: Liu, Yu Lu, et al.
Veröffentlicht: (2024)

Do Responsible AI Artifacts Advance Stakeholder Goals? Four Key Barriers Perceived by Legal and Civil Stakeholders
von: Kawakami, Anna, et al.
Veröffentlicht: (2024)

AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents
von: Andriushchenko, Maksym, et al.
Veröffentlicht: (2024)

A structured regression approach for evaluating model performance across intersectional subgroups
von: Herlihy, Christine, et al.
Veröffentlicht: (2024)

The Impact of Differential Feature Under-reporting on Algorithmic Fairness
von: Akpinar, Nil-Jana, et al.
Veröffentlicht: (2024)

SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation
von: Khodak, Mikhail, et al.
Veröffentlicht: (2024)

Algorithm-Assisted Decision Making and Racial Disparities in Housing: A Study of the Allegheny Housing Assessment Tool
von: Cheng, Lingwei, et al.
Veröffentlicht: (2024)

Rigor in AI: Doing Rigorous AI Work Requires a Broader, Responsible AI-Informed Conception of Rigor
von: Olteanu, Alexandra, et al.
Veröffentlicht: (2025)

Leveraging Expert Consistency to Improve Algorithmic Decision Support
von: De-Arteaga, Maria, et al.
Veröffentlicht: (2021)

When do Schubert polynomial products stabilize?
von: Hardt, Andrew, et al.
Veröffentlicht: (2024)

Challenges to Evaluating the Generalization of Coreference Resolution Models: A Measurement Modeling Perspective
von: Porada, Ian, et al.
Veröffentlicht: (2023)

Bridging the Gap: Integrating Ethics and Environmental Sustainability in AI Research and Practice
von: Luccioni, Alexandra Sasha, et al.
Veröffentlicht: (2025)

On the closed neighborhood ideal of the square of the path graph
von: Olteanu, Anda, et al.
Veröffentlicht: (2026)

Quantifying the Dynamics of Harm Caused by Retracted Research
von: Huang, Yunyou, et al.
Veröffentlicht: (2024)

A Framework for Auditing Chatbots for Dialect-Based Quality-of-Service Harms
von: Harvey, Emma, et al.
Veröffentlicht: (2025)

A Practical Multilevel Governance Framework for Autonomous and Intelligent Systems
von: Pöhler, Lukas D., et al.
Veröffentlicht: (2024)

HARP: Measuring Harm Amplification in Multi-Agent LLM Systems
von: Rahman, Md Hafizur, et al.
Veröffentlicht: (2026)

Effects of Generative AI Errors on User Reliance Across Task Difficulty
von: Anthis, Jacy Reese, et al.
Veröffentlicht: (2026)

Bridging the Gap Between General and Transplant Infectious Disease Practice
von: Jeremey Walker, et al.
Veröffentlicht: (2026)

"Don't Forget the Teachers": Towards an Educator-Centered Understanding of Harms from Large Language Models in Education
von: Harvey, Emma, et al.
Veröffentlicht: (2025)

Line graphs of simplicial complexes
von: Olteanu, Anda
Veröffentlicht: (2022)

Recent Increments in Incremental View Maintenance
von: Olteanu, Dan
Veröffentlicht: (2024)