Buchumschlag

SocioEval: A Template-Based Framework for Evaluating Socioeconomic Status Bias in Foundation Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kumar, Divyanshu, Gupta, Ishita, Birur, Nitin Aravind, Baswa, Tanay, Agarwal, Sahil, Harshangi, Prashanth
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Redirected, Not Removed: Task-Dependent Stereotyping Reveals the Limits of LLM Alignments
von: Kumar, Divyanshu, et al.
Veröffentlicht: (2026)

Beyond Western Politics: Cross-Cultural Benchmarks for Evaluating Partisan Associations in LLMs
von: Kumar, Divyanshu, et al.
Veröffentlicht: (2025)

VERA: Validation and Enhancement for Retrieval Augmented systems
von: Birur, Nitin Aravind, et al.
Veröffentlicht: (2024)

No Free Lunch with Guardrails
von: Kumar, Divyanshu, et al.
Veröffentlicht: (2025)

Quantifying CBRN Risk in Frontier Models
von: Kumar, Divyanshu, et al.
Veröffentlicht: (2025)

SAGE-RT: Synthetic Alignment data Generation for Safety Evaluation and Red Teaming
von: Kumar, Anurakt, et al.
Veröffentlicht: (2024)

Beyond Text: Multimodal Jailbreaking of Vision-Language and Audio Models through Perceptually Simple Transformations
von: Kumar, Divyanshu, et al.
Veröffentlicht: (2025)

Investigating Implicit Bias in Large Language Models: A Large-Scale Study of Over 50 LLMs
von: Kumar, Divyanshu, et al.
Veröffentlicht: (2024)

Fine-Tuning, Quantization, and LLMs: Navigating Unintended Outcomes
von: Kumar, Divyanshu, et al.
Veröffentlicht: (2024)

AccessEval: Benchmarking Disability Bias in Large Language Models
von: Panda, Srikant, et al.
Veröffentlicht: (2025)

VHDL-Eval: A Framework for Evaluating Large Language Models in VHDL Code Generation
von: Vijayaraghavan, Prashanth, et al.
Veröffentlicht: (2024)

Socio-Culturally Aware Evaluation Framework for LLM-Based Content Moderation
von: Kumar, Shanu, et al.
Veröffentlicht: (2024)

'Since Lawyers are Males..': Examining Implicit Gender Bias in Hindi Language Generation by LLMs
von: Joshi, Ishika, et al.
Veröffentlicht: (2024)

GAICo: A Deployed and Extensible Framework for Evaluating Diverse and Multimodal Generative AI Outputs
von: Gupta, Nitin, et al.
Veröffentlicht: (2025)

Template-Based Probes Are Imperfect Lenses for Counterfactual Bias Evaluation in LLMs
von: Kohankhaki, Farnaz, et al.
Veröffentlicht: (2024)

MapEval: A Map-Based Evaluation of Geo-Spatial Reasoning in Foundation Models
von: Dihan, Mahir Labib, et al.
Veröffentlicht: (2024)

ReviewEval: An Evaluation Framework for AI-Generated Reviews
von: Garg, Madhav Krishan, et al.
Veröffentlicht: (2025)

Team A at SemEval-2025 Task 11: Breaking Language Barriers in Emotion Detection with Multilingual Models
von: Sahil, P Sam, et al.
Veröffentlicht: (2025)

Personality Shapes Gender Bias in Persona-Conditioned LLM Narratives Across English and Hindi: An Empirical Investigation
von: Kumar, Tanay, et al.
Veröffentlicht: (2026)

Eval4Sim: An Evaluation Framework for Persona Simulation
von: Bao, Eliseo, et al.
Veröffentlicht: (2026)

The AI Gap: How Socioeconomic Status Affects Language Technology Interactions
von: Bassignana, Elisa, et al.
Veröffentlicht: (2025)

ImplicitBBQ: Benchmarking Implicit Bias in Large Language Models through Characteristic Based Cues
von: Vedula, Bhaskara Hanuma, et al.
Veröffentlicht: (2026)

SynthTextEval: Synthetic Text Data Generation and Evaluation for High-Stakes Domains
von: Ramesh, Krithika, et al.
Veröffentlicht: (2025)

Towards a Multidimensional Evaluation Framework for Empathetic Conversational Systems
von: Raamkumar, Aravind Sesagiri, et al.
Veröffentlicht: (2024)

Do Large Language Models Adapt to Language Variation across Socioeconomic Status?
von: Bassignana, Elisa, et al.
Veröffentlicht: (2026)

GraphEval: A Knowledge-Graph Based LLM Hallucination Evaluation Framework
von: Sansford, Hannah, et al.
Veröffentlicht: (2024)

BITS Pilani at SemEval-2026 Task 9: Structured Supervised Fine-Tuning with DPO Refinement for Polarization Detection
von: Gupta, Atharva, et al.
Veröffentlicht: (2026)

EvalSense: A Framework for Domain-Specific LLM (Meta-)Evaluation
von: Dejl, Adam, et al.
Veröffentlicht: (2026)

EvalCards: A Framework for Standardized Evaluation Reporting
von: Dhar, Ruchira, et al.
Veröffentlicht: (2025)

What is in a name? Mitigating Name Bias in Text Embeddings via Anonymization
von: Manchanda, Sahil, et al.
Veröffentlicht: (2025)

Do Language Models Know When They'll Refuse? Probing Introspective Awareness of Safety Boundaries
von: Gondil, Tanay
Veröffentlicht: (2026)

Eka-Eval: An Evaluation Framework for Low-Resource Multilingual Large Language Models
von: Sinha, Samridhi Raj, et al.
Veröffentlicht: (2025)

Tau-Eval: A Unified Evaluation Framework for Useful and Private Text Anonymization
von: Loiseau, Gabriel, et al.
Veröffentlicht: (2025)

MAPLE: Multilingual Evaluation of Parameter Efficient Finetuning of Large Language Models
von: Aggarwal, Divyanshu, et al.
Veröffentlicht: (2024)

Linguistic Complexity and Socio-cultural Patterns in Hip-Hop Lyrics
von: Bansal, Aayam, et al.
Veröffentlicht: (2025)

MedRiskEval: Medical Risk Evaluation Benchmark of Language Models, On the Importance of User Perspectives in Healthcare Settings
von: Corbeil, Jean-Philippe, et al.
Veröffentlicht: (2025)

CreativEval: Evaluating Creativity of LLM-Based Hardware Code Generation
von: DeLorenzo, Matthew, et al.
Veröffentlicht: (2024)

HintEval: A Comprehensive Framework for Hint Generation and Evaluation for Questions
von: Mozafari, Jamshid, et al.
Veröffentlicht: (2025)

CalibraEval: Calibrating Prediction Distribution to Mitigate Selection Bias in LLMs-as-Judges
von: Li, Haitao, et al.
Veröffentlicht: (2024)

Cer-Eval: Certifiable and Cost-Efficient Evaluation Framework for LLMs
von: Wang, Ganghua, et al.
Veröffentlicht: (2025)