Buchumschlag

Counterfactual Fairness Evaluation of LLM-Based Contact Center Agent Quality Assurance System

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mayilvaghanan, Kawin, Gupta, Siddhant, Kumar, Ayush
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Spot the BlindSpots: Systematic Identification and Quantification of Fine-Grained LLM Biases in Contact Center Summaries
von: Mayilvaghanan, Kawin, et al.
Veröffentlicht: (2025)

Integration of LLM Quality Assurance into an NLG System
von: Chen, Ching-Yi, et al.
Veröffentlicht: (2025)

Tool-Aware Planning in Contact Center AI: Evaluating LLMs through Lineage-Guided Query Decomposition
von: Nathan, Varun, et al.
Veröffentlicht: (2026)

Why Synthetic Isn't Real Yet: A Diagnostic Framework for Contact Center Dialogue Generation
von: Devanathan, Rishikesh, et al.
Veröffentlicht: (2025)

Counterfactual Graph for Multi-Agent LLM Calibration
von: Huang, Jiatan, et al.
Veröffentlicht: (2026)

LLM-Based Insight Extraction for Contact Center Analytics and Cost-Efficient Deployment
von: Embar, Varsha, et al.
Veröffentlicht: (2025)

Counterfactual Evaluation for Blind Attack Detection in LLM-based Evaluation Systems
von: Liu, Lijia, et al.
Veröffentlicht: (2025)

Multi-Facet Counterfactual Learning for Content Quality Evaluation
von: Zheng, Jiasheng, et al.
Veröffentlicht: (2024)

Equal Access, Unequal Interaction: A Counterfactual Audit of LLM Fairness
von: Amiri-Margavi, Alireza, et al.
Veröffentlicht: (2026)

Aligning (Medical) LLMs for (Counterfactual) Fairness
von: Poulain, Raphael, et al.
Veröffentlicht: (2024)

Agent-as-a-Graph: Knowledge Graph-Based Tool and Agent Retrieval for LLM Multi-Agent Systems
von: Nizar, Faheem, et al.
Veröffentlicht: (2025)

MEDEQUALQA: Evaluating Biases in LLMs with Counterfactual Reasoning
von: Ghosh, Rajarshi, et al.
Veröffentlicht: (2025)

Causal-Counterfactual RAG: The Integration of Causal-Counterfactual Reasoning into RAG
von: Khadilkar, Harshad, et al.
Veröffentlicht: (2025)

Uncertainty and Fairness Awareness in LLM-Based Recommendation Systems
von: Sah, Chandan Kumar, et al.
Veröffentlicht: (2026)

Towards Fair and Comprehensive Evaluation of Routers in Collaborative LLM Systems
von: Wu, Wanxing, et al.
Veröffentlicht: (2026)

Benchmarking Multi-Agent LLM Architectures for Financial Document Processing: A Comparative Study of Orchestration Patterns, Cost-Accuracy Tradeoffs and Production Scaling Strategies
von: Kulkarni, Siddhant, et al.
Veröffentlicht: (2026)

Evaluating the Retrieval Component in LLM-Based Question Answering Systems
von: Alinejad, Ashkan, et al.
Veröffentlicht: (2024)

Faithfulness vs. Safety: Evaluating LLM Behavior Under Counterfactual Medical Evidence
von: Mo, Kaijie, et al.
Veröffentlicht: (2026)

Stability Analysis of ChatGPT-based Sentiment Analysis in AI Quality Assurance
von: Ouyang, Tinghui, et al.
Veröffentlicht: (2024)

ParamBench: A Graduate-Level Benchmark for Evaluating LLM Understanding on Indic Subjects
von: Maheshwari, Ayush, et al.
Veröffentlicht: (2025)

IITR-CIOL@NLU of Devanagari Script Languages 2025: Multilingual Hate Speech Detection and Target Identification in Devanagari-Scripted Languages
von: Gupta, Siddhant, et al.
Veröffentlicht: (2024)

Question Answering on Patient Medical Records with Private Fine-Tuned LLMs
von: Kothari, Sara, et al.
Veröffentlicht: (2025)

Tool-to-Agent Retrieval: Bridging Tools and Agents for Scalable LLM Multi-Agent Systems
von: Lumer, Elias, et al.
Veröffentlicht: (2025)

Text-Based Detection of On-Hold Scripts in Contact Center Calls
von: Galimzianov, Dmitrii, et al.
Veröffentlicht: (2024)

FairI Tales: Evaluation of Fairness in Indian Contexts with a Focus on Bias and Stereotypes
von: Nawale, Janki Atul, et al.
Veröffentlicht: (2025)

LLM-Based Support for Diabetes Diagnosis: Opportunities, Scenarios, and Challenges with GPT-5
von: Gupta, Gaurav Kumar, et al.
Veröffentlicht: (2025)

FairFlow: An Automated Approach to Model-based Counterfactual Data Augmentation For NLP
von: Tokpo, Ewoenam Kwaku, et al.
Veröffentlicht: (2024)

SciCoQA: Quality Assurance for Scientific Paper--Code Alignment
von: Baumgärtner, Tim, et al.
Veröffentlicht: (2026)

Truth or Twist? Optimal Model Selection for Reliable Label Flipping Evaluation in LLM-based Counterfactuals
von: Wang, Qianli, et al.
Veröffentlicht: (2025)

Anchor Points: Benchmarking Models with Much Fewer Examples
von: Vivek, Rajan, et al.
Veröffentlicht: (2023)

Weakly Supervised Fine-grained Span-Level Framework for Chinese Radiology Report Quality Assurance
von: Wang, Kaiyu, et al.
Veröffentlicht: (2025)

LLM-Based Section Identifiers Excel on Open Source but Stumble in Real World Applications
von: Krishnamoorthy, Saranya, et al.
Veröffentlicht: (2024)

MIRIX: Multi-Agent Memory System for LLM-Based Agents
von: Wang, Yu, et al.
Veröffentlicht: (2025)

Toward a Human-Centered Evaluation Framework for Trustworthy LLM-Powered GUI Agents
von: Chen, Chaoran, et al.
Veröffentlicht: (2025)

Flying Pigs, FaR and Beyond: Evaluating LLM Reasoning in Counterfactual Worlds
von: Joishy, Anish R, et al.
Veröffentlicht: (2025)

Test Set Quality in Multilingual LLM Evaluation
von: Kranti, Chalamalasetti, et al.
Veröffentlicht: (2025)

Replayable Financial Agents: A Determinism-Faithfulness Assurance Harness for Tool-Using LLM Agents
von: Khatchadourian, Raffi
Veröffentlicht: (2026)

Introducing Super RAGs in Mistral 8x7B-v1
von: Thakur, Ayush, et al.
Veröffentlicht: (2024)

Advancing Risk and Quality Assurance: A RAG Chatbot for Improved Regulatory Compliance
von: Hillebrand, Lars, et al.
Veröffentlicht: (2025)

Agent-SafetyBench: Evaluating the Safety of LLM Agents
von: Zhang, Zhexin, et al.
Veröffentlicht: (2024)