Buchumschlag

Evaluating Role-Consistency in LLMs for Counselor Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Rudolph, Eric, Engert, Natalie, Albrecht, Jens
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Transition-Matrix Regularization for Next Dialogue Act Prediction in Counselling Conversations
von: Rudolph, Eric, et al.
Veröffentlicht: (2026)

Nürnberg NLP at PsyDefDetect: Multi-Axis Voter Ensembles for Psychological Defence Mechanism Classification
von: Steigerwald, Philipp, et al.
Veröffentlicht: (2026)

LLARS: Enabling Domain Expert & Developer Collaboration for LLM Prompting, Generation and Evaluation
von: Steigerwald, Philipp, et al.
Veröffentlicht: (2026)

KokoroChat: A Japanese Psychological Counseling Dialogue Dataset Collected via Role-Playing by Trained Counselors
von: Qi, Zhiyang, et al.
Veröffentlicht: (2025)

Self-Training Meets Consistency: Improving LLMs' Reasoning with Consistency-Driven Rationale Evaluation
von: Lee, Jaehyeok, et al.
Veröffentlicht: (2024)

From "Help" to Helpful: A Hierarchical Assessment of LLMs in Mental e-Health Applications
von: Steigerwald, Philipp, et al.
Veröffentlicht: (2026)

AXCEL: Automated eXplainable Consistency Evaluation using LLMs
von: Sreekar, P Aditya, et al.
Veröffentlicht: (2024)

Understanding the Role of LLMs in Multimodal Evaluation Benchmarks
von: Jiang, Botian, et al.
Veröffentlicht: (2024)

The Two Sides of the Coin: Hallucination Generation and Detection with LLMs as Evaluators for LLMs
von: Bui, Anh Thu Maria, et al.
Veröffentlicht: (2024)

Contradiction Detection in RAG Systems: Evaluating LLMs as Context Validators for Improved Information Consistency
von: Gokul, Vignesh, et al.
Veröffentlicht: (2025)

Cascaded Self-Evaluation Augmented Training for Lightweight Multimodal LLMs
von: Lv, Zheqi, et al.
Veröffentlicht: (2025)

Confidence Improves Self-Consistency in LLMs
von: Taubenfeld, Amir, et al.
Veröffentlicht: (2025)

Do LLMs have Consistent Values?
von: Rozen, Naama, et al.
Veröffentlicht: (2024)

Reducing Political Manipulation with Consistency Training
von: Phan, Long, et al.
Veröffentlicht: (2026)

Beyond Self-Consistency: Ensemble Reasoning Boosts Consistency and Accuracy of LLMs in Cancer Staging
von: Chang, Chia-Hsuan, et al.
Veröffentlicht: (2024)

Memory-Driven Role-Playing: Evaluation and Enhancement of Persona Knowledge Utilization in LLMs
von: Wang, Kai, et al.
Veröffentlicht: (2026)

Post-Training Language Models for Crosslingual Consistency
von: Liu, Tianyu, et al.
Veröffentlicht: (2026)

Path-Consistency with Prefix Enhancement for Efficient Inference in LLMs
von: Zhu, Jiace, et al.
Veröffentlicht: (2024)

Graph Counselor: Adaptive Graph Exploration via Multi-Agent Synergy to Enhance LLM Reasoning
von: Gao, Junqi, et al.
Veröffentlicht: (2025)

RoleConflictBench: A Benchmark of Role Conflict Scenarios for Evaluating LLMs' Contextual Sensitivity
von: Shin, Jisu, et al.
Veröffentlicht: (2025)

CharacterBox: Evaluating the Role-Playing Capabilities of LLMs in Text-Based Virtual Worlds
von: Wang, Lei, et al.
Veröffentlicht: (2024)

Do LLMs Have Distinct and Consistent Personality? TRAIT: Personality Testset designed for LLMs with Psychometrics
von: Lee, Seungbeen, et al.
Veröffentlicht: (2024)

Lost in Stories: Consistency Bugs in Long Story Generation by LLMs
von: Li, Junjie, et al.
Veröffentlicht: (2026)

Consistency Training while Mitigating Obfuscation via Rate Matching
von: Imran, Sohaib, et al.
Veröffentlicht: (2026)

DCR-Consistency: Divide-Conquer-Reasoning for Consistency Evaluation and Improvement of Large Language Models
von: Cui, Wendi, et al.
Veröffentlicht: (2024)

What Do LLMs Know About Alzheimer's Disease? Multi-loss Fine-Tuning and Probing for AD Detection
von: Jiang, Lei, et al.
Veröffentlicht: (2026)

How Reliable are LLMs as Knowledge Bases? Re-thinking Facutality and Consistency
von: Zheng, Danna, et al.
Veröffentlicht: (2024)

Causal Understanding by LLMs: The Role of Uncertainty
von: Lithgow-Serrano, Oscar, et al.
Veröffentlicht: (2025)

How Far Are We on the Decision-Making of LLMs? Evaluating LLMs' Gaming Ability in Multi-Agent Environments
von: Huang, Jen-tse, et al.
Veröffentlicht: (2024)

Bias-Augmented Consistency Training Reduces Biased Reasoning in Chain-of-Thought
von: Chua, James, et al.
Veröffentlicht: (2024)

Cleanse: Uncertainty Estimation Approach Using Clustering-based Semantic Consistency in LLMs
von: Joo, Minsuh, et al.
Veröffentlicht: (2025)

Improving the Reliability of LLMs: Combining CoT, RAG, Self-Consistency, and Self-Verification
von: Kumar, Adarsh, et al.
Veröffentlicht: (2025)

Beneath the Surface of Consistency: Exploring Cross-lingual Knowledge Representation Sharing in LLMs
von: Ifergan, Maxim, et al.
Veröffentlicht: (2024)

Evaluating Consistency and Reasoning Capabilities of Large Language Models
von: Saxena, Yash, et al.
Veröffentlicht: (2024)

CoSER: A Comprehensive Literary Dataset and Framework for Training and Evaluating LLM Role-Playing and Persona Simulation
von: Wang, Xintao, et al.
Veröffentlicht: (2025)

Self-Consistency Is Losing Its Edge: Diminishing Returns and Rising Costs in Modern LLMs
von: Loo, Chiyan
Veröffentlicht: (2025)

Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions
von: Murugadoss, Bhuvanashree, et al.
Veröffentlicht: (2024)

Activation Oracles: Training and Evaluating LLMs as General-Purpose Activation Explainers
von: Karvonen, Adam, et al.
Veröffentlicht: (2025)

ConsistencyChecker: Tree-based Evaluation of LLM Generalization Capabilities
von: Hong, Zhaochen, et al.
Veröffentlicht: (2025)

SaGE: Evaluating Moral Consistency in Large Language Models
von: Bonagiri, Vamshi Krishna, et al.
Veröffentlicht: (2024)