Buchumschlag

Consistency Matters: Explore LLMs Consistency From a Black-Box Perspective

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhao, Fufangchen, Jin, Guoqiang, Huang, Jiaheng, Zhao, Rui, Tan, Fei
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SimCT: A Simple Consistency Test Protocol in LLMs Development Lifecycle
von: Zhao, Fufangchen, et al.
Veröffentlicht: (2024)

Too Consistent to Detect: A Study of Self-Consistent Errors in LLMs
von: Tan, Hexiang, et al.
Veröffentlicht: (2025)

reCSE: Portable Reshaping Features for Sentence Embedding in Self-supervised Contrastive Learning
von: Zhao, Fufangchen, et al.
Veröffentlicht: (2024)

Path-Consistency with Prefix Enhancement for Efficient Inference in LLMs
von: Zhu, Jiace, et al.
Veröffentlicht: (2024)

Black-Box Hallucination Detection via Consistency Under the Uncertain Expression
von: Joo, Seongho, et al.
Veröffentlicht: (2025)

SitLLM: Large Language Models for Sitting Posture Health Understanding via Pressure Sensor Data
von: Gao, Jian, et al.
Veröffentlicht: (2025)

Verify when Uncertain: Beyond Self-Consistency in Black Box Hallucination Detection
von: Xue, Yihao, et al.
Veröffentlicht: (2025)

P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs
von: Zhang, Yidan, et al.
Veröffentlicht: (2024)

Attention Consistency for LLMs Explanation
von: Lan, Tian, et al.
Veröffentlicht: (2025)

Two Failures of Self-Consistency in the Multi-Step Reasoning of LLMs
von: Chen, Angelica, et al.
Veröffentlicht: (2023)

Compositional Consistency-Guided Decoding for Three-Way Logical Question Answering
von: Huang, Tianyi, et al.
Veröffentlicht: (2026)

Self-Training Meets Consistency: Improving LLMs' Reasoning with Consistency-Driven Rationale Evaluation
von: Lee, Jaehyeok, et al.
Veröffentlicht: (2024)

SAC3: Reliable Hallucination Detection in Black-Box Language Models via Semantic-aware Cross-check Consistency
von: Zhang, Jiaxin, et al.
Veröffentlicht: (2023)

Black-Box Reliability Certification for AI Agents via Self-Consistency Sampling and Conformal Calibration
von: Mouzouni, Charafeddine
Veröffentlicht: (2026)

Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models
von: She, Shuaijie, et al.
Veröffentlicht: (2023)

Beneath the Surface of Consistency: Exploring Cross-lingual Knowledge Representation Sharing in LLMs
von: Ifergan, Maxim, et al.
Veröffentlicht: (2024)

Argument-Based Consistency in Toxicity Explanations of LLMs
von: Mothilal, Ramaravind Kommiya, et al.
Veröffentlicht: (2025)

Existing LLMs Are Not Self-Consistent For Simple Tasks
von: Lin, Zhenru, et al.
Veröffentlicht: (2025)

Do We Know What LLMs Don't Know? A Study of Consistency in Knowledge Probing
von: Zhao, Raoyuan, et al.
Veröffentlicht: (2025)

Group Fairness Meets the Black Box: Enabling Fair Algorithms on Closed LLMs via Post-Processing
von: Xian, Ruicheng, et al.
Veröffentlicht: (2025)

Do LLMs have Consistent Values?
von: Rozen, Naama, et al.
Veröffentlicht: (2024)

Confidence Improves Self-Consistency in LLMs
von: Taubenfeld, Amir, et al.
Veröffentlicht: (2025)

A Survey of Calibration Process for Black-Box LLMs
von: Xie, Liangru, et al.
Veröffentlicht: (2024)

Exploring Format Consistency for Instruction Tuning
von: Liang, Shihao, et al.
Veröffentlicht: (2023)

Beyond Self-Consistency: Ensemble Reasoning Boosts Consistency and Accuracy of LLMs in Cancer Staging
von: Chang, Chia-Hsuan, et al.
Veröffentlicht: (2024)

CAP: Data Contamination Detection via Consistency Amplification
von: Zhao, Yi, et al.
Veröffentlicht: (2024)

Does Instruction Tuning Make LLMs More Consistent?
von: Fierro, Constanza, et al.
Veröffentlicht: (2024)

Lowest Span Confidence: A Zero-Shot Metric for Efficient and Black-Box Hallucination Detection in LLMs
von: Qiao, Yitong, et al.
Veröffentlicht: (2026)

Nuance Matters: Probing Epistemic Consistency in Causal Reasoning
von: Cui, Shaobo, et al.
Veröffentlicht: (2024)

Evaluating Role-Consistency in LLMs for Counselor Training
von: Rudolph, Eric, et al.
Veröffentlicht: (2026)

Do LLMs Provide Consistent Answers to Health-Related Questions across Languages?
von: Schlicht, Ipek Baris, et al.
Veröffentlicht: (2025)

Probing the Geometry of Truth: Consistency and Generalization of Truth Directions in LLMs Across Logical Transformations and Question Answering Tasks
von: Bao, Yuntai, et al.
Veröffentlicht: (2025)

Exploring Intra and Inter-language Consistency in Embeddings with ICA
von: Li, Rongzhi, et al.
Veröffentlicht: (2024)

Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor
von: Xu, Chuankai, et al.
Veröffentlicht: (2024)

ConsistencyAI: A Benchmark to Assess LLMs' Factual Consistency When Responding to Different Demographic Groups
von: Banyas, Peter, et al.
Veröffentlicht: (2025)

Revisiting Self-Consistency from Dynamic Distributional Alignment Perspective on Answer Aggregation
von: Li, Yiwei, et al.
Veröffentlicht: (2025)

Improving Self Consistency in LLMs through Probabilistic Tokenization
von: Sathe, Ashutosh, et al.
Veröffentlicht: (2024)

NoMatterXAI: Generating "No Matter What" Alterfactual Examples for Explaining Black-Box Text Classification Models
von: Nguyen, Tuc, et al.
Veröffentlicht: (2024)

SC2: Towards Enhancing Content Preservation and Style Consistency in Long Text Style Transfer
von: Zhao, Jie, et al.
Veröffentlicht: (2024)

Aligning What LLMs Do and Say: Towards Self-Consistent Explanations
von: Admoni, Sahar, et al.
Veröffentlicht: (2025)