Buchumschlag

Improving Labeling Consistency with Detailed Constitutional Definitions and AI-Driven Evaluation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Berlin, Konstantin, Swanda, Adam
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LLM Cyber Evaluations Don't Capture Real-World Risk
von: Lukošiūtė, Kamilė, et al.
Veröffentlicht: (2025)

Evaluating the role of `Constitutions' for learning from AI feedback
von: Redgate, Saskia, et al.
Veröffentlicht: (2024)

C3AI: Crafting and Evaluating Constitutions for Constitutional AI
von: Kyrychenko, Yara, et al.
Veröffentlicht: (2025)

Do LLMs Adhere to Label Definitions? Examining Their Receptivity to External Label Definitions
von: Mohammadi, Seyedali, et al.
Veröffentlicht: (2025)

Self-Training Meets Consistency: Improving LLMs' Reasoning with Consistency-Driven Rationale Evaluation
von: Lee, Jaehyeok, et al.
Veröffentlicht: (2024)

A Framework for Rapidly Developing and Deploying Protection Against Large Language Model Attacks
von: Swanda, Adam, et al.
Veröffentlicht: (2025)

Inverse Constitutional AI: Compressing Preferences into Principles
von: Findeis, Arduin, et al.
Veröffentlicht: (2024)

Contradiction Detection in RAG Systems: Evaluating LLMs as Context Validators for Improved Information Consistency
von: Gokul, Vignesh, et al.
Veröffentlicht: (2025)

Improving Score Reliability of Multiple Choice Benchmarks with Consistency Evaluation and Altered Answer Choices
von: Cavalin, Paulo, et al.
Veröffentlicht: (2025)

Less is More for Improving Automatic Evaluation of Factual Consistency
von: Wang, Tong, et al.
Veröffentlicht: (2024)

Confidence Improves Self-Consistency in LLMs
von: Taubenfeld, Amir, et al.
Veröffentlicht: (2025)

FAIRE: Assessing Racial and Gender Bias in AI-Driven Resume Evaluations
von: Wen, Athena, et al.
Veröffentlicht: (2025)

The Veln(ia)s is in the Details: Evaluating LLM Judgment on Latvian and Lithuanian Short Answer Matching
von: Kostiuk, Yevhen, et al.
Veröffentlicht: (2025)

Document-Level Event Extraction with Definition-Driven ICL
von: Liu, Zhuoyuan, et al.
Veröffentlicht: (2024)

Open Character Training: Shaping the Persona of AI Assistants through Constitutional AI
von: Maiya, Sharan, et al.
Veröffentlicht: (2025)

Reverse Constitutional AI: A Framework for Controllable Toxic Data Generation via Probability-Clamped RLAIF
von: Fang, Yuan, et al.
Veröffentlicht: (2026)

WorkRB: A Community-Driven Evaluation Framework for AI in the Work Domain
von: De Lange, Matthias, et al.
Veröffentlicht: (2026)

DCR-Consistency: Divide-Conquer-Reasoning for Consistency Evaluation and Improvement of Large Language Models
von: Cui, Wendi, et al.
Veröffentlicht: (2024)

Semantic Role Labeling of NomBank Partitives
von: Meyers, Adam, et al.
Veröffentlicht: (2024)

Evaluating Role-Consistency in LLMs for Counselor Training
von: Rudolph, Eric, et al.
Veröffentlicht: (2026)

Select, Label, Evaluate: Active Testing in NLP
von: Purificato, Antonio, et al.
Veröffentlicht: (2026)

Improving Multi-turn Dialogue Consistency with Self-Recall Thinking
von: Pang, Renning, et al.
Veröffentlicht: (2026)

Improving Factual Consistency of News Summarization by Contrastive Preference Optimization
von: Feng, Huawen, et al.
Veröffentlicht: (2023)

Improving Task Diversity in Label Efficient Supervised Finetuning of LLMs
von: Arabelly, Abhinav, et al.
Veröffentlicht: (2025)

Aligning with Logic: Measuring, Evaluating and Improving Logical Preference Consistency in Large Language Models
von: Liu, Yinhong, et al.
Veröffentlicht: (2024)

Reducing Political Manipulation with Consistency Training
von: Phan, Long, et al.
Veröffentlicht: (2026)

Improving Neural Topic Modeling with Semantically-Grounded Soft Label Distributions
von: Li, Raymond, et al.
Veröffentlicht: (2026)

Improving Non-autoregressive Machine Translation with Error Exposure and Consistency Regularization
von: Chen, Xinran, et al.
Veröffentlicht: (2024)

Evaluating Consistency and Reasoning Capabilities of Large Language Models
von: Saxena, Yash, et al.
Veröffentlicht: (2024)

Improving the Reliability of LLMs: Combining CoT, RAG, Self-Consistency, and Self-Verification
von: Kumar, Adarsh, et al.
Veröffentlicht: (2025)

Enhancing AI-Driven Education: Integrating Cognitive Frameworks, Linguistic Feedback Analysis, and Ethical Considerations for Improved Content Generation
von: Yaacoub, Antoun, et al.
Veröffentlicht: (2025)

AXCEL: Automated eXplainable Consistency Evaluation using LLMs
von: Sreekar, P Aditya, et al.
Veröffentlicht: (2024)

ConsistencyChecker: Tree-based Evaluation of LLM Generalization Capabilities
von: Hong, Zhaochen, et al.
Veröffentlicht: (2025)

SaGE: Evaluating Moral Consistency in Large Language Models
von: Bonagiri, Vamshi Krishna, et al.
Veröffentlicht: (2024)

Enhancing Consistency of Werewolf AI through Dialogue Summarization and Persona Information
von: Tanaka, Yoshiki, et al.
Veröffentlicht: (2026)

A Necessary Step toward Faithfulness: Measuring and Improving Consistency in Free-Text Explanations
von: Zhao, Lingjun, et al.
Veröffentlicht: (2025)

Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency
von: Li, Taiji, et al.
Veröffentlicht: (2024)

What Generative Artificial Intelligence Means for Terminological Definitions
von: Martín, Antonio San
Veröffentlicht: (2024)

The Moral Consistency Pipeline: Continuous Ethical Evaluation for Large Language Models
von: Jamshidi, Saeid, et al.
Veröffentlicht: (2025)

Cross-Examiner: Evaluating Consistency of Large Language Model-Generated Explanations
von: Villa, Danielle, et al.
Veröffentlicht: (2025)