Buchumschlag

Judging with Confidence: Calibrating Autoraters to Preference Distributions

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Zhuohang, Li, Xiaowei, Huang, Chengyu, Li, Guowang, Goshvadi, Katayoon, Dai, Bo, Schuurmans, Dale, Zhou, Paul, Palangi, Hamid, Song, Yiwen, Goyal, Palash, Kantarcioglu, Murat, Malin, Bradley A., Xue, Yuan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF
von: Cen, Shicong, et al.
Veröffentlicht: (2024)

SMOTE-DP: Improving Privacy-Utility Tradeoff with Synthetic Data
von: Zhou, Yan, et al.
Veröffentlicht: (2025)

Exploring and Benchmarking the Planning Capabilities of Large Language Models
von: Bohnet, Bernd, et al.
Veröffentlicht: (2024)

Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation
von: Li, Zhuohang, et al.
Veröffentlicht: (2024)

ScholarPeer: A Context-Aware Multi-Agent Framework for Automated Peer Review
von: Goyal, Palash, et al.
Veröffentlicht: (2026)

Watch and Learn: Learning to Use Computers from Online Videos
von: Song, Chan Hee, et al.
Veröffentlicht: (2025)

LLM-Based Multi-Agent Blackboard System for Information Discovery in Data Science
von: Salemi, Alireza, et al.
Veröffentlicht: (2025)

PLAN-TUNING: Post-Training Language Models to Learn Step-by-Step Planning for Complex Problem Solving
von: Parmar, Mihir, et al.
Veröffentlicht: (2025)

Spectral Ghost in Representation Learning: from Component Analysis to Self-Supervised Learning
von: Dai, Bo, et al.
Veröffentlicht: (2026)

Token-weighted Direct Preference Optimization with Attention
von: Huang, Chengyu, et al.
Veröffentlicht: (2026)

Blending Human and LLM Expertise to Detect Hallucinations and Omissions in Mental Health Chatbot Responses
von: Hussain, Khizar, et al.
Veröffentlicht: (2026)

HEART: Emotionally-Driven Test-Time Scaling of Language Models
von: Pinto, Gabriela, et al.
Veröffentlicht: (2025)

VERI-DPO: Evidence-Aware Alignment for Clinical Summarization via Claim Verification and Direct Preference Optimization
von: Liu, Weixin, et al.
Veröffentlicht: (2026)

TFRBench: A Reasoning Benchmark for Evaluating Forecasting Systems
von: Ahamed, Md Atik, et al.
Veröffentlicht: (2026)

Bypassing AI Control Protocols via Agent-as-a-Proxy Attacks
von: Isbarov, Jafar, et al.
Veröffentlicht: (2026)

PARALLAX: Separating Genuine Hallucination Detection from Benchmark Construction Artifacts
von: Hussain, Khizar, et al.
Veröffentlicht: (2026)

A Review of DeepSeek Models' Key Innovative Techniques
von: Wang, Chengen, et al.
Veröffentlicht: (2025)

Ask ChatGPT: Caveats and Mitigations for Individual Users of AI Chatbots
von: Wang, Chengen, et al.
Veröffentlicht: (2025)

Graph Generative Models Evaluation with Masked Autoencoder
von: Wang, Chengen, et al.
Veröffentlicht: (2025)

LLM-driven Provenance Forensics for Threat Investigation and Detection
von: Mukherjee, Kunal, et al.
Veröffentlicht: (2025)

How to Backdoor Consistency Models?
von: Wang, Chengen, et al.
Veröffentlicht: (2024)

DCRM: A Heuristic to Measure Response Pair Quality in Preference Optimization
von: Huang, Chengyu, et al.
Veröffentlicht: (2025)

SAC3: Reliable Hallucination Detection in Black-Box Language Models via Semantic-aware Cross-check Consistency
von: Zhang, Jiaxin, et al.
Veröffentlicht: (2023)

Autoregressive Large Language Models are Computationally Universal
von: Schuurmans, Dale, et al.
Veröffentlicht: (2024)

Synapse: Adaptive Arbitration of Complementary Expertise in Time Series Foundational Models
von: Das, Sarkar Snigdha Sarathi, et al.
Veröffentlicht: (2025)

Exploring Group and Symmetry Principles in Large Language Models
von: Imani, Shima, et al.
Veröffentlicht: (2024)

Spectral Representation-based Reinforcement Learning
von: Gao, Chenxiao, et al.
Veröffentlicht: (2025)

MHGraphBench: Knowledge Graph-Grounded Benchmarking of Mental Health Knowledge in Large Language Models
von: Liu, Weixin, et al.
Veröffentlicht: (2026)

A CRITICAL ANALYSIS OF THE CELEBRITY CHEF JAMIE OLIVER’S DISCOURSE OF FASTNESS AND BBC PERSIAN’S DUBBING STRATEGIES
von: Katayoon Afzali
Veröffentlicht: (2023)

Soft Preference Optimization: Aligning Language Models to Expert Distributions
von: Sharifnassab, Arsalan, et al.
Veröffentlicht: (2024)

Learning Joint Embeddings of Function and Process Call Graphs for Malware Detection
von: Aneja, Kartikeya, et al.
Veröffentlicht: (2025)

DCR-Consistency: Divide-Conquer-Reasoning for Consistency Evaluation and Improvement of Large Language Models
von: Cui, Wendi, et al.
Veröffentlicht: (2024)

Towards Statistical Factuality Guarantee for Large Vision-Language Models
von: Li, Zhuohang, et al.
Veröffentlicht: (2025)

Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement
von: Huynh, Jessica, et al.
Veröffentlicht: (2026)

MoltGraph: A Longitudinal Temporal Graph Dataset of Moltbook for Coordinated-Agent Detection
von: Mukherjee, Kunal, et al.
Veröffentlicht: (2026)

Exploring User-level Gradient Inversion with a Diffusion Prior
von: Li, Zhuohang, et al.
Veröffentlicht: (2024)

Analyzing Inference Privacy Risks Through Gradients in Machine Learning
von: Li, Zhuohang, et al.
Veröffentlicht: (2024)

From Passive Metric to Active Signal: The Evolving Role of Uncertainty Quantification in Large Language Models
von: Zhang, Jiaxin, et al.
Veröffentlicht: (2026)

Foundational Autoraters: Taming Large Language Models for Better Automatic Evaluation
von: Vu, Tu, et al.
Veröffentlicht: (2024)

SEE: Strategic Exploration and Exploitation for Cohesive In-Context Prompt Optimization
von: Cui, Wendi, et al.
Veröffentlicht: (2024)