Copertina

Cost-Optimal Active AI Model Evaluation

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Angelopoulos, Anastasios N., Eisenstein, Jacob, Berant, Jonathan, Agarwal, Alekh, Fisch, Adam
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Robust Preference Optimization through Reward Model Distillation
di: Fisch, Adam, et al.
Pubblicazione: (2024)

Rewarding Progress: Scaling Automated Process Verifiers for LLM Reasoning
di: Setlur, Amrith, et al.
Pubblicazione: (2024)

MT-PingEval: Evaluating Multi-Turn Collaboration with Private Information Games
di: Eisenstein, Jacob, et al.
Pubblicazione: (2026)

Plantain: Plan-Answer Interleaved Reasoning
di: Liang, Anthony, et al.
Pubblicazione: (2025)

Helping or Herding? Reward Model Ensembles Mitigate but do not Eliminate Reward Hacking
di: Eisenstein, Jacob, et al.
Pubblicazione: (2023)

Learning Steerable Clarification Policies with Collaborative Self-play
di: Berant, Jonathan, et al.
Pubblicazione: (2025)

Theoretical guarantees on the best-of-n alignment policy
di: Beirami, Ahmad, et al.
Pubblicazione: (2024)

Mitigating Preference Hacking in Policy Optimization with Pessimism
di: Gupta, Dhawal, et al.
Pubblicazione: (2025)

Don't lie to your friends: Learning what you know from collaborative self-play
di: Eisenstein, Jacob, et al.
Pubblicazione: (2025)

Conformal Risk Control
di: Angelopoulos, Anastasios N., et al.
Pubblicazione: (2022)

Conformal Risk Control for Non-Monotonic Losses
di: Angelopoulos, Anastasios N.
Pubblicazione: (2026)

ALTA: Compiler-Based Analysis of Transformers
di: Shaw, Peter, et al.
Pubblicazione: (2024)

Non-Linear Reinforcement Learning in Large Action Spaces: Structural Conditions and Sample-efficiency of Posterior Sampling
di: Agarwal, Alekh, et al.
Pubblicazione: (2022)

Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors
di: Amos, Ido, et al.
Pubblicazione: (2023)

Optimizing Pre-Training Data Mixtures with Mixtures of Data Expert Models
di: Belenki, Lior, et al.
Pubblicazione: (2025)

Online conformal prediction with decaying step sizes
di: Angelopoulos, Anastasios N., et al.
Pubblicazione: (2024)

PPI++: Efficient Prediction-Powered Inference
di: Angelopoulos, Anastasios N., et al.
Pubblicazione: (2023)

Catoni Contextual Bandits are Robust to Heavy-tailed Rewards
di: Ye, Chenlu, et al.
Pubblicazione: (2025)

Design Considerations in Offline Preference-based RL
di: Agarwal, Alekh, et al.
Pubblicazione: (2025)

Offline Imitation Learning from Multiple Baselines with Applications to Compiler Optimization
di: Marinov, Teodor V., et al.
Pubblicazione: (2024)

AutoEval Done Right: Using Synthetic Data for Model Evaluation
di: Boyeau, Pierre, et al.
Pubblicazione: (2024)

Theoretical Foundations of Conformal Prediction
di: Angelopoulos, Anastasios N., et al.
Pubblicazione: (2024)

More Benefits of Being Distributional: Second-Order Bounds for Reinforcement Learning
di: Wang, Kaiwen, et al.
Pubblicazione: (2024)

Gradient Equilibrium in Online Learning: Theory and Applications
di: Angelopoulos, Anastasios N., et al.
Pubblicazione: (2025)

Multiple-Prediction-Powered Inference
di: Cowen-Breen, Charlie, et al.
Pubblicazione: (2026)

A Minimaximalist Approach to Reinforcement Learning from Human Feedback
di: Swamy, Gokul, et al.
Pubblicazione: (2024)

Calibrated Selective Classification
di: Fisch, Adam, et al.
Pubblicazione: (2022)

Stratified Prediction-Powered Inference for Hybrid Language Model Evaluation
di: Fisch, Adam, et al.
Pubblicazione: (2024)

Bridging Kolmogorov Complexity and Deep Learning: Asymptotically Optimal Description Length Objectives for Transformers
di: Shaw, Peter, et al.
Pubblicazione: (2025)

Ordering-based Conditions for Global Convergence of Policy Gradient Methods
di: Mei, Jincheng, et al.
Pubblicazione: (2025)

Data-Adaptive Tradeoffs among Multiple Risks in Distribution-Free Prediction
di: Nguyen, Drew T., et al.
Pubblicazione: (2024)

Stochastic Gradient Succeeds for Bandits
di: Mei, Jincheng, et al.
Pubblicazione: (2024)

Private Prediction Sets
di: Angelopoulos, Anastasios N., et al.
Pubblicazione: (2021)

How to Evaluate Reward Models for RLHF
di: Frick, Evan, et al.
Pubblicazione: (2024)

Conformal Decision Theory: Safe Autonomous Decisions from Imperfect Predictions
di: Lekeufack, Jordan, et al.
Pubblicazione: (2023)

Automatically Adaptive Conformal Risk Control
di: Blot, Vincent, et al.
Pubblicazione: (2024)

Conformal Prediction Under Feedback Covariate Shift for Biomolecular Design
di: Fannjiang, Clara, et al.
Pubblicazione: (2022)

Small steps no more: Global convergence of stochastic gradient bandits for arbitrary learning rates
di: Mei, Jincheng, et al.
Pubblicazione: (2025)

Rich Insights from Cheap Signals: Efficient Evaluations via Tensor Factorization
di: Polo, Felipe Maia, et al.
Pubblicazione: (2026)

InfAlign: Inference-aware language model alignment
di: Balashankar, Ananth, et al.
Pubblicazione: (2024)