Buchumschlag

The Coverage Principle: How Pre-Training Enables Post-Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Fan, Huang, Audrey, Golowich, Noah, Malladi, Sadhika, Block, Adam, Ash, Jordan T., Krishnamurthy, Akshay, Foster, Dylan J.
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language Statistics Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Reject, Resample, Repeat: Understanding Parallel Reasoning in Language Model Inference
von: Golowich, Noah, et al.
Veröffentlicht: (2026)

Representation-Based Exploration for Language Models: From Test-Time to Post-Training
von: Tuyls, Jens, et al.
Veröffentlicht: (2025)

Self-Improvement in Language Models: The Sharpening Mechanism
von: Huang, Audrey, et al.
Veröffentlicht: (2024)

Is Behavior Cloning All You Need? Understanding Horizon in Imitation Learning
von: Foster, Dylan J., et al.
Veröffentlicht: (2024)

Is Best-of-N the Best of Them? Coverage, Scaling, and Optimality in Inference-Time Alignment
von: Huang, Audrey, et al.
Veröffentlicht: (2025)

Is a Good Foundation Necessary for Efficient Reinforcement Learning? The Computational Role of the Base Model in Exploration
von: Foster, Dylan J., et al.
Veröffentlicht: (2025)

Near-Optimal Learning and Planning in Separated Latent MDPs
von: Chen, Fan, et al.
Veröffentlicht: (2024)

Characterizing the Training-Conditional Coverage of Full Conformal Inference in High Dimensions
von: Gibbs, Isaac, et al.
Veröffentlicht: (2025)

Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification
von: Rohatgi, Dhruv, et al.
Veröffentlicht: (2025)

In Good GRACEs: Principled Teacher Selection for Knowledge Distillation
von: Panigrahi, Abhishek, et al.
Veröffentlicht: (2025)

Post-Hoc Uncertainty Quantification in Pre-Trained Neural Networks via Activation-Level Gaussian Processes
von: Bergna, Richard, et al.
Veröffentlicht: (2025)

Metadata Conditioning Accelerates Language Model Pre-training
von: Gao, Tianyu, et al.
Veröffentlicht: (2025)

Rate of convergence of the smoothed empirical Wasserstein distance
von: Block, Adam, et al.
Veröffentlicht: (2022)

A Quantitative Characterization of Forgetting in Post-Training
von: Balasubramanian, Krishnakumar, et al.
Veröffentlicht: (2026)

Trainable Transformer in Transformer
von: Panigrahi, Abhishek, et al.
Veröffentlicht: (2023)

Assouad, Fano, and Le Cam with Interaction: A Unifying Lower Bound Framework and Characterization for Bandit Learnability
von: Chen, Fan, et al.
Veröffentlicht: (2024)

Online Estimation via Offline Estimation: An Information-Theoretic Framework
von: Foster, Dylan J., et al.
Veröffentlicht: (2024)

Laws of thermodynamics for exponential families
von: Balsubramani, Akshay
Veröffentlicht: (2025)

Prediction Aided by Surrogate Training
von: Xia, Eric, et al.
Veröffentlicht: (2024)

Landauer Principle and Thermodynamics of Computation
von: Chattopadhyay, Pritam, et al.
Veröffentlicht: (2025)

On Reconstructing Training Data From Bayesian Posteriors and Trained Models
von: Wynne, George
Veröffentlicht: (2025)

Post-Hoc Large-Sample Statistical Inference
von: Chugg, Ben, et al.
Veröffentlicht: (2026)

Information theoretic limits of robust sub-Gaussian mean estimation under star-shaped constraints
von: Prasadan, Akshay, et al.
Veröffentlicht: (2024)

Characterizing the minimax rate of nonparametric regression under bounded star-shaped constraints
von: Prasadan, Akshay, et al.
Veröffentlicht: (2024)

Some facts about the optimality of the LSE in the Gaussian sequence model with convex constraint
von: Prasadan, Akshay, et al.
Veröffentlicht: (2024)

High-dimensional (Group) Adversarial Training in Linear Regression
von: Xie, Yiling, et al.
Veröffentlicht: (2024)

Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization
von: Huang, Audrey, et al.
Veröffentlicht: (2024)

Dimension-free Bounds for Covariance Estimation with Tensor-Train Structure
von: Patarusau, Artsiom, et al.
Veröffentlicht: (2025)

Correcting the Coverage Bias of Quantile Regression
von: Gibbs, Isaac, et al.
Veröffentlicht: (2025)

A Few Observations on Sample-Conditional Coverage in Conformal Prediction
von: Duchi, John C.
Veröffentlicht: (2025)

Growth-Optimal E-Variables and an extension to the multivariate Csiszár-Sanov-Chernoff Theorem
von: Grünwald, Peter, et al.
Veröffentlicht: (2024)

A Simplified and Numerically Stable Approach to the BG/NBD Churn Prediction model
von: Zammit, Dylan, et al.
Veröffentlicht: (2025)

Source-Optimal Training is Transfer-Suboptimal
von: Hedges, C. Evans
Veröffentlicht: (2025)

LESS: Selecting Influential Data for Targeted Instruction Tuning
von: Xia, Mengzhou, et al.
Veröffentlicht: (2024)

Hallucinations are inevitable but can be made statistically negligible
von: Suzuki, Atsushi, et al.
Veröffentlicht: (2025)

Can large language models explore in-context?
von: Krishnamurthy, Akshay, et al.
Veröffentlicht: (2024)

Global Convergence in Training Large-Scale Transformers
von: Gao, Cheng, et al.
Veröffentlicht: (2024)

Rectifying Conformity Scores for Better Conditional Coverage
von: Plassier, Vincent, et al.
Veröffentlicht: (2025)

Generalized Median of Means Principle for Bayesian Inference
von: Minsker, Stanislav, et al.
Veröffentlicht: (2022)

The e-Partitioning Principle of False Discovery Rate Control
von: Goeman, Jelle, et al.
Veröffentlicht: (2025)