Buchumschlag

Asymptotics of Language Model Alignment

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yang, Joy Qiping, Salamatian, Salman, Sun, Ziteng, Suresh, Ananda Theertha, Beirami, Ahmad
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Information Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SpecTr: Fast Speculative Decoding via Optimal Transport
von: Sun, Ziteng, et al.
Veröffentlicht: (2023)

The importance of feature preprocessing for differentially private linear optimization
von: Sun, Ziteng, et al.
Veröffentlicht: (2023)

Subset-Based Instance Optimality in Private Estimation
von: Dick, Travis, et al.
Veröffentlicht: (2023)

Block Verification Accelerates Speculative Decoding
von: Sun, Ziteng, et al.
Veröffentlicht: (2024)

Multi-Group Fairness Evaluation via Conditional Value-at-Risk Testing
von: Paes, Lucas Monteiro, et al.
Veröffentlicht: (2023)

On Robust Hypothesis Testing with respect to the Hellinger Distance
von: Modak, Eeshan, et al.
Veröffentlicht: (2025)

Theoretical guarantees on the best-of-n alignment policy
von: Beirami, Ahmad, et al.
Veröffentlicht: (2024)

Rate of Model Collapse in Recursive Training
von: Suresh, Ananda Theertha, et al.
Veröffentlicht: (2024)

InfAlign: Inference-aware language model alignment
von: Balashankar, Ananth, et al.
Veröffentlicht: (2024)

Mean estimation in the add-remove model of differential privacy
von: Kulesza, Alex, et al.
Veröffentlicht: (2023)

Multi-Mixer Models: Flexible Sequence Modeling with Shared Representations
von: Li, Kevin Y., et al.
Veröffentlicht: (2026)

Improving Robustness via Tilted Exponential Layer: A Communication-Theoretic Perspective
von: Puranik, Bhagyashree, et al.
Veröffentlicht: (2023)

Entropy Equivalence Testing
von: Canonne, Clément L., et al.
Veröffentlicht: (2026)

CoDistill-GRPO: A Co-Distillation Recipe for Efficient Group Relative Policy Optimization
von: Kwon, Soo Min, et al.
Veröffentlicht: (2026)

Generalization and Robustness of the Tilted Empirical Risk
von: Aminian, Gholamali, et al.
Veröffentlicht: (2024)

Hierarchical Retrieval: The Geometry and a Pretrain-Finetune Recipe
von: You, Chong, et al.
Veröffentlicht: (2025)

CafeQ: Calibration-free Quantization via Learned Transformations and Adaptive Rounding
von: Sun, Ziteng, et al.
Veröffentlicht: (2025)

Information Theoretic Guarantees For Policy Alignment In Large Language Models
von: Mroueh, Youssef
Veröffentlicht: (2024)

Coupling without Communication and Drafter-Invariant Speculative Decoding
von: Daliri, Majid, et al.
Veröffentlicht: (2024)

Precise Asymptotics for Spectral Methods in Mixed Generalized Linear Models
von: Zhang, Yihan, et al.
Veröffentlicht: (2022)

Asymptotically and Minimax Optimal Regret Bounds for Multi-Armed Bandits with Abstention
von: Yang, Junwen, et al.
Veröffentlicht: (2024)

Agentic AI-Based Joint Computing and Networking via Mixture of Experts and Large Language Models
von: Reifert, Robert-Jeron, et al.
Veröffentlicht: (2026)

Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models
von: Li, Gen, et al.
Veröffentlicht: (2023)

Asymptotic Theory of Eigenvectors for Latent Embeddings with Generalized Laplacian Matrices
von: Fan, Jianqing, et al.
Veröffentlicht: (2025)

Stabilization of Perturbed Loss Function: Differential Privacy without Gradient Noise
von: Habib, Salman, et al.
Veröffentlicht: (2025)

Asymptotic Analysis of Sample-averaged Q-learning
von: Panda, Saunak Kumar, et al.
Veröffentlicht: (2024)

Information-Theoretic Thresholds for the Alignments of Partially Correlated Graphs
von: Huang, Dong, et al.
Veröffentlicht: (2024)

Theoretical Limits of Language Model Alignment
von: Paes, Lucas Monteiro, et al.
Veröffentlicht: (2026)

Almost Asymptotically Optimal Active Clustering Through Pairwise Observations
von: Teo, Rachel S. Y., et al.
Veröffentlicht: (2026)

Entropy-Based Dimension-Free Convergence and Loss-Adaptive Schedules for Diffusion Models
von: Aghapour, Ahmad, et al.
Veröffentlicht: (2026)

Spectral Estimators for Multi-Index Models: Precise Asymptotics and Optimal Weak Recovery
von: Kovačević, Filip, et al.
Veröffentlicht: (2025)

Asymptotic Behavior of Multi--Task Learning: Implicit Regularization and Double Descent Effects
von: Alrashdi, Ayed M., et al.
Veröffentlicht: (2026)

Efficient Language Model Architectures for Differentially Private Federated Learning
von: Ro, Jae Hun, et al.
Veröffentlicht: (2024)

High-Dimensional Asymptotics of Differentially Private PCA
von: Yun, Youngjoo, et al.
Veröffentlicht: (2025)

Trace Reconstruction with Language Models
von: Weindel, Franziska, et al.
Veröffentlicht: (2025)

OVA-IB: One vs All Information Bottleneck for Multi-Modal Alignment
von: Li, Tianchao, et al.
Veröffentlicht: (2026)

Learning bounded-degree polytrees with known skeleton
von: Choo, Davin, et al.
Veröffentlicht: (2023)

Adaptation to Intrinsic Dependence in Diffusion Language Models
von: Zhao, Yunxiao, et al.
Veröffentlicht: (2026)

Compressed Sensor Caching and Collaborative Sparse Data Recovery with Anchor Alignment
von: Yang, Yi-Jen, et al.
Veröffentlicht: (2024)

The Alignment Bottleneck
von: Cao, Wenjun
Veröffentlicht: (2025)