Buchumschlag

Theoretical Perspectives on Data Quality and Synergistic Effects in Pre- and Post-Training Reasoning Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Javanmard, Adel, Mirzasoleiman, Baharan, Mirrokni, Vahab
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Understanding the Role of Training Data in Test-Time Scaling
von: Javanmard, Adel, et al.
Veröffentlicht: (2025)

Optimistic Rates for Learning from Label Proportions
von: Li, Gene, et al.
Veröffentlicht: (2024)

Learning from Aggregate responses: Instance Level versus Bag Level Loss Functions
von: Javanmard, Adel, et al.
Veröffentlicht: (2024)

Data-Efficient Contrastive Self-supervised Learning: Most Beneficial Examples for Supervised Learning Contribute the Least
von: Joshi, Siddharth, et al.
Veröffentlicht: (2023)

Representations Shape Weak-to-Strong Generalization: Theoretical Insights and Empirical Predictions
von: Xue, Yihao, et al.
Veröffentlicht: (2025)

Tuning the Implicit Regularizer of Masked Diffusion Language Models: Enhancing Generalization via Insights from $k$-Parity
von: Huang, Jianhao, et al.
Veröffentlicht: (2026)

Better Safe than Sorry: Pre-training CLIP against Targeted Data Poisoning and Backdoor Attacks
von: Yang, Wenhan, et al.
Veröffentlicht: (2023)

PriorBoost: An Adaptive Algorithm for Learning from Aggregate Responses
von: Javanmard, Adel, et al.
Veröffentlicht: (2024)

SmallToLarge (S2L): Scalable Data Selection for Fine-tuning Large Language Models by Summarizing Training Trajectories of Small Models
von: Yang, Yu, et al.
Veröffentlicht: (2024)

Mini-batch Coresets for Memory-efficient Language Model Training on Data Mixtures
von: Nguyen, Dang, et al.
Veröffentlicht: (2024)

Synthetic Text Generation for Training Large Language Models via Gradient Matching
von: Nguyen, Dang, et al.
Veröffentlicht: (2025)

Differentially Private Synthetic Data Release for Topics API Outputs
von: Dick, Travis, et al.
Veröffentlicht: (2025)

Changing the Training Data Distribution to Reduce Simplicity Bias Improves In-distribution Generalization
von: Nguyen, Dang, et al.
Veröffentlicht: (2024)

Improving the Variance of Differentially Private Randomized Experiments through Clustering
von: Javanmard, Adel, et al.
Veröffentlicht: (2023)

Sampling and Loss Weights in Multi-Domain Training
von: Salmani, Mahdi, et al.
Veröffentlicht: (2025)

Data Selection for Fine-tuning Vision Language Models via Cross Modal Alignment Trajectories
von: Naharas, Nilay, et al.
Veröffentlicht: (2025)

Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs
von: Gangavarapu, Tushaar, et al.
Veröffentlicht: (2026)

Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing
von: Javanmard, Adel, et al.
Veröffentlicht: (2025)

Learning Rate Schedules in the Presence of Distribution Shift
von: Fahrbach, Matthew, et al.
Veröffentlicht: (2023)

Lattice: Learning to Efficiently Compress the Memory
von: Karami, Mahdi, et al.
Veröffentlicht: (2025)

ECO: Quantized Training without Full-Precision Master Weights
von: Nikdan, Mahdi, et al.
Veröffentlicht: (2026)

Titans: Learning to Memorize at Test Time
von: Behrouz, Ali, et al.
Veröffentlicht: (2024)

LoRA is All You Need for Safety Alignment of Reasoning LLMs
von: Xue, Yihao, et al.
Veröffentlicht: (2025)

It's All Connected: A Journey Through Test-Time Memorization, Attentional Bias, Retention, and Online Optimization
von: Behrouz, Ali, et al.
Veröffentlicht: (2025)

Nested Learning: The Illusion of Deep Learning Architectures
von: Behrouz, Ali, et al.
Veröffentlicht: (2025)

Dataset Distillation via Knowledge Distillation: Towards Efficient Self-Supervised Pre-Training of Deep Networks
von: Joshi, Siddharth, et al.
Veröffentlicht: (2024)

How Transformers Learn to Plan via Multi-Token Prediction
von: Huang, Jianhao, et al.
Veröffentlicht: (2026)

PolarQuant: Quantizing KV Caches with Polar Transformation
von: Han, Insu, et al.
Veröffentlicht: (2025)

Understanding Transformer Reasoning Capabilities via Graph Algorithms
von: Sanford, Clayton, et al.
Veröffentlicht: (2024)

TNT: Improving Chunkwise Training for Test-Time Memorization
von: Li, Zeman, et al.
Veröffentlicht: (2025)

SubGen: Token Generation in Sublinear Time and Memory
von: Zandieh, Amir, et al.
Veröffentlicht: (2024)

Memory Caching: RNNs with Growing Memory
von: Behrouz, Ali, et al.
Veröffentlicht: (2026)

TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate
von: Zandieh, Amir, et al.
Veröffentlicht: (2025)

Dr. Post-Training: A Data Regularization Perspective on LLM Post-Training
von: Hu, Pingbang, et al.
Veröffentlicht: (2026)

Layer Importance for Mathematical Reasoning is Forged in Pre-Training and Invariant after Post-Training
von: Nepal, Aadim, et al.
Veröffentlicht: (2025)

Graph Contrastive Learning under Heterophily via Graph Filters
von: Yang, Wenhan, et al.
Veröffentlicht: (2023)

DeepCrossAttention: Supercharging Transformer Residual Connections
von: Heddes, Mike, et al.
Veröffentlicht: (2025)

Towards a Theoretical Understanding of Synthetic Data in LLM Post-Training: A Reverse-Bottleneck Perspective
von: Gan, Zeyu, et al.
Veröffentlicht: (2024)

Data-Efficient Contrastive Language-Image Pretraining: Prioritizing Data Quality over Quantity
von: Joshi, Siddharth, et al.
Veröffentlicht: (2024)

Front-Loading Reasoning: The Synergy between Pretraining and Post-Training Data
von: Akter, Syeda Nahida, et al.
Veröffentlicht: (2025)