Buchumschlag

Loss-to-Loss Prediction: Scaling Laws for All Datasets

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Brandfonbrener, David, Anand, Nikhil, Vyas, Nikhil, Malach, Eran, Kakade, Sham
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Repeat After Me: Transformers are Better than State Space Models at Copying
von: Jelassi, Samy, et al.
Veröffentlicht: (2024)

The Role of Sparsity for Length Generalization in Transformers
von: Golowich, Noah, et al.
Veröffentlicht: (2025)

CoLoR-Filter: Conditional Loss Reduction Filtering for Targeted Language Model Pre-training
von: Brandfonbrener, David, et al.
Veröffentlicht: (2024)

Deconstructing What Makes a Good Optimizer for Language Models
von: Zhao, Rosie, et al.
Veröffentlicht: (2024)

Connections between Schedule-Free Optimizers, AdEMAMix, and Accelerated SGD Variants
von: Morwani, Depen, et al.
Veröffentlicht: (2025)

The Potential of Second-Order Optimization for LLMs: A Study with Full Gauss-Newton
von: Abreu, Natalie, et al.
Veröffentlicht: (2025)

SOAP: Improving and Stabilizing Shampoo using Adam
von: Vyas, Nikhil, et al.
Veröffentlicht: (2024)

Decomposing Elements of Problem Solving: What "Math" Does RL Teach?
von: Qin, Tian, et al.
Veröffentlicht: (2025)

Mixture of Parrots: Experts improve memorization more than reasoning
von: Jelassi, Samy, et al.
Veröffentlicht: (2024)

Universal Length Generalization with Turing Programs
von: Hou, Kaiying, et al.
Veröffentlicht: (2024)

Prescriptive Scaling Reveals the Evolution of Language Model Capabilities
von: Zhang, Hanlin, et al.
Veröffentlicht: (2026)

LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws
von: Mayilvahanan, Prasanna, et al.
Veröffentlicht: (2025)

A New Perspective on Shampoo's Preconditioner
von: Morwani, Depen, et al.
Veröffentlicht: (2024)

LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks
von: Prabhakar, Akshara, et al.
Veröffentlicht: (2024)

Discovering Hierarchical Latent Capabilities of Language Models via Causal Representation Learning
von: Jin, Jikai, et al.
Veröffentlicht: (2025)

Let Me Think! A Long Chain-of-Thought Can Be Worth Exponentially Many Short Ones
von: Mirtaheri, Parsa, et al.
Veröffentlicht: (2025)

Auto-Regressive Next-Token Predictors are Universal Learners
von: Malach, Eran
Veröffentlicht: (2023)

Distinguishing the Knowable from the Unknowable with Language Models
von: Ahdritz, Gustaf, et al.
Veröffentlicht: (2024)

How Does Critical Batch Size Scale in Pre-training?
von: Zhang, Hanlin, et al.
Veröffentlicht: (2024)

A Multi-Power Law for Loss Curve Prediction Across Learning Rate Schedules
von: Luo, Kairong, et al.
Veröffentlicht: (2025)

ContextFocus: Activation Steering for Contextual Faithfulness in Large Language Models
von: Anand, Nikhil, et al.
Veröffentlicht: (2026)

Frictive Policy Optimization for LLMs: Epistemic Intervention, Risk-Sensitive Control, and Reflective Alignment
von: Pustejovsky, James, et al.
Veröffentlicht: (2026)

Follow My Instruction and Spill the Beans: Scalable Data Extraction from Retrieval-Augmented Generation Systems
von: Qi, Zhenting, et al.
Veröffentlicht: (2024)

Predicting Task Performance with Context-aware Scaling Laws
von: Montgomery, Kyle, et al.
Veröffentlicht: (2025)

Transcendence: Generative Models Can Outperform The Experts That Train Them
von: Zhang, Edwin, et al.
Veröffentlicht: (2024)

Position: The Most Expensive Part of an LLM should be its Training Data
von: Kandpal, Nikhil, et al.
Veröffentlicht: (2025)

Scaling Laws for Imitation Learning in Single-Agent Games
von: Tuyls, Jens, et al.
Veröffentlicht: (2023)

The Impact of Initialization on LoRA Finetuning Dynamics
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

LoRA+: Efficient Low Rank Adaptation of Large Models
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

Collaborate, Deliberate, Evaluate: How LLM Alignment Affects Coordinated Multi-Agent Outcomes
von: Nath, Abhijnan, et al.
Veröffentlicht: (2025)

Scaling Laws for Predicting Downstream Performance in LLMs
von: Chen, Yangyi, et al.
Veröffentlicht: (2024)

A Study on the Calibration of In-context Learning
von: Zhang, Hanlin, et al.
Veröffentlicht: (2023)

Observational Scaling Laws and the Predictability of Language Model Performance
von: Ruan, Yangjun, et al.
Veröffentlicht: (2024)

EvoLM: In Search of Lost Language Model Training Dynamics
von: Qi, Zhenting, et al.
Veröffentlicht: (2025)

On the Effect of Instruction Tuning Loss on Generalization
von: Chatterjee, Anwoy, et al.
Veröffentlicht: (2025)

M2R2: Mixture of Multi-Rate Residuals for Efficient Transformer Inference
von: Bhendawade, Nikhil, et al.
Veröffentlicht: (2025)

Loss Landscape Degeneracy and Stagewise Development in Transformers
von: Hoogland, Jesse, et al.
Veröffentlicht: (2024)

Mitigating Premature Exploitation in Particle-based Monte Carlo for Inference-Time Scaling
von: Giannone, Giorgio, et al.
Veröffentlicht: (2025)

3D-GRAND: A Million-Scale Dataset for 3D-LLMs with Better Grounding and Less Hallucination
von: Yang, Jianing, et al.
Veröffentlicht: (2024)

Distillation Scaling Laws
von: Busbridge, Dan, et al.
Veröffentlicht: (2025)