Enregistré dans:
| Auteurs principaux: | Shulgin, Egor, von Rütte, Dimitri, Zhang, Tianyue H., Ajroldi, Niccolò, Schölkopf, Bernhard, Orvieto, Antonio |
|---|---|
| Format: | Preprint |
| Publié: |
2026
|
| Sujets: | |
| Accès en ligne: | https://arxiv.org/abs/2603.15958 |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Scaling Behavior of Discrete Diffusion Language Models
par: von Rütte, Dimitri, et autres
Publié: (2025)
par: von Rütte, Dimitri, et autres
Publié: (2025)
Generalized Interpolating Discrete Diffusion
par: von Rütte, Dimitri, et autres
Publié: (2025)
par: von Rütte, Dimitri, et autres
Publié: (2025)
When, Where and Why to Average Weights?
par: Ajroldi, Niccolò, et autres
Publié: (2025)
par: Ajroldi, Niccolò, et autres
Publié: (2025)
Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size
par: Islamov, Rustem, et autres
Publié: (2025)
par: Islamov, Rustem, et autres
Publié: (2025)
Can you Finetune your Binoculars? Embedding Text Watermarks into the Weights of Large Language Models
par: Elhassan, Fay, et autres
Publié: (2025)
par: Elhassan, Fay, et autres
Publié: (2025)
Loss Landscape Characterization of Neural Networks without Over-Parametrization
par: Islamov, Rustem, et autres
Publié: (2024)
par: Islamov, Rustem, et autres
Publié: (2024)
Gluon: Making Muon & Scion Great Again! (Bridging Theory and Practice of LMO-based Optimizers for LLMs)
par: Riabinin, Artem, et autres
Publié: (2025)
par: Riabinin, Artem, et autres
Publié: (2025)
On the Convergence of DP-SGD with Adaptive Clipping
par: Shulgin, Egor, et autres
Publié: (2024)
par: Shulgin, Egor, et autres
Publié: (2024)
Towards a Better Theoretical Understanding of Independent Subnetwork Training
par: Shulgin, Egor, et autres
Publié: (2023)
par: Shulgin, Egor, et autres
Publié: (2023)
Smoothed Normalization for Efficient Distributed Private Optimization
par: Shulgin, Egor, et autres
Publié: (2025)
par: Shulgin, Egor, et autres
Publié: (2025)
Training Dynamics Impact Post-Training Quantization Robustness
par: Catalan-Tatjer, Albert, et autres
Publié: (2025)
par: Catalan-Tatjer, Albert, et autres
Publié: (2025)
FIGARO: Generating Symbolic Music with Fine-Grained Artistic Control
par: von Rütte, Dimitri, et autres
Publié: (2022)
par: von Rütte, Dimitri, et autres
Publié: (2022)
First Provable Guarantees for Practical Private FL: Beyond Restrictive Assumptions
par: Shulgin, Egor, et autres
Publié: (2025)
par: Shulgin, Egor, et autres
Publié: (2025)
Exploring Magnitude Preservation and Rotation Modulation in Diffusion Transformers
par: Bill, Eric Tillman, et autres
Publié: (2025)
par: Bill, Eric Tillman, et autres
Publié: (2025)
Beyond the Ideal: Analyzing the Inexact Muon Update
par: Shulgin, Egor, et autres
Publié: (2025)
par: Shulgin, Egor, et autres
Publié: (2025)
SPAM: Stochastic Proximal Point Method with Momentum Variance Reduction for Non-convex Cross-Device Federated Learning
par: Karagulyan, Avetik, et autres
Publié: (2024)
par: Karagulyan, Avetik, et autres
Publié: (2024)
MAST: Model-Agnostic Sparsified Training
par: Demidovich, Yury, et autres
Publié: (2023)
par: Demidovich, Yury, et autres
Publié: (2023)
Natural Building Blocks for Structured World Models: Theory, Evidence, and Scaling
par: Da Costa, Lancelot, et autres
Publié: (2025)
par: Da Costa, Lancelot, et autres
Publié: (2025)
Skill or Luck? Return Decomposition via Advantage Functions
par: Pan, Hsiao-Ru, et autres
Publié: (2024)
par: Pan, Hsiao-Ru, et autres
Publié: (2024)
Adam Simplified: Bias Correction Debunked
par: Laing, Sam, et autres
Publié: (2025)
par: Laing, Sam, et autres
Publié: (2025)
Revisiting associative recall in modern recurrent models
par: Okpekpe, Destiny, et autres
Publié: (2025)
par: Okpekpe, Destiny, et autres
Publié: (2025)
Geometry-Aware Instrumental Variable Regression
par: Kremer, Heiner, et autres
Publié: (2024)
par: Kremer, Heiner, et autres
Publié: (2024)
Robustness of Nonlinear Representation Learning
par: Buchholz, Simon, et autres
Publié: (2025)
par: Buchholz, Simon, et autres
Publié: (2025)
An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes
par: Orvieto, Antonio, et autres
Publié: (2024)
par: Orvieto, Antonio, et autres
Publié: (2024)
In Search of Adam's Secret Sauce
par: Orvieto, Antonio, et autres
Publié: (2025)
par: Orvieto, Antonio, et autres
Publié: (2025)
Recurrent neural networks: vanishing and exploding gradients are not the end of the story
par: Zucchet, Nicolas, et autres
Publié: (2024)
par: Zucchet, Nicolas, et autres
Publié: (2024)
Muown: Row-Norm Control for Muon Optimization
par: Lion, Kai, et autres
Publié: (2026)
par: Lion, Kai, et autres
Publié: (2026)
Physics of Learning: A Lagrangian perspective to different learning paradigms
par: Guo, Siyuan, et autres
Publié: (2025)
par: Guo, Siyuan, et autres
Publié: (2025)
Explaining Grokking in Transformers through the Lens of Inductive Bias
par: Singh, Jaisidh, et autres
Publié: (2026)
par: Singh, Jaisidh, et autres
Publié: (2026)
Universal Dynamics of Warmup Stable Decay: understanding WSD beyond Transformers
par: Belloni, Annalisa, et autres
Publié: (2026)
par: Belloni, Annalisa, et autres
Publié: (2026)
Improved state mixing in higher-order and block diagonal linear recurrent networks
par: Dubinin, Igor, et autres
Publié: (2026)
par: Dubinin, Igor, et autres
Publié: (2026)
An Uncertainty Principle for Linear Recurrent Neural Networks
par: François, Alexandre, et autres
Publié: (2025)
par: François, Alexandre, et autres
Publié: (2025)
Identifying Intervenable and Interpretable Features via Orthogonality Regularization
par: Miller, Moritz, et autres
Publié: (2026)
par: Miller, Moritz, et autres
Publié: (2026)
Causal Modeling with Stationary Diffusions
par: Lorch, Lars, et autres
Publié: (2023)
par: Lorch, Lars, et autres
Publié: (2023)
SPARTAN: A Sparse Transformer World Model Attending to What Matters
par: Lei, Anson, et autres
Publié: (2024)
par: Lei, Anson, et autres
Publié: (2024)
Online Learning and Unlearning
par: Hu, Yaxi, et autres
Publié: (2025)
par: Hu, Yaxi, et autres
Publié: (2025)
Targeted Reduction of Causal Models
par: Kekić, Armin, et autres
Publié: (2023)
par: Kekić, Armin, et autres
Publié: (2023)
Overtuning in Hyperparameter Optimization
par: Schneider, Lennart, et autres
Publié: (2025)
par: Schneider, Lennart, et autres
Publié: (2025)
Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy
par: Singh, Sidak Pal, et autres
Publié: (2024)
par: Singh, Sidak Pal, et autres
Publié: (2024)
Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining
par: Li, Houyi, et autres
Publié: (2025)
par: Li, Houyi, et autres
Publié: (2025)
Documents similaires
-
Scaling Behavior of Discrete Diffusion Language Models
par: von Rütte, Dimitri, et autres
Publié: (2025) -
Generalized Interpolating Discrete Diffusion
par: von Rütte, Dimitri, et autres
Publié: (2025) -
When, Where and Why to Average Weights?
par: Ajroldi, Niccolò, et autres
Publié: (2025) -
Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size
par: Islamov, Rustem, et autres
Publié: (2025) -
Can you Finetune your Binoculars? Embedding Text Watermarks into the Weights of Large Language Models
par: Elhassan, Fay, et autres
Publié: (2025)