The Implicit Bias of Logit Regularization
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Beck, Alon, Sinai, Yohai Bar, Levi, Noam |
|---|---|
| Format: | Preprint |
| Publié: |
2026
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Grokking at the Edge of Linear Separability
par: Beck, Alon, et autres
Publié: (2024)
par: Beck, Alon, et autres
Publié: (2024)
Grokking in Linear Estimators -- A Solvable Model that Groks without Understanding
par: Levi, Noam, et autres
Publié: (2023)
par: Levi, Noam, et autres
Publié: (2023)
The Implicit Bias of Structured State Space Models Can Be Poisoned With Clean Labels
par: Slutzky, Yonatan, et autres
Publié: (2024)
par: Slutzky, Yonatan, et autres
Publié: (2024)
A Simple Model of Inference Scaling Laws
par: Levi, Noam
Publié: (2024)
par: Levi, Noam
Publié: (2024)
Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model
par: Levi, Noam
Publié: (2026)
par: Levi, Noam
Publié: (2026)
Mirror, Mirror of the Flow: How Does Regularization Shape Implicit Bias?
par: Jacobs, Tom, et autres
Publié: (2025)
par: Jacobs, Tom, et autres
Publié: (2025)
Hidden Markov modeling of single particle diffusion with stochastic tethering
par: Federbush, Amit, et autres
Publié: (2023)
par: Federbush, Amit, et autres
Publié: (2023)
Consistency Regularization for Domain Generalization with Logit Attribution Matching
par: Gao, Han, et autres
Publié: (2023)
par: Gao, Han, et autres
Publié: (2023)
Guardrails in Logit Space: Safety Token Regularization for LLM Alignment
par: Bach, Thong, et autres
Publié: (2026)
par: Bach, Thong, et autres
Publié: (2026)
Machine Learning the Entropy to Estimate Free Energy Differences without Sampling Transitions
par: Ben-Shimon, Yamin, et autres
Publié: (2025)
par: Ben-Shimon, Yamin, et autres
Publié: (2025)
Implicit Bias of Policy Gradient in Linear Quadratic Control: Extrapolation to Unseen Initial States
par: Razin, Noam, et autres
Publié: (2024)
par: Razin, Noam, et autres
Publié: (2024)
Classifying Overlapping Gaussian Mixtures in High Dimensions: From Optimal Classifiers to Neural Nets
par: Cohen, Khen, et autres
Publié: (2024)
par: Cohen, Khen, et autres
Publié: (2024)
GRIT: Graph-Regularized Logit Refinement for Zero-shot Cell Type Annotation
par: Hu, Tianxiang, et autres
Publié: (2025)
par: Hu, Tianxiang, et autres
Publié: (2025)
Optimal Implicit Bias in Linear Regression
par: Varma, Kanumuri Nithin, et autres
Publié: (2025)
par: Varma, Kanumuri Nithin, et autres
Publié: (2025)
The Implicit Bias of Adam on Separable Data
par: Zhang, Chenyang, et autres
Publié: (2024)
par: Zhang, Chenyang, et autres
Publié: (2024)
Pretraining Scaling Laws for Generative Evaluations of Language Models
par: Schaeffer, Rylan, et autres
Publié: (2025)
par: Schaeffer, Rylan, et autres
Publié: (2025)
Estimating Implicit Regularization in Deep Learning
par: Rudoler, Joseph H., et autres
Publié: (2026)
par: Rudoler, Joseph H., et autres
Publié: (2026)
How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias
par: Huang, Ruiquan, et autres
Publié: (2025)
par: Huang, Ruiquan, et autres
Publié: (2025)
The Underlying Scaling Laws and Universal Statistical Structure of Complex Datasets
par: Levi, Noam, et autres
Publié: (2023)
par: Levi, Noam, et autres
Publié: (2023)
Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization
par: Wu, Jingfeng, et autres
Publié: (2025)
par: Wu, Jingfeng, et autres
Publié: (2025)
Implicit Bias in Deep Linear Discriminant Analysis
par: Li, Jiawen
Publié: (2026)
par: Li, Jiawen
Publié: (2026)
The Price of Implicit Bias in Adversarially Robust Generalization
par: Tsilivis, Nikolaos, et autres
Publié: (2024)
par: Tsilivis, Nikolaos, et autres
Publié: (2024)
Hyperbolic Aware Minimization: Implicit Bias for Sparsity
par: Jacobs, Tom, et autres
Publié: (2025)
par: Jacobs, Tom, et autres
Publié: (2025)
Can Implicit Bias Imply Adversarial Robustness?
par: Min, Hancheng, et autres
Publié: (2024)
par: Min, Hancheng, et autres
Publié: (2024)
The Implicit Bias of Gradient Descent on Separable Data
par: Soudry, Daniel, et autres
Publié: (2017)
par: Soudry, Daniel, et autres
Publié: (2017)
Decoupled Weight Decay for Any $p$ Norm
par: Outmezguine, Nadav Joseph, et autres
Publié: (2024)
par: Outmezguine, Nadav Joseph, et autres
Publié: (2024)
Random Initialization of Gated Sparse Adapters
par: Retault, Vi, et autres
Publié: (2025)
par: Retault, Vi, et autres
Publié: (2025)
Logits-Based Finetuning
par: Li, Jingyao, et autres
Publié: (2025)
par: Li, Jingyao, et autres
Publié: (2025)
On the Implicit Bias of Adam
par: Cattaneo, Matias D., et autres
Publié: (2023)
par: Cattaneo, Matias D., et autres
Publié: (2023)
The Implicit Bias of Gradient Descent on Separable Multiclass Data
par: Ravi, Hrithik, et autres
Publié: (2024)
par: Ravi, Hrithik, et autres
Publié: (2024)
Scaled Supervision is an Implicit Lipschitz Regularizer
par: Ouyang, Zhongyu, et autres
Publié: (2025)
par: Ouyang, Zhongyu, et autres
Publié: (2025)
Implicit Regularization of the Deep Inverse Prior Trained with Inertia
par: Buskulic, Nathan, et autres
Publié: (2025)
par: Buskulic, Nathan, et autres
Publié: (2025)
Implicit Bias of the JKO Scheme
par: Halmos, Peter, et autres
Publié: (2025)
par: Halmos, Peter, et autres
Publié: (2025)
The Implicit Bias of Adam and Muon on Smooth Homogeneous Neural Networks
par: Gronich, Eitan, et autres
Publié: (2026)
par: Gronich, Eitan, et autres
Publié: (2026)
The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
par: Li, Jichu, et autres
Publié: (2026)
par: Li, Jichu, et autres
Publié: (2026)
Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
par: Vyas, Nikhil, et autres
Publié: (2023)
par: Vyas, Nikhil, et autres
Publié: (2023)
Implicit Bias in Noisy-SGD: With Applications to Differentially Private Training
par: Sander, Tom, et autres
Publié: (2024)
par: Sander, Tom, et autres
Publié: (2024)
The Rich and the Simple: On the Implicit Bias of Adam and SGD
par: Vasudeva, Bhavya, et autres
Publié: (2025)
par: Vasudeva, Bhavya, et autres
Publié: (2025)
Implicit Bias of Mirror Flow on Separable Data
par: Pesme, Scott, et autres
Publié: (2024)
par: Pesme, Scott, et autres
Publié: (2024)
Implicit Regularization in Feedback Alignment Learning Mechanisms for Neural Networks
par: Robertson, Zachary, et autres
Publié: (2023)
par: Robertson, Zachary, et autres
Publié: (2023)
Documents similaires
-
Grokking at the Edge of Linear Separability
par: Beck, Alon, et autres
Publié: (2024) -
Grokking in Linear Estimators -- A Solvable Model that Groks without Understanding
par: Levi, Noam, et autres
Publié: (2023) -
The Implicit Bias of Structured State Space Models Can Be Poisoned With Clean Labels
par: Slutzky, Yonatan, et autres
Publié: (2024) -
A Simple Model of Inference Scaling Laws
par: Levi, Noam
Publié: (2024) -
Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model
par: Levi, Noam
Publié: (2026)