The Implicit Bias of Logit Regularization
Fuente:
arXiv
Guardado en:
| Autores principales: | Beck, Alon, Sinai, Yohai Bar, Levi, Noam |
|---|---|
| Formato: | Preprint |
| Publicado: |
2026
|
| Materias: | |
| Acceso en línea: | |
| Etiquetas: |
Agregar Etiqueta
Sin Etiquetas, Sea el primero en etiquetar este registro!
|
Ejemplares similares
Grokking at the Edge of Linear Separability
por: Beck, Alon, et al.
Publicado: (2024)
por: Beck, Alon, et al.
Publicado: (2024)
Grokking in Linear Estimators -- A Solvable Model that Groks without Understanding
por: Levi, Noam, et al.
Publicado: (2023)
por: Levi, Noam, et al.
Publicado: (2023)
The Implicit Bias of Structured State Space Models Can Be Poisoned With Clean Labels
por: Slutzky, Yonatan, et al.
Publicado: (2024)
por: Slutzky, Yonatan, et al.
Publicado: (2024)
A Simple Model of Inference Scaling Laws
por: Levi, Noam
Publicado: (2024)
por: Levi, Noam
Publicado: (2024)
Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model
por: Levi, Noam
Publicado: (2026)
por: Levi, Noam
Publicado: (2026)
Mirror, Mirror of the Flow: How Does Regularization Shape Implicit Bias?
por: Jacobs, Tom, et al.
Publicado: (2025)
por: Jacobs, Tom, et al.
Publicado: (2025)
Hidden Markov modeling of single particle diffusion with stochastic tethering
por: Federbush, Amit, et al.
Publicado: (2023)
por: Federbush, Amit, et al.
Publicado: (2023)
Consistency Regularization for Domain Generalization with Logit Attribution Matching
por: Gao, Han, et al.
Publicado: (2023)
por: Gao, Han, et al.
Publicado: (2023)
Guardrails in Logit Space: Safety Token Regularization for LLM Alignment
por: Bach, Thong, et al.
Publicado: (2026)
por: Bach, Thong, et al.
Publicado: (2026)
Machine Learning the Entropy to Estimate Free Energy Differences without Sampling Transitions
por: Ben-Shimon, Yamin, et al.
Publicado: (2025)
por: Ben-Shimon, Yamin, et al.
Publicado: (2025)
Implicit Bias of Policy Gradient in Linear Quadratic Control: Extrapolation to Unseen Initial States
por: Razin, Noam, et al.
Publicado: (2024)
por: Razin, Noam, et al.
Publicado: (2024)
Classifying Overlapping Gaussian Mixtures in High Dimensions: From Optimal Classifiers to Neural Nets
por: Cohen, Khen, et al.
Publicado: (2024)
por: Cohen, Khen, et al.
Publicado: (2024)
GRIT: Graph-Regularized Logit Refinement for Zero-shot Cell Type Annotation
por: Hu, Tianxiang, et al.
Publicado: (2025)
por: Hu, Tianxiang, et al.
Publicado: (2025)
Optimal Implicit Bias in Linear Regression
por: Varma, Kanumuri Nithin, et al.
Publicado: (2025)
por: Varma, Kanumuri Nithin, et al.
Publicado: (2025)
The Implicit Bias of Adam on Separable Data
por: Zhang, Chenyang, et al.
Publicado: (2024)
por: Zhang, Chenyang, et al.
Publicado: (2024)
Pretraining Scaling Laws for Generative Evaluations of Language Models
por: Schaeffer, Rylan, et al.
Publicado: (2025)
por: Schaeffer, Rylan, et al.
Publicado: (2025)
Estimating Implicit Regularization in Deep Learning
por: Rudoler, Joseph H., et al.
Publicado: (2026)
por: Rudoler, Joseph H., et al.
Publicado: (2026)
How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias
por: Huang, Ruiquan, et al.
Publicado: (2025)
por: Huang, Ruiquan, et al.
Publicado: (2025)
The Underlying Scaling Laws and Universal Statistical Structure of Complex Datasets
por: Levi, Noam, et al.
Publicado: (2023)
por: Levi, Noam, et al.
Publicado: (2023)
Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization
por: Wu, Jingfeng, et al.
Publicado: (2025)
por: Wu, Jingfeng, et al.
Publicado: (2025)
Implicit Bias in Deep Linear Discriminant Analysis
por: Li, Jiawen
Publicado: (2026)
por: Li, Jiawen
Publicado: (2026)
The Price of Implicit Bias in Adversarially Robust Generalization
por: Tsilivis, Nikolaos, et al.
Publicado: (2024)
por: Tsilivis, Nikolaos, et al.
Publicado: (2024)
Hyperbolic Aware Minimization: Implicit Bias for Sparsity
por: Jacobs, Tom, et al.
Publicado: (2025)
por: Jacobs, Tom, et al.
Publicado: (2025)
Can Implicit Bias Imply Adversarial Robustness?
por: Min, Hancheng, et al.
Publicado: (2024)
por: Min, Hancheng, et al.
Publicado: (2024)
The Implicit Bias of Gradient Descent on Separable Data
por: Soudry, Daniel, et al.
Publicado: (2017)
por: Soudry, Daniel, et al.
Publicado: (2017)
Decoupled Weight Decay for Any $p$ Norm
por: Outmezguine, Nadav Joseph, et al.
Publicado: (2024)
por: Outmezguine, Nadav Joseph, et al.
Publicado: (2024)
Random Initialization of Gated Sparse Adapters
por: Retault, Vi, et al.
Publicado: (2025)
por: Retault, Vi, et al.
Publicado: (2025)
Logits-Based Finetuning
por: Li, Jingyao, et al.
Publicado: (2025)
por: Li, Jingyao, et al.
Publicado: (2025)
On the Implicit Bias of Adam
por: Cattaneo, Matias D., et al.
Publicado: (2023)
por: Cattaneo, Matias D., et al.
Publicado: (2023)
The Implicit Bias of Gradient Descent on Separable Multiclass Data
por: Ravi, Hrithik, et al.
Publicado: (2024)
por: Ravi, Hrithik, et al.
Publicado: (2024)
Scaled Supervision is an Implicit Lipschitz Regularizer
por: Ouyang, Zhongyu, et al.
Publicado: (2025)
por: Ouyang, Zhongyu, et al.
Publicado: (2025)
Implicit Regularization of the Deep Inverse Prior Trained with Inertia
por: Buskulic, Nathan, et al.
Publicado: (2025)
por: Buskulic, Nathan, et al.
Publicado: (2025)
Implicit Bias of the JKO Scheme
por: Halmos, Peter, et al.
Publicado: (2025)
por: Halmos, Peter, et al.
Publicado: (2025)
The Implicit Bias of Adam and Muon on Smooth Homogeneous Neural Networks
por: Gronich, Eitan, et al.
Publicado: (2026)
por: Gronich, Eitan, et al.
Publicado: (2026)
The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
por: Li, Jichu, et al.
Publicado: (2026)
por: Li, Jichu, et al.
Publicado: (2026)
Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
por: Vyas, Nikhil, et al.
Publicado: (2023)
por: Vyas, Nikhil, et al.
Publicado: (2023)
Implicit Bias in Noisy-SGD: With Applications to Differentially Private Training
por: Sander, Tom, et al.
Publicado: (2024)
por: Sander, Tom, et al.
Publicado: (2024)
The Rich and the Simple: On the Implicit Bias of Adam and SGD
por: Vasudeva, Bhavya, et al.
Publicado: (2025)
por: Vasudeva, Bhavya, et al.
Publicado: (2025)
Implicit Bias of Mirror Flow on Separable Data
por: Pesme, Scott, et al.
Publicado: (2024)
por: Pesme, Scott, et al.
Publicado: (2024)
Implicit Regularization in Feedback Alignment Learning Mechanisms for Neural Networks
por: Robertson, Zachary, et al.
Publicado: (2023)
por: Robertson, Zachary, et al.
Publicado: (2023)
Ejemplares similares
-
Grokking at the Edge of Linear Separability
por: Beck, Alon, et al.
Publicado: (2024) -
Grokking in Linear Estimators -- A Solvable Model that Groks without Understanding
por: Levi, Noam, et al.
Publicado: (2023) -
The Implicit Bias of Structured State Space Models Can Be Poisoned With Clean Labels
por: Slutzky, Yonatan, et al.
Publicado: (2024) -
A Simple Model of Inference Scaling Laws
por: Levi, Noam
Publicado: (2024) -
Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model
por: Levi, Noam
Publicado: (2026)