Cross Entropy versus Label Smoothing: A Neural Collapse Perspective

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Guo, Li, Andriopoulos, George, Zhao, Zifan, Ling, Shuyang, Dong, Zixuan, Ross, Keith
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

The Prevalence of Neural Collapse in Neural Multivariate Regression
di: Andriopoulos, George, et al.
Pubblicazione: (2024)

Geometric Analysis of Neural Regression Collapse via Intrinsic Dimension
di: Andriopoulos, George, et al.
Pubblicazione: (2025)

Neural Multivariate Regression: Qualitative Insights from the Unconstrained Feature Model
di: Andriopoulos, George, et al.
Pubblicazione: (2025)

Beyond Unconstrained Features: Neural Collapse for Shallow Neural Networks with General Data
di: Hong, Wanli, et al.
Pubblicazione: (2024)

A Mirror Descent Perspective of Smoothed Sign Descent
di: Wang, Shuyang, et al.
Pubblicazione: (2024)

MaxSup: Overcoming Representation Collapse in Label Smoothing
di: Zhou, Yuxuan, et al.
Pubblicazione: (2025)

Should We Ever Prefer Decision Transformer for Offline Reinforcement Learning?
di: Omori, Yumi, et al.
Pubblicazione: (2025)

Is Optimal Transport Necessary for Inverse Reinforcement Learning?
di: Dong, Zixuan, et al.
Pubblicazione: (2025)

On the Convergence of Monte Carlo UCB for Random-Length Episodic MDPs
di: Dong, Zixuan, et al.
Pubblicazione: (2022)

Pre-training with Synthetic Data Helps Offline Reinforcement Learning
di: Wang, Zecheng, et al.
Pubblicazione: (2023)

How Label Imbalance Shapes Geometry: A General Spectral Analysis of Multi-Label Neural Collapse
di: Ma, Xiaoxuan, et al.
Pubblicazione: (2026)

Neural Collapse versus Low-rank Bias: Is Deep Neural Collapse Really Optimal?
di: Súkeník, Peter, et al.
Pubblicazione: (2024)

Enhanced Estimation Techniques for Certified Radii in Randomized Smoothing
di: Liang, Zixuan
Pubblicazione: (2025)

Generalized Orthogonal Procrustes Problem under Arbitrary Adversaries
di: Ling, Shuyang
Pubblicazione: (2021)

Label Smoothing Improves Gradient Ascent in LLM Unlearning
di: Pang, Zirui, et al.
Pubblicazione: (2025)

Understanding and Preventing Entropy Collapse in RLVR with On-Policy Entropy Flow Optimization
di: Xu, Huimin, et al.
Pubblicazione: (2026)

On the Robustness of Neural Collapse and the Neural Collapse of Robustness
di: Su, Jingtong, et al.
Pubblicazione: (2023)

Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks
di: Roth, Andreas, et al.
Pubblicazione: (2023)

A Probabilistic Perspective on Model Collapse
di: Xu, Shirong, et al.
Pubblicazione: (2025)

Label-Free Reinforcement Learning via Cross-Model Entropy
di: Gorbett, Matt, et al.
Pubblicazione: (2026)

Label Smoothing Improves Machine Unlearning
di: Di, Zonglin, et al.
Pubblicazione: (2024)

The Exploration-Exploitation Dilemma Revisited: An Entropy Perspective
di: Yan, Renye, et al.
Pubblicazione: (2024)

Optimizer choice matters for the emergence of Neural Collapse
di: Zhao, Jim, et al.
Pubblicazione: (2026)

Smooth Pseudo-Labeling
di: Karaliolios, Nikolaos, et al.
Pubblicazione: (2024)

Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective
di: Sun, Haixiang, et al.
Pubblicazione: (2024)

Reliable Active Learning from Unreliable Labels via Neural Collapse Geometry
di: Goel, Atharv, et al.
Pubblicazione: (2025)

Rethinking Continual Learning with Progressive Neural Collapse
di: Wang, Zheng, et al.
Pubblicazione: (2025)

On the Hardness of Unsupervised Domain Adaptation: Optimal Learners and Information-Theoretic Perspective
di: Dong, Zhiyi, et al.
Pubblicazione: (2025)

Posterior Label Smoothing for Node Classification
di: Heo, Jaeseung, et al.
Pubblicazione: (2024)

Shapley Curves: A Smoothing Perspective
di: Miftachov, Ratmir, et al.
Pubblicazione: (2022)

A Nonparametric Discrete Hawkes Model with a Collapsed Gaussian-Process Prior
di: Brisley, Trinnhallen, et al.
Pubblicazione: (2025)

Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective
di: Hao, Zhezheng, et al.
Pubblicazione: (2025)

Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model
di: Dang, Hien, et al.
Pubblicazione: (2024)

Hard-Label Cryptanalytic Extraction of Neural Network Models
di: Chen, Yi, et al.
Pubblicazione: (2024)

CURE: Critical-Token-Guided Re-Concatenation for Entropy-Collapse Prevention
di: Li, Qingbin, et al.
Pubblicazione: (2025)

One-Shot Federated Unsupervised Domain Adaptation with Scaled Entropy Attention and Multi-Source Smoothed Pseudo Labeling
di: Abedi, Ali, et al.
Pubblicazione: (2025)

Variational Learning Induces Adaptive Label Smoothing
di: Yang, Sin-Han, et al.
Pubblicazione: (2025)

Implicit Graph Neural Diffusion Networks: Convergence, Generalization, and Over-Smoothing
di: Fu, Guoji, et al.
Pubblicazione: (2023)

A Graph Sufficiency Perspective for Neural Networks
di: Shen, Cencheng, et al.
Pubblicazione: (2025)

Neural Collapse in Multi-label Learning with Pick-all-label Loss
di: Li, Pengyu, et al.
Pubblicazione: (2023)