The Homogeneity Trap: Spectral Collapse in Doubly-Stochastic Deep Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Liu, Yizhi
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Avoiding Premature Collapse: Adaptive Annealing for Entropy-Regularized Structural Inference
von: Liu, Yizhi
Veröffentlicht: (2026)

Partially Observable Gaussian Process Network and Doubly Stochastic Variational Inference
von: Kiroriwal, Saksham, et al.
Veröffentlicht: (2025)

Doubly Stochastic Adaptive Neighbors Clustering via the Marcus Mapping
von: Yuan, Jinghui, et al.
Veröffentlicht: (2024)

Collapsed Inference for Bayesian Deep Learning
von: Zeng, Zhe, et al.
Veröffentlicht: (2023)

Doubly Robust Monte Carlo Tree Search
von: Liu, Manqing, et al.
Veröffentlicht: (2025)

Addressing Spectral Bias of Deep Neural Networks by Multi-Grade Deep Learning
von: Fang, Ronglong, et al.
Veröffentlicht: (2024)

Doubly Inhomogeneous Reinforcement Learning
von: Hu, Liyuan, et al.
Veröffentlicht: (2022)

Stochastic Collapse: How Gradient Noise Attracts SGD Dynamics Towards Simpler Subnetworks
von: Chen, Feng, et al.
Veröffentlicht: (2023)

Has the Deep Neural Network learned the Stochastic Process? An Evaluation Viewpoint
von: Kumar, Harshit, et al.
Veröffentlicht: (2024)

Spectral Entropy Collapse as a Phase Transition in Delayed Generalisation: An Interventional and Predictive Framework for Grokkin
von: Khanh, Truong Xuan, et al.
Veröffentlicht: (2026)

Gene Regulatory Network Inference from Pre-trained Single-Cell Transcriptomics Transformer with Joint Graph Learning
von: Kommu, Sindhura, et al.
Veröffentlicht: (2024)

Neural Collapse is Globally Optimal in Deep Regularized ResNets and Transformers
von: Súkeník, Peter, et al.
Veröffentlicht: (2025)

Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective
von: Sun, Haixiang, et al.
Veröffentlicht: (2024)

Quantum Doubly Stochastic Transformers
von: Born, Jannis, et al.
Veröffentlicht: (2025)

Clarifying Shampoo: Adapting Spectral Descent to Stochasticity and the Parameter Trajectory
von: Eschenhagen, Runa, et al.
Veröffentlicht: (2026)

Doubly Mild Generalization for Offline Reinforcement Learning
von: Mao, Yixiu, et al.
Veröffentlicht: (2024)

Doubly Robust Alignment for Large Language Models
von: Xu, Erhan, et al.
Veröffentlicht: (2025)

Distribution Fitting for Combating Mode Collapse in Generative Adversarial Networks
von: Gong, Yanxiang, et al.
Veröffentlicht: (2022)

Deep Neural Regression Collapse
von: Rangamani, Akshay, et al.
Veröffentlicht: (2026)

Spectral Gating Networks
von: Zhang, Jusheng, et al.
Veröffentlicht: (2026)

Representation Collapsing Problems in Vector Quantization
von: Zhao, Wenhao, et al.
Veröffentlicht: (2024)

Spectral Convolution on Orbifolds for Geometric Deep Learning
von: Mangliers, Tim, et al.
Veröffentlicht: (2026)

Safe RLHF Beyond Expectation: Stochastic Dominance for Universal Spectral Risk Control
von: Chittepu, Yaswanth, et al.
Veröffentlicht: (2026)

Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks
von: Li, Kevin, et al.
Veröffentlicht: (2024)

Why Do Neural Networks Forget: A Study of Collapse in Continual Learning
von: Zhu, Yunqin, et al.
Veröffentlicht: (2026)

Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks
von: Roth, Andreas, et al.
Veröffentlicht: (2023)

Approaching Deep Learning through the Spectral Dynamics of Weights
von: Yunis, David, et al.
Veröffentlicht: (2024)

Spectral Higher-Order Neural Networks
von: Peri, Gianluca, et al.
Veröffentlicht: (2026)

Spatio-Spectral Graph Neural Networks
von: Geisler, Simon, et al.
Veröffentlicht: (2024)

Stochastic Deep Graph Clustering for Practical Group Formation
von: Park, Junhyung, et al.
Veröffentlicht: (2025)

Training Multimodal Large Reasoning Models Needs Better Thoughts: A Three-Stage Framework for Long Chain-of-Thought Synthesis and Selection
von: Wang, Yizhi, et al.
Veröffentlicht: (2025)

Equivariant Eikonal Neural Networks: Grid-Free, Scalable Travel-Time Prediction on Homogeneous Spaces
von: García-Castellanos, Alejandro, et al.
Veröffentlicht: (2025)

Spectral Collapse in Diffusion Inversion
von: Bourriez, Nicolas, et al.
Veröffentlicht: (2026)

Spectral Greedy Coresets for Graph Neural Networks
von: Ding, Mucong, et al.
Veröffentlicht: (2024)

Piecewise Constant Spectral Graph Neural Network
von: Martirosyan, Vahan, et al.
Veröffentlicht: (2025)

The Effective Horizon Explains Deep RL Performance in Stochastic Environments
von: Laidlaw, Cassidy, et al.
Veröffentlicht: (2023)

Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent
von: Naganuma, Hiroki, et al.
Veröffentlicht: (2026)

Tequila: Trapping-free Ternary Quantization for Large Language Models
von: Huang, Hong, et al.
Veröffentlicht: (2025)

Late Breaking Results: Quamba-SE: Soft-edge Quantizer for Activations in State Space Models
von: Chen, Yizhi, et al.
Veröffentlicht: (2026)

Stochastic Weight Sharing for Bayesian Neural Networks
von: Lin, Moule, et al.
Veröffentlicht: (2025)