Can We Understand Plasticity Through Neural Collapse?

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bonifazi, Guglielmo, Chalas, Iason, Hess, Gian, Łucki, Jakub
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Visual Perception Engine: Fast and Flexible Multi-Head Inference for Robotic Vision Tasks
von: Łucki, Jakub, et al.
Veröffentlicht: (2025)

Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective
von: Sun, Haixiang, et al.
Veröffentlicht: (2024)

An Adversarial Perspective on Machine Unlearning for AI Safety
von: Łucki, Jakub, et al.
Veröffentlicht: (2024)

Can We Formally Verify Neural PDE Surrogates? SMT Compilation of Small Fourier Neural Operators
von: Baheri, Ali, et al.
Veröffentlicht: (2026)

Layer Collapse Can be Induced by Unstructured Pruning
von: Liao, Zhu, et al.
Veröffentlicht: (2024)

Can Kernel Methods Explain How the Data Affects Neural Collapse?
von: Kothapalli, Vignesh, et al.
Veröffentlicht: (2024)

The Prevalence of Neural Collapse in Neural Multivariate Regression
von: Andriopoulos, George, et al.
Veröffentlicht: (2024)

Imitation Learning in the Deep Learning Era: A Novel Taxonomy and Recent Advances
von: Chrysomallis, Iason, et al.
Veröffentlicht: (2025)

Neural Network Plasticity and Loss Sharpness
von: Koster, Max, et al.
Veröffentlicht: (2024)

Understanding and Mitigating Hyperbolic Dimensional Collapse in Graph Contrastive Learning
von: Zhang, Yifei, et al.
Veröffentlicht: (2023)

Understanding Foundation Models: Are We Back in 1924?
von: Smeaton, Alan F.
Veröffentlicht: (2024)

Barriers for Learning in an Evolving World: Mathematical Understanding of Loss of Plasticity
von: Joudaki, Amir, et al.
Veröffentlicht: (2025)

Performance and Efficiency of Climate In-Situ Data Reconstruction: Why Optimized IDW Outperforms kriging and Implicit Neural Representation
von: Walczak, Jakub
Veröffentlicht: (2025)

Understanding and Preventing Entropy Collapse in RLVR with On-Policy Entropy Flow Optimization
von: Xu, Huimin, et al.
Veröffentlicht: (2026)

Position: We Need An Algorithmic Understanding of Generative AI
von: Eberle, Oliver, et al.
Veröffentlicht: (2025)

Preventing Model Collapse via Contraction-Conditioned Neural Filters
von: Han, Zongjian, et al.
Veröffentlicht: (2025)

Can We Predict Your Next Move Without Breaking Your Privacy?
von: Soni, Arpita, et al.
Veröffentlicht: (2025)

Neural Collapse is Globally Optimal in Deep Regularized ResNets and Transformers
von: Súkeník, Peter, et al.
Veröffentlicht: (2025)

Do Neural Networks Lose Plasticity in a Gradually Changing World?
von: Liu, Tianhui, et al.
Veröffentlicht: (2026)

Are We Measuring Oversmoothing in Graph Neural Networks Correctly?
von: Zhang, Kaicheng, et al.
Veröffentlicht: (2025)

Prosperity before Collapse: How Far Can Off-Policy RL Reach with Stale Data on LLMs?
von: Zheng, Haizhong, et al.
Veröffentlicht: (2025)

Advancing Constrained Monotonic Neural Networks: Achieving Universal Approximation Beyond Bounded Activations
von: Sartor, Davide, et al.
Veröffentlicht: (2025)

GraphIP-Bench: How Hard Is It to Steal a Graph Neural Network, and Can We Stop It?
von: Zhao, Kaixiang, et al.
Veröffentlicht: (2026)

Can We Predict the Unpredictable? Leveraging DisasterNet-LLM for Multimodal Disaster Classification
von: Kulahara, Manaswi, et al.
Veröffentlicht: (2025)

Robust Weight Imprinting: Insights from Neural Collapse and Proxy-Based Aggregation
von: Westerhoff, Justus, et al.
Veröffentlicht: (2025)

Why Do Neural Networks Forget: A Study of Collapse in Continual Learning
von: Zhu, Yunqin, et al.
Veröffentlicht: (2026)

Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks
von: Roth, Andreas, et al.
Veröffentlicht: (2023)

Directional Neural Collapse Explains Few-Shot Transfer in Self-Supervised Learning
von: Luthra, Achleshwar, et al.
Veröffentlicht: (2026)

SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting
von: Qiu, Haomiao, et al.
Veröffentlicht: (2025)

Deep Neural Regression Collapse
von: Rangamani, Akshay, et al.
Veröffentlicht: (2026)

Can We Really Learn One Representation to Optimize All Rewards?
von: Zheng, Chongyi, et al.
Veröffentlicht: (2026)

Fira: Can We Achieve Full-rank Training of LLMs Under Low-rank Constraint?
von: Chen, Xi, et al.
Veröffentlicht: (2024)

How Can We Diagnose and Treat Bias in Large Language Models for Clinical Decision-Making?
von: Benkirane, Kenza, et al.
Veröffentlicht: (2024)

Counting Still Counts: Understanding Neural Complex Query Answering Through Query Relaxation
von: Brunink, Yannick, et al.
Veröffentlicht: (2025)

Can We Ignore Labels In Out of Distribution Detection?
von: Yang, Hong, et al.
Veröffentlicht: (2025)

Enhancing Pre-Trained Model-Based Class-Incremental Learning through Neural Collapse
von: He, Kun, et al.
Veröffentlicht: (2025)

Space Alignment Matters: The Missing Piece for Inducing Neural Collapse in Long-Tailed Learning
von: Wang, Jinping, et al.
Veröffentlicht: (2025)

DASH: Warm-Starting Neural Network Training in Stationary Settings without Loss of Plasticity
von: Shin, Baekrok, et al.
Veröffentlicht: (2024)

Understanding Grokking Through A Robustness Viewpoint
von: Tan, Zhiquan, et al.
Veröffentlicht: (2023)

Rethinking Loss Reweighting for Imbalance Learning as an Inverse Problem: A Neural Collapse Point of View
von: Wang, Jinping, et al.
Veröffentlicht: (2026)