Copertina

Disentangling the Causes of Plasticity Loss in Neural Networks

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Lyle, Clare, Zheng, Zeyu, Khetarpal, Khimya, van Hasselt, Hado, Pascanu, Razvan, Martens, James, Dabney, Will
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Normalization and effective learning rates in reinforcement learning
di: Lyle, Clare, et al.
Pubblicazione: (2024)

Preventing Learning Stagnation in PPO by Scaling to 1 Million Parallel Environments
di: Beukman, Michael, et al.
Pubblicazione: (2026)

Plasticity as the Mirror of Empowerment
di: Abel, David, et al.
Pubblicazione: (2025)

What Can Grokking Teach Us About Learning Under Nonstationarity?
di: Lyle, Clare, et al.
Pubblicazione: (2025)

Robust Intervention Learning from Emergency Stop Interventions
di: Pronovost, Ethan, et al.
Pubblicazione: (2026)

General Uncertainty Estimation with Delta Variances
di: Schmitt, Simon, et al.
Pubblicazione: (2025)

A Unifying Framework for Action-Conditional Self-Predictive Reinforcement Learning
di: Khetarpal, Khimya, et al.
Pubblicazione: (2024)

Deep Grokking: Would Deep Neural Networks Generalize Better?
di: Fan, Simin, et al.
Pubblicazione: (2024)

Non-Stationary Learning of Neural Networks with Automatic Soft Parameter Reset
di: Galashov, Alexandre, et al.
Pubblicazione: (2024)

NoProp: Training Neural Networks without Full Back-propagation or Full Forward-propagation
di: Li, Qinyu, et al.
Pubblicazione: (2025)

Optimizers Qualitatively Alter Solutions And We Should Leverage This
di: Pascanu, Razvan, et al.
Pubblicazione: (2025)

Latent Space Representations of Neural Algorithmic Reasoners
di: Mirjanić, Vladimir V., et al.
Pubblicazione: (2023)

Scalable Meta-Learning via Mixed-Mode Differentiation
di: Kemaev, Iurii, et al.
Pubblicazione: (2025)

Self-Predictive Representations for Combinatorial Generalization in Behavioral Cloning
di: Lawson, Daniel, et al.
Pubblicazione: (2025)

Optimizing Return Distributions with Distributional Dynamic Programming
di: Pires, Bernardo Ávila, et al.
Pubblicazione: (2025)

Fine-Tuned In-Context Learners for Efficient Adaptation
di: Bornschein, Jorg, et al.
Pubblicazione: (2025)

A Survey of Temporal Credit Assignment in Deep Reinforcement Learning
di: Pignatelli, Eduardo, et al.
Pubblicazione: (2023)

Wasserstein Policy Optimization
di: Pfau, David, et al.
Pubblicazione: (2025)

Lattice: Learning to Efficiently Compress the Memory
di: Karami, Mahdi, et al.
Pubblicazione: (2025)

Near-Minimax-Optimal Distributional Reinforcement Learning with a Generative Model
di: Rowland, Mark, et al.
Pubblicazione: (2024)

Neural Network Plasticity and Loss Sharpness
di: Koster, Max, et al.
Pubblicazione: (2024)

Meta-learning how to Share Credit among Macro-Actions
di: Hosu, Ionel-Alexandru, et al.
Pubblicazione: (2025)

Revisiting Adam for Streaming Reinforcement Learning
di: Gogianu, Florin, et al.
Pubblicazione: (2026)

Affordances Enable Partial World Modeling with LLMs
di: Khetarpal, Khimya, et al.
Pubblicazione: (2026)

No Representation, No Trust: Connecting Representation, Collapse, and Trust Issues in PPO
di: Moalla, Skander, et al.
Pubblicazione: (2024)

Attention as a Hypernetwork
di: Schug, Simon, et al.
Pubblicazione: (2024)

MS-SSM: A Multi-Scale State Space Model for Efficient Sequence Modeling
di: Karami, Mahdi, et al.
Pubblicazione: (2025)

Representation Learning via Non-Contrastive Mutual Information
di: Guo, Zhaohan Daniel, et al.
Pubblicazione: (2025)

Softmax is not Enough (for Sharp Size Generalisation)
di: Veličković, Petar, et al.
Pubblicazione: (2024)

Slow and Steady Wins the Race: Maintaining Plasticity with Hare and Tortoise Networks
di: Lee, Hojoon, et al.
Pubblicazione: (2024)

Layerwise LQR for Geometry-Aware Optimization of Deep Networks
di: Dufort-Labbé, Simon, et al.
Pubblicazione: (2026)

Hadamard product in deep learning: Introduction, Advances and Challenges
di: Chrysos, Grigorios G, et al.
Pubblicazione: (2025)

Round and Round We Go! What makes Rotary Positional Encodings useful?
di: Barbero, Federico, et al.
Pubblicazione: (2024)

Agency Is Frame-Dependent
di: Abel, David, et al.
Pubblicazione: (2025)

Transformers meet Neural Algorithmic Reasoners
di: Bounsi, Wilfried, et al.
Pubblicazione: (2024)

State Soup: In-Context Skill Learning, Retrieval and Mixing
di: Pióro, Maciej, et al.
Pubblicazione: (2024)

LLMs are Greedy Agents: Effects of RL Fine-tuning on Decision-Making Abilities
di: Schmied, Thomas, et al.
Pubblicazione: (2025)

Perplexity Cannot Always Tell Right from Wrong
di: Veličković, Petar, et al.
Pubblicazione: (2026)

Disentangling shared and private latent factors in multimodal Variational Autoencoders
di: Märtens, Kaspar, et al.
Pubblicazione: (2024)

Unpacking Softmax: How Temperature Drives Representation Collapse, Compression, and Generalization
di: Masarczyk, Wojciech, et al.
Pubblicazione: (2025)