Buchumschlag

Understanding Catastrophic Forgetting In LoRA via Mean-Field Attention Dynamics

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Koubbi, Hugo, Hernandez, Louis, Boussard, Matthieu
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Dynamical Systems
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Dynamic metastability in the self-attention model
von: Geshkovski, Borjan, et al.
Veröffentlicht: (2024)

The Mean-Field Dynamics of Transformers
von: Rigollet, Philippe
Veröffentlicht: (2025)

Attention as In-Context Empirical Bayes: A Two-Stage View via Particle Dynamics
von: Smart, Matthew, et al.
Veröffentlicht: (2026)

Multistability of Self-Attention Dynamics in Transformers
von: Altafini, Claudio
Veröffentlicht: (2025)

Quantitative Clustering in Mean-Field Transformer Models
von: Chen, Shi, et al.
Veröffentlicht: (2025)

LoRA Learns Less and Forgets Less
von: Biderman, Dan, et al.
Veröffentlicht: (2024)

Convergent Stochastic Training of Attention and Understanding LoRA
von: Sun, Zhengkai, et al.
Veröffentlicht: (2026)

Signature Maximum Mean Discrepancy Two-Sample Statistical Tests
von: Alden, Andrew, et al.
Veröffentlicht: (2025)

Enhancing Neural Training via a Correlated Dynamics Model
von: Brokman, Jonathan, et al.
Veröffentlicht: (2023)

Low-Cost Black-Box Detection of LLM Hallucinations via Dynamical System Prediction
von: Wilson, Dan, et al.
Veröffentlicht: (2026)

From Mean-Field Limits to Semiclassical Concentration: Global Convergence of the Canonical Evolutionary Strategy
von: Neto, Matías, et al.
Veröffentlicht: (2026)

Backpropagation on Dynamical Networks
von: Tan, Eugene, et al.
Veröffentlicht: (2022)

LoRA-Mixer: Coordinate Modular LoRA Experts Through Serial Attention Routing
von: Li, Wenbing, et al.
Veröffentlicht: (2025)

From Sparse Sensors to Continuous Fields: STRIDE for Spatiotemporal Reconstruction
von: Tong, Yanjie, et al.
Veröffentlicht: (2026)

Dynamics-Informed Deep Learning for Predicting Extreme Events
von: Katsidoniotaki, Eirini, et al.
Veröffentlicht: (2026)

Multitask Learning with Stochastic Interpolants
von: Negrel, Hugo, et al.
Veröffentlicht: (2025)

Integrating Multimodal Data for Joint Generative Modeling of Complex Dynamics
von: Brenner, Manuel, et al.
Veröffentlicht: (2022)

Run LoRA Run: Faster and Lighter LoRA Implementations
von: Cherniuk, Daria, et al.
Veröffentlicht: (2023)

Merge before Forget: A Single LoRA Continual Learning via Continual Merging
von: Qiao, Fuli, et al.
Veröffentlicht: (2025)

Analysis of tidal flows through the Strait of Gibraltar using Dynamic Mode Decomposition
von: Dias, Sathsara, et al.
Veröffentlicht: (2023)

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
von: Lee, Seungeon, et al.
Veröffentlicht: (2025)

Latent Diffeomorphic Dynamic Mode Decomposition
von: Diepeveen, Willem, et al.
Veröffentlicht: (2025)

Autoencoding Dynamics: Topological Limitations and Capabilities
von: Kvalheim, Matthew D., et al.
Veröffentlicht: (2025)

Deep Learning of the Evolution Operator Enables Forecasting of Out-of-Training Dynamics in Chaotic Systems
von: Shokar, Ira J. S., et al.
Veröffentlicht: (2025)

PINN-Obs: Physics-Informed Neural Network-Based Observer for Nonlinear Dynamical Systems
von: Farkane, Ayoub, et al.
Veröffentlicht: (2025)

CEBoosting: Online Sparse Identification of Dynamical Systems with Regime Switching by Causation Entropy Boosting
von: Chen, Chuanqi, et al.
Veröffentlicht: (2023)

Likelihood-Free Inference and Hierarchical Data Assimilation for Geological Carbon Storage
von: Teng, Wenchao, et al.
Veröffentlicht: (2024)

Learning Deep Dissipative Dynamics
von: Okamoto, Yuji, et al.
Veröffentlicht: (2024)

Neural Context Flows for Meta-Learning of Dynamical Systems
von: Nzoyem, Roussel Desmond, et al.
Veröffentlicht: (2024)

Continuous-Time Homeostatic Dynamics for Reentrant Inference Models
von: Chae, Byung Gyu
Veröffentlicht: (2025)

Zero-shot Imputation with Foundation Inference Models for Dynamical Systems
von: Seifner, Patrick, et al.
Veröffentlicht: (2024)

Dynamical systems and complex networks: A Koopman operator perspective
von: Klus, Stefan, et al.
Veröffentlicht: (2024)

Neural Ordinary Differential Equations for Modeling Socio-Economic Dynamics
von: Samota, Sandeep Kumar, et al.
Veröffentlicht: (2026)

Generalized Quadratic Embeddings for Nonlinear Dynamics using Deep Learning
von: Goyal, Pawan, et al.
Veröffentlicht: (2022)

Tipping Point Forecasting in Non-Stationary Dynamics on Function Spaces
von: Liu-Schiaffini, Miguel, et al.
Veröffentlicht: (2023)

Deep Recurrent Stochastic Configuration Networks for Modelling Nonlinear Dynamic Systems
von: Dang, Gang, et al.
Veröffentlicht: (2024)

DySLIM: Dynamics Stable Learning by Invariant Measure for Chaotic Systems
von: Schiff, Yair, et al.
Veröffentlicht: (2024)

Embedded Variational Neural Stochastic Differential Equations for Learning Heterogeneous Dynamics
von: Samota, Sandeep Kumar, et al.
Veröffentlicht: (2026)

Flowing Through Layers: A Continuous Dynamical Systems Perspective on Transformers
von: Fein-Ashley, Jacob
Veröffentlicht: (2025)

Self-Supervised Evolution Operator Learning for High-Dimensional Dynamical Systems
von: Turri, Giacomo, et al.
Veröffentlicht: (2025)