Buchumschlag

Recovering Plasticity of Neural Networks via Soft Weight Rescaling

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Oh, Seungwon, Park, Sangyeon, Han, Isaac, Kim, Kyung-Joong
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Activation by Interval-wise Dropout: A Simple Way to Prevent Neural Networks from Plasticity Loss
von: Park, Sangyeon, et al.
Veröffentlicht: (2025)

FIRE: Frobenius-Isometry Reinitialization for Balancing the Stability-Plasticity Tradeoff
von: Han, Isaac, et al.
Veröffentlicht: (2026)

Prism: Spectral Parameter Sharing for Multi-Agent Reinforcement Learning
von: Kim, Kyungbeom, et al.
Veröffentlicht: (2026)

Variance Control via Weight Rescaling in LLM Pre-training
von: Owen, Louis, et al.
Veröffentlicht: (2025)

Activation Functions Considered Harmful: Recovering Neural Network Weights through Controlled Channels
von: Spielman, Jesse, et al.
Veröffentlicht: (2025)

Continuum Dropout for Neural Differential Equations
von: Lee, Jonghun, et al.
Veröffentlicht: (2025)

Neural Weight Compression for Language Models
von: Ryu, Jegwang, et al.
Veröffentlicht: (2025)

Temporal Score Rescaling for Temperature Sampling in Diffusion and Flow Models
von: Xu, Yanbo, et al.
Veröffentlicht: (2025)

DASH: Warm-Starting Neural Network Training in Stationary Settings without Loss of Plasticity
von: Shin, Baekrok, et al.
Veröffentlicht: (2024)

Multiverse: Language-Conditioned Multi-Game Level Blending via Shared Representation
von: Baek, In-Chang, et al.
Veröffentlicht: (2026)

Stable Neural Stochastic Differential Equations in Analyzing Irregular Time Series Data
von: Oh, YongKyung, et al.
Veröffentlicht: (2024)

Modeling Irregular Astronomical Time Series with Neural Stochastic Delay Differential Equations
von: Oh, YongKyung, et al.
Veröffentlicht: (2025)

Semantic-Aware Gaussian Process Calibration with Structured Layerwise Kernels for Deep Neural Networks
von: Lee, Kyung-hwan, et al.
Veröffentlicht: (2025)

Synergy-CLIP: Extending CLIP with Multi-modal Integration for Robust Representation Learning
von: Cho, Sangyeon, et al.
Veröffentlicht: (2025)

Adaptive Soft Error Protection for Neural Network Processing
von: Xue, Xinghua, et al.
Veröffentlicht: (2024)

naPINN: Noise-Adaptive Physics-Informed Neural Networks for Recovering Physics from Corrupted Measurement
von: Kim, Hankyeol, et al.
Veröffentlicht: (2026)

Disentangling the Causes of Plasticity Loss in Neural Networks
von: Lyle, Clare, et al.
Veröffentlicht: (2024)

Constructive Lyapunov Functions via Topology-Preserving Neural Networks
von: Oh, Jaehong
Veröffentlicht: (2025)

Alternating Approach-Putt Models for Multi-Stage Speech Enhancement
von: Jeong, Iksoon, et al.
Veröffentlicht: (2025)

Weight Initialization and Variance Dynamics in Deep Neural Networks and Large Language Models
von: Han, Yankun
Veröffentlicht: (2025)

Diverse Policies Recovering via Pointwise Mutual Information Weighted Imitation Learning
von: Yang, Hanlin, et al.
Veröffentlicht: (2024)

Neural Network Plasticity and Loss Sharpness
von: Koster, Max, et al.
Veröffentlicht: (2024)

TANDEM: Temporal Attention-guided Neural Differential Equations for Missingness in Time Series Classification
von: Oh, YongKyung, et al.
Veröffentlicht: (2025)

Position: State-of-the-Art Claims Require State-of-the-Art Evidence
von: Oh, YongKyung
Veröffentlicht: (2026)

SeeDNorm: Self-Rescaled Dynamic Normalization
von: Cai, Wenrui, et al.
Veröffentlicht: (2025)

An Iterative Algorithm for Rescaled Hyperbolic Functions Regression
von: Gao, Yeqi, et al.
Veröffentlicht: (2023)

Rethinking RoPE Scaling in Quantized LLM: Theory, Outlier, and Channel-Band Analysis with Weight Rescaling
von: Qiao, Ye, et al.
Veröffentlicht: (2025)

ChronoPlastic Spiking Neural Networks
von: Chaudhry, Sarim
Veröffentlicht: (2025)

Ontology Neural Networks for Topologically Conditioned Constraint Satisfaction
von: Oh, Jaehong
Veröffentlicht: (2026)

Taming Gradient Oversmoothing and Expansion in Graph Neural Networks
von: Park, MoonJeong, et al.
Veröffentlicht: (2024)

Optimized Weight Initialization on the Stiefel Manifold for Deep ReLU Neural Networks
von: Lee, Hyungu, et al.
Veröffentlicht: (2025)

Learning Massive-scale Partial Correlation Networks in Clinical Multi-omics Studies with HP-ACCORD
von: Lee, Sungdong, et al.
Veröffentlicht: (2024)

High-Layer Attention Pruning with Rescaling
von: Liu, Songtao, et al.
Veröffentlicht: (2025)

Achieving Margin Maximization Exponentially Fast via Progressive Norm Rescaling
von: Wang, Mingze, et al.
Veröffentlicht: (2023)

Adversarial Sample-Based Approach for Tighter Privacy Auditing in Final Model-Only Scenarios
von: Yoon, Sangyeon, et al.
Veröffentlicht: (2024)

Multi-Objective Instruction-Aware Representation Learning in Procedural Content Generation RL
von: Kim, Sung-Hyun, et al.
Veröffentlicht: (2025)

Neural Variance-aware Dueling Bandits with Deep Representation and Shallow Exploration
von: Oh, Youngmin, et al.
Veröffentlicht: (2025)

A Rescaling-Invariant Lipschitz Bound Based on Path-Metrics for Modern ReLU Network Parameterizations
von: Gonon, Antoine, et al.
Veröffentlicht: (2024)

Robust Weight Initialization for Tanh Neural Networks with Fixed Point Analysis
von: Lee, Hyunwoo, et al.
Veröffentlicht: (2024)

Support Vector Machine Classifier with Rescaled Huberized Pinball Loss
von: Diao, Shibo
Veröffentlicht: (2025)