Buchumschlag

Beyond Gaussian Initializations: Signal Preserving Weight Initialization for Odd-Sigmoid Activations

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lee, Hyunwoo, Choi, Hayoung, Kim, Hyunju
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Robust Weight Initialization for Tanh Neural Networks with Fixed Point Analysis
von: Lee, Hyunwoo, et al.
Veröffentlicht: (2024)

Progressive Weight Loading: Accelerating Initial Inference and Gradually Boosting Performance on Resource-Constrained Environments
von: Kim, Hyunwoo, et al.
Veröffentlicht: (2025)

Optimized Weight Initialization on the Stiefel Manifold for Deep ReLU Neural Networks
von: Lee, Hyungu, et al.
Veröffentlicht: (2025)

PINNet: a deep neural network with pathway prior knowledge for Alzheimer's disease
von: Kim, Yeojin, et al.
Veröffentlicht: (2022)

Deep Metric Loss for Multimodal Learning
von: Moon, Sehwan, et al.
Veröffentlicht: (2023)

Teasing Apart Architecture and Initial Weights as Sources of Inductive Bias in Neural Networks
von: Bencomo, Gianluca, et al.
Veröffentlicht: (2025)

Fast Training of Sinusoidal Neural Fields via Scaling Initialization
von: Yeom, Taesun, et al.
Veröffentlicht: (2024)

Frictional Q-Learning
von: Kim, Hyunwoo, et al.
Veröffentlicht: (2025)

Entropy-Aware Model Initialization for Effective Exploration in Deep Reinforcement Learning
von: Jang, Sooyoung, et al.
Veröffentlicht: (2021)

Spatio-Temporal Graphs Beyond Grids: Benchmark for Maritime Anomaly Detection
von: Kim, Jeehong, et al.
Veröffentlicht: (2025)

FlowerFormer: Empowering Neural Architecture Encoding using a Flow-aware Graph Transformer
von: Hwang, Dongyeong, et al.
Veröffentlicht: (2024)

Principal Components for Neural Network Initialization
von: Phan, Nhan, et al.
Veröffentlicht: (2025)

LION-DG: Layer-Informed Initialization with Deep Gradient Protocols for Accelerated Neural Network Training
von: Kim, Hyunjun
Veröffentlicht: (2026)

Preserving Bilinear Weight Spectra with a Signed and Shrunk Quadratic Activation Function
von: Abohwo, Jason, et al.
Veröffentlicht: (2025)

Revisiting Weight Averaging for Model Merging
von: Choi, Jiho, et al.
Veröffentlicht: (2024)

Global Minimizers of Sigmoid Contrastive Loss
von: Bangachev, Kiril, et al.
Veröffentlicht: (2025)

Geometric Regularization in Mixture-of-Experts: The Disconnect Between Weights and Activations
von: Kim, Hyunjun
Veröffentlicht: (2026)

Achieving the Tightest Relaxation of Sigmoids for Formal Verification
von: Chevalier, Samuel, et al.
Veröffentlicht: (2024)

Revisiting Glorot Initialization for Long-Range Linear Recurrences
von: Bar, Noga, et al.
Veröffentlicht: (2025)

When Bias Meets Trainability: Connecting Theories of Initialization
von: Bassi, Alberto, et al.
Veröffentlicht: (2025)

The Initialization Determines Whether In-Context Learning Is Gradient Descent
von: Xie, Shifeng, et al.
Veröffentlicht: (2025)

Revisiting the Initial Steps in Adaptive Gradient Descent Optimization
von: Abuduweili, Abulikemu, et al.
Veröffentlicht: (2024)

Initializing Services in Interactive ML Systems for Diverse Users
von: Bose, Avinandan, et al.
Veröffentlicht: (2023)

NNiT: Width-Agnostic Neural Network Generation with Structurally Aligned Weight Spaces
von: Kim, Jiwoo, et al.
Veröffentlicht: (2026)

World Models for Autonomous Driving: An Initial Survey
von: Guan, Yanchen, et al.
Veröffentlicht: (2024)

Bridging KAN and MLP: MJKAN, a Hybrid Architecture with Both Efficiency and Expressiveness
von: Joo, Hanseon, et al.
Veröffentlicht: (2025)

UNR-Explainer: Counterfactual Explanations for Unsupervised Node Representation Learning Models
von: Kang, Hyunju, et al.
Veröffentlicht: (2026)

Random Initialization of Gated Sparse Adapters
von: Retault, Vi, et al.
Veröffentlicht: (2025)

NoiseAR: AutoRegressing Initial Noise Prior for Diffusion Models
von: Li, Zeming, et al.
Veröffentlicht: (2025)

IDInit: A Universal and Stable Initialization Method for Neural Network Training
von: Pan, Yu, et al.
Veröffentlicht: (2025)

Randomly Initialized Networks Can Learn from Peer-to-Peer Consensus
von: Rodríguez-Betancourt, Esteban, et al.
Veröffentlicht: (2026)

Bit-Identical Medical Deep Learning via Structured Orthogonal Initialization
von: Shkolnikov, Yakov Pyotr
Veröffentlicht: (2026)

Rapid Deployment of DNNs for Edge Computing via Structured Pruning at Initialization
von: Eccles, Bailey J., et al.
Veröffentlicht: (2024)

No More Adam: Learning Rate Scaling at Initialization is All You Need
von: Xu, Minghao, et al.
Veröffentlicht: (2024)

Inversion-based Latent Bayesian Optimization
von: Chu, Jaewon, et al.
Veröffentlicht: (2024)

Mimetic Initialization of MLPs
von: Trockman, Asher, et al.
Veröffentlicht: (2026)

JUDO: A Juxtaposed Domain-Oriented Multimodal Reasoner for Industrial Anomaly QA
von: Kang, Hyunju, et al.
Veröffentlicht: (2026)

Exploring Learngene via Stage-wise Weight Sharing for Initializing Variable-sized Models
von: Xia, Shi-Yu, et al.
Veröffentlicht: (2024)

Sparse Weight Averaging with Multiple Particles for Iterative Magnitude Pruning
von: Choi, Moonseok, et al.
Veröffentlicht: (2023)

The Impact of Initialization on LoRA Finetuning Dynamics
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)