Buchumschlag

Breaking Neural Network Scaling Laws with Modularity

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Boopathy, Akhilan, Jiang, Sunshine, Yue, William, Hwang, Jaedong, Iyer, Abhiram, Fiete, Ila
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Towards Exact Computation of Inductive Bias
von: Boopathy, Akhilan, et al.
Veröffentlicht: (2024)

Unified Neural Network Scaling Laws and Scale-time Equivalence
von: Boopathy, Akhilan, et al.
Veröffentlicht: (2024)

Resampling-free Particle Filters in High-dimensions
von: Boopathy, Akhilan, et al.
Veröffentlicht: (2024)

Permutation Invariant Learning with High-Dimensional Particle Filters
von: Boopathy, Akhilan, et al.
Veröffentlicht: (2024)

Large Pre-Training Datasets Don't Always Guarantee Robustness after Fine-Tuning
von: Hwang, Jaedong, et al.
Veröffentlicht: (2024)

Grid Cell-Inspired Fragmentation and Recall for Efficient Map Building
von: Hwang, Jaedong, et al.
Veröffentlicht: (2023)

Uncovering Latent Memories: Assessing Data Leakage and Memorization Patterns in Frontier AI Models
von: Duan, Sunny, et al.
Veröffentlicht: (2024)

Modular connectivity in neural networks emerges from Poisson noise-motivated regularisation, and promotes robustness and compositional generalisation
von: Qian, Daoyuan, et al.
Veröffentlicht: (2025)

Delay Embedding Theory of Neural Sequence Models
von: Ostrow, Mitchell, et al.
Veröffentlicht: (2024)

Learn Globally, Speak Locally: Bridging the Gaps in Multilingual Reasoning
von: Hwang, Jaedong, et al.
Veröffentlicht: (2025)

Do Diffusion Models Learn Semantically Meaningful and Efficient Representations?
von: Liang, Qiyao, et al.
Veröffentlicht: (2024)

Key-value memory in the brain
von: Gershman, Samuel J., et al.
Veröffentlicht: (2025)

Compositional Generalization via Forced Rendering of Disentangled Latents
von: Liang, Qiyao, et al.
Veröffentlicht: (2025)

How Diffusion Models Learn to Factorize and Compose
von: Liang, Qiyao, et al.
Veröffentlicht: (2024)

Fault-Tolerant Neural Networks from Biological Error Correction Codes
von: Zlokapa, Alexander, et al.
Veröffentlicht: (2022)

Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks
von: Lee, Dongwoo, et al.
Veröffentlicht: (2025)

The Blessing of Dimensionality in LLM Fine-tuning: A Variance-Curvature Perspective
von: Liang, Qiyao, et al.
Veröffentlicht: (2026)

Analyzing Neural Scaling Laws in Two-Layer Networks with Power-Law Data Spectra
von: Worschech, Roman, et al.
Veröffentlicht: (2024)

Improving Protein Optimization with Smoothed Fitness Landscapes
von: Kirjner, Andrew, et al.
Veröffentlicht: (2023)

Neural Neural Scaling Laws
von: Hu, Michael Y., et al.
Veröffentlicht: (2026)

On the Invariance and Generality of Neural Scaling Laws
von: Han, Xing, et al.
Veröffentlicht: (2026)

InputDSA: Demixing then Comparing Recurrent and Externally Driven Dynamics
von: Huang, Ann, et al.
Veröffentlicht: (2025)

Symmetry Breaking and Equivariant Neural Networks
von: Kaba, Sékou-Oumar, et al.
Veröffentlicht: (2023)

ReInc: Scaling Training of Dynamic Graph Neural Networks
von: Guan, Mingyu, et al.
Veröffentlicht: (2025)

Scaling Laws of Graph Neural Networks for Atomistic Materials Modeling
von: Li, Chaojian, et al.
Veröffentlicht: (2025)

Information Geometry of Evolution of Neural Network Parameters While Training
von: Thiruthummal, Abhiram Anand, et al.
Veröffentlicht: (2024)

Configuration-to-Performance Scaling Law with Neural Ansatz
von: Zhang, Huaqing, et al.
Veröffentlicht: (2026)

Relative-Based Scaling Law for Neural Language Models
von: Yue, Baoqing, et al.
Veröffentlicht: (2025)

Towards Neural Scaling Laws for Time Series Foundation Models
von: Yao, Qingren, et al.
Veröffentlicht: (2024)

Characterizing control between interacting subsystems with deep Jacobian estimation
von: Eisen, Adam J., et al.
Veröffentlicht: (2025)

Towards Neural Scaling Laws on Graphs
von: Liu, Jingzhe, et al.
Veröffentlicht: (2024)

On the Optimizer Dependence of Neural Scaling Laws
von: Ramani, Vansh, et al.
Veröffentlicht: (2026)

Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study
von: Liu, Hao, et al.
Veröffentlicht: (2024)

How to Upscale Neural Networks with Scaling Law? A Survey and Practical Guidelines
von: Sengupta, Ayan, et al.
Veröffentlicht: (2025)

Gradient Enhanced Self-Training Physics-Informed Neural Network (gST-PINN) for Solving Nonlinear Partial Differential Equations
von: Iyer, Narayan S, et al.
Veröffentlicht: (2025)

Explaining Neural Scaling Laws
von: Bahri, Yasaman, et al.
Veröffentlicht: (2021)

MI CAM: Mutual Information Weighted Activation Mapping for Causal Visual Explanations of Convolutional Neural Networks
von: Iyer, Ram S, et al.
Veröffentlicht: (2025)

Neural Scaling Laws for Deep Regression
von: Cadez, Tilen, et al.
Veröffentlicht: (2025)

Scaling Laws for Neural Material Models
von: Trikha, Akshay, et al.
Veröffentlicht: (2025)

AlphaZero Neural Scaling and Zipf's Law: a Tale of Board Games and Power Laws
von: Neumann, Oren, et al.
Veröffentlicht: (2024)