Unified Neural Network Scaling Laws and Scale-time Equivalence
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Boopathy, Akhilan, Fiete, Ila |
|---|---|
| Format: | Preprint |
| Publié: |
2024
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Breaking Neural Network Scaling Laws with Modularity
par: Boopathy, Akhilan, et autres
Publié: (2024)
par: Boopathy, Akhilan, et autres
Publié: (2024)
Towards Exact Computation of Inductive Bias
par: Boopathy, Akhilan, et autres
Publié: (2024)
par: Boopathy, Akhilan, et autres
Publié: (2024)
Resampling-free Particle Filters in High-dimensions
par: Boopathy, Akhilan, et autres
Publié: (2024)
par: Boopathy, Akhilan, et autres
Publié: (2024)
Permutation Invariant Learning with High-Dimensional Particle Filters
par: Boopathy, Akhilan, et autres
Publié: (2024)
par: Boopathy, Akhilan, et autres
Publié: (2024)
Delay Embedding Theory of Neural Sequence Models
par: Ostrow, Mitchell, et autres
Publié: (2024)
par: Ostrow, Mitchell, et autres
Publié: (2024)
Large Pre-Training Datasets Don't Always Guarantee Robustness after Fine-Tuning
par: Hwang, Jaedong, et autres
Publié: (2024)
par: Hwang, Jaedong, et autres
Publié: (2024)
Grid Cell-Inspired Fragmentation and Recall for Efficient Map Building
par: Hwang, Jaedong, et autres
Publié: (2023)
par: Hwang, Jaedong, et autres
Publié: (2023)
Modular connectivity in neural networks emerges from Poisson noise-motivated regularisation, and promotes robustness and compositional generalisation
par: Qian, Daoyuan, et autres
Publié: (2025)
par: Qian, Daoyuan, et autres
Publié: (2025)
Do Diffusion Models Learn Semantically Meaningful and Efficient Representations?
par: Liang, Qiyao, et autres
Publié: (2024)
par: Liang, Qiyao, et autres
Publié: (2024)
Key-value memory in the brain
par: Gershman, Samuel J., et autres
Publié: (2025)
par: Gershman, Samuel J., et autres
Publié: (2025)
Compositional Generalization via Forced Rendering of Disentangled Latents
par: Liang, Qiyao, et autres
Publié: (2025)
par: Liang, Qiyao, et autres
Publié: (2025)
How Diffusion Models Learn to Factorize and Compose
par: Liang, Qiyao, et autres
Publié: (2024)
par: Liang, Qiyao, et autres
Publié: (2024)
Neural Neural Scaling Laws
par: Hu, Michael Y., et autres
Publié: (2026)
par: Hu, Michael Y., et autres
Publié: (2026)
Unified Scaling Laws for Compressed Representations
par: Panferov, Andrei, et autres
Publié: (2025)
par: Panferov, Andrei, et autres
Publié: (2025)
Fault-Tolerant Neural Networks from Biological Error Correction Codes
par: Zlokapa, Alexander, et autres
Publié: (2022)
par: Zlokapa, Alexander, et autres
Publié: (2022)
Analyzing Neural Scaling Laws in Two-Layer Networks with Power-Law Data Spectra
par: Worschech, Roman, et autres
Publié: (2024)
par: Worschech, Roman, et autres
Publié: (2024)
On the Invariance and Generality of Neural Scaling Laws
par: Han, Xing, et autres
Publié: (2026)
par: Han, Xing, et autres
Publié: (2026)
Compression Scaling Laws:Unifying Sparsity and Quantization
par: Frantar, Elias, et autres
Publié: (2025)
par: Frantar, Elias, et autres
Publié: (2025)
Scaling Laws of Graph Neural Networks for Atomistic Materials Modeling
par: Li, Chaojian, et autres
Publié: (2025)
par: Li, Chaojian, et autres
Publié: (2025)
Configuration-to-Performance Scaling Law with Neural Ansatz
par: Zhang, Huaqing, et autres
Publié: (2026)
par: Zhang, Huaqing, et autres
Publié: (2026)
Towards Neural Scaling Laws on Graphs
par: Liu, Jingzhe, et autres
Publié: (2024)
par: Liu, Jingzhe, et autres
Publié: (2024)
On the Optimizer Dependence of Neural Scaling Laws
par: Ramani, Vansh, et autres
Publié: (2026)
par: Ramani, Vansh, et autres
Publié: (2026)
Explaining Neural Scaling Laws
par: Bahri, Yasaman, et autres
Publié: (2021)
par: Bahri, Yasaman, et autres
Publié: (2021)
Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks
par: Lee, Dongwoo, et autres
Publié: (2025)
par: Lee, Dongwoo, et autres
Publié: (2025)
Neural Scaling Laws for Deep Regression
par: Cadez, Tilen, et autres
Publié: (2025)
par: Cadez, Tilen, et autres
Publié: (2025)
Scaling Laws for Neural Material Models
par: Trikha, Akshay, et autres
Publié: (2025)
par: Trikha, Akshay, et autres
Publié: (2025)
Information-Theoretic Foundations for Neural Scaling Laws
par: Jeon, Hong Jun, et autres
Publié: (2024)
par: Jeon, Hong Jun, et autres
Publié: (2024)
Scaling Laws and In-Context Learning: A Unified Theoretical Framework
par: Mehta, Sushant, et autres
Publié: (2025)
par: Mehta, Sushant, et autres
Publié: (2025)
How to Upscale Neural Networks with Scaling Law? A Survey and Practical Guidelines
par: Sengupta, Ayan, et autres
Publié: (2025)
par: Sengupta, Ayan, et autres
Publié: (2025)
Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study
par: Liu, Hao, et autres
Publié: (2024)
par: Liu, Hao, et autres
Publié: (2024)
Renormalizable Spectral-Shell Dynamics as the Origin of Neural Scaling Laws
par: Zhang, Yizhou
Publié: (2025)
par: Zhang, Yizhou
Publié: (2025)
Complexity Scaling Laws for Neural Models using Combinatorial Optimization
par: Weissman, Lowell, et autres
Publié: (2025)
par: Weissman, Lowell, et autres
Publié: (2025)
On Neural Scaling Laws for Weather Emulation through Continual Training
par: Subramanian, Shashank, et autres
Publié: (2026)
par: Subramanian, Shashank, et autres
Publié: (2026)
Unifying Learning Dynamics and Generalization in Transformers Scaling Law
par: Yang, Chiwun
Publié: (2025)
par: Yang, Chiwun
Publié: (2025)
Uncovering Latent Memories: Assessing Data Leakage and Memorization Patterns in Frontier AI Models
par: Duan, Sunny, et autres
Publié: (2024)
par: Duan, Sunny, et autres
Publié: (2024)
AlphaZero Neural Scaling and Zipf's Law: a Tale of Board Games and Power Laws
par: Neumann, Oren, et autres
Publié: (2024)
par: Neumann, Oren, et autres
Publié: (2024)
Scaling Laws are Redundancy Laws
par: Bi, Yuda, et autres
Publié: (2025)
par: Bi, Yuda, et autres
Publié: (2025)
The Blessing of Dimensionality in LLM Fine-tuning: A Variance-Curvature Perspective
par: Liang, Qiyao, et autres
Publié: (2026)
par: Liang, Qiyao, et autres
Publié: (2026)
Neural Scaling Laws Rooted in the Data Distribution
par: Brill, Ari
Publié: (2024)
par: Brill, Ari
Publié: (2024)
A Dynamical Model of Neural Scaling Laws
par: Bordelon, Blake, et autres
Publié: (2024)
par: Bordelon, Blake, et autres
Publié: (2024)
Documents similaires
-
Breaking Neural Network Scaling Laws with Modularity
par: Boopathy, Akhilan, et autres
Publié: (2024) -
Towards Exact Computation of Inductive Bias
par: Boopathy, Akhilan, et autres
Publié: (2024) -
Resampling-free Particle Filters in High-dimensions
par: Boopathy, Akhilan, et autres
Publié: (2024) -
Permutation Invariant Learning with High-Dimensional Particle Filters
par: Boopathy, Akhilan, et autres
Publié: (2024) -
Delay Embedding Theory of Neural Sequence Models
par: Ostrow, Mitchell, et autres
Publié: (2024)