Buchumschlag

Random Matrix Theory for Deep Learning: Beyond Eigenvalues of Linear Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liao, Zhenyu, Mahoney, Michael W.
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Recent and Upcoming Developments in Randomized Numerical Linear Algebra for Machine Learning
von: Dereziński, Michał, et al.
Veröffentlicht: (2024)

Generalization in Representation Models via Random Matrix Theory: Application to Recurrent Networks
von: Moakher, Yessin, et al.
Veröffentlicht: (2025)

Fundamental Bias in Inverting Random Sampling Matrices with Application to Sub-sampled Newton
von: Niu, Chengmei, et al.
Veröffentlicht: (2025)

Enhancing Accuracy in Deep Learning Using Random Matrix Theory
von: Berlyand, Leonid, et al.
Veröffentlicht: (2023)

Beyond Accuracy: A Unified Random Matrix Theory Diagnostic Framework for Crash Classification Models
von: Shihab, Ibne Farabi, et al.
Veröffentlicht: (2026)

Spectral Geometry for Deep Learning: Compression and Hallucination Detection via Random Matrix Theory
von: Ettori, Davide
Veröffentlicht: (2026)

A Random Matrix Perspective of Echo State Networks: From Precise Bias--Variance Characterization to Optimal Regularization
von: Moakher, Yessin, et al.
Veröffentlicht: (2025)

Learning Dynamics of Deep Linear Networks Beyond the Edge of Stability
von: Ghosh, Avrajit, et al.
Veröffentlicht: (2025)

Towards Scalable and Versatile Weight Space Learning
von: Schürholt, Konstantin, et al.
Veröffentlicht: (2024)

Applications of Random Matrix Theory in Machine Learning and Brain Mapping
von: Lawrence, Katrina
Veröffentlicht: (2025)

Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models
von: Fang, Yuchen, et al.
Veröffentlicht: (2024)

A Random Matrix Theory Perspective on the Learning Dynamics of Multi-head Latent Attention
von: Jha, Nandan Kumar, et al.
Veröffentlicht: (2025)

On Reward Transferability in Adversarial Inverse Reinforcement Learning: Insights from Random Matrix Theory
von: Zhang, Yangchun, et al.
Veröffentlicht: (2024)

Models of Heavy-Tailed Mechanistic Universality
von: Hodgkinson, Liam, et al.
Veröffentlicht: (2025)

A Random Matrix Theory of Masked Self-Supervised Regression
von: Zurich, Arie Wortsman, et al.
Veröffentlicht: (2026)

Primality Testing via Circulant Matrix Eigenvalue Structure: A Novel Approach Using Cyclotomic Field Theory
von: Dinu, Marius-Constantin
Veröffentlicht: (2025)

AlphaPruning: Using Heavy-Tailed Self Regularization Theory for Improved Layer-wise Pruning of Large Language Models
von: Lu, Haiquan, et al.
Veröffentlicht: (2024)

HOPE for a Robust Parameterization of Long-memory State Space Models
von: Yu, Annan, et al.
Veröffentlicht: (2024)

A Random Matrix Theory Perspective on the Spectrum of Learned Features and Asymptotic Generalization Capabilities
von: Dandi, Yatin, et al.
Veröffentlicht: (2024)

Gradient-Based Multi-Objective Deep Learning: Algorithms, Theories, Applications, and Beyond
von: Chen, Weiyu, et al.
Veröffentlicht: (2025)

Uncertainty-Aware Diagnostics for Physics-Informed Machine Learning
von: Daniels, Mara, et al.
Veröffentlicht: (2025)

A Three-regime Model of Network Pruning
von: Zhou, Yefan, et al.
Veröffentlicht: (2023)

Analysis and Approximate Inference of Large Random Kronecker Graphs
von: Liao, Zhenyu, et al.
Veröffentlicht: (2023)

Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming
von: Na, Sen, et al.
Veröffentlicht: (2022)

Optimal Transfer Learning for Missing Not-at-Random Matrix Completion
von: Jalan, Akhil, et al.
Veröffentlicht: (2025)

Evaluating Singular Value Thresholds for DNN Weight Matrices based on Random Matrix Theory
von: Nishikawa, Kohei, et al.
Veröffentlicht: (2025)

Metric-Aware PCA as a Linear Instance of Geometric Deep Learning
von: Leznik, Michael
Veröffentlicht: (2026)

Physics-informed Gaussian Process Regression in Solving Eigenvalue Problem of Linear Operators
von: Bai, Tianming, et al.
Veröffentlicht: (2026)

Asymptotics of Random Feature Regression Beyond the Linear Scaling Regime
von: Hu, Hong, et al.
Veröffentlicht: (2024)

Structure and Redundancy in Large Language Models: A Spectral Study via Random Matrix Theory
von: Ettori, Davide
Veröffentlicht: (2026)

Randomness Helps Rigor: A Probabilistic Learning Rate Scheduler Bridging Theory and Deep Learning Practice
von: Devapriya, Dahlia, et al.
Veröffentlicht: (2024)

Debiasing Random Oblique Projections for Subsampled OLS and Fast CUR in High Dimensions
von: Niu, Chengmei, et al.
Veröffentlicht: (2026)

Analysing Multi-Task Regression via Random Matrix Theory with Application to Time Series Forecasting
von: Ilbert, Romain, et al.
Veröffentlicht: (2024)

Digital Twin Data Modelling by Randomized Orthogonal Decomposition and Deep Learning
von: Bistrian, Diana Alina, et al.
Veröffentlicht: (2022)

WaveCastNet: Rapid Wavefield Forecasting for Earthquake Early Warning via Deep Sequence to Sequence Learning
von: Lyu, Dongwei, et al.
Veröffentlicht: (2024)

The Weight Gram Matrix Captures Sequential Feature Linearization in Deep Networks
von: Cha, Taehun, et al.
Veröffentlicht: (2026)

Beyond Linear Approximations: A Novel Pruning Approach for Attention Matrix
von: Liang, Yingyu, et al.
Veröffentlicht: (2024)

Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning
von: Chen, Wuyang, et al.
Veröffentlicht: (2024)

Statistics of Min-max Normalized Eigenvalues in Random Matrices
von: Nakada, Hyakka, et al.
Veröffentlicht: (2025)

Deep Equilibrium Models are Almost Equivalent to Not-so-deep Explicit Models for High-dimensional Gaussian Mixtures
von: Ling, Zenan, et al.
Veröffentlicht: (2024)