Buchumschlag

Hessian Spectral Analysis at Foundation Model Scale

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Granziol, Diego, Juarev, Khurshid
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

HessFormer: Hessians at Foundation Scale
von: Granziol, Diego
Veröffentlicht: (2025)

Safety-Efficacy Trade Off: Robustness against Data-Poisoning
von: Granziol, Diego
Veröffentlicht: (2026)

A Linear Approach to Data Poisoning
von: Flynn, Donald, et al.
Veröffentlicht: (2025)

Depth, Not Data: An Analysis of Hessian Spectral Bifurcation
von: Deng, Shenyang, et al.
Veröffentlicht: (2026)

Compute-Optimal LLMs Provably Generalize Better With Scale
von: Finzi, Marc, et al.
Veröffentlicht: (2025)

Local Hessian Spectral Filtering for Robust Intrinsic Dimension Estimation
von: Osada, Genki
Veröffentlicht: (2026)

Universal characteristics of deep neural network loss surfaces from random matrix theory
von: Baskerville, Nicholas P, et al.
Veröffentlicht: (2022)

Connecting Parameter Magnitudes and Hessian Eigenspaces at Scale using Sketched Methods
von: Fernandez, Andres, et al.
Veröffentlicht: (2025)

Olivia: Harmonizing Time Series Foundation Models with Power Spectral Density
von: Fei, Jingru, et al.
Veröffentlicht: (2026)

Property-Driven Evaluation of GNN Expressiveness at Scale: Datasets, Framework, and Study
von: Che, Sicong, et al.
Veröffentlicht: (2026)

First-ish Order Methods: Hessian-aware Scalings of Gradient Descent
von: Smee, Oscar, et al.
Veröffentlicht: (2025)

Comparative Evaluation of Applicability Domain Definition Methods for Regression Models
von: Khurshid, Shakir, et al.
Veröffentlicht: (2024)

Foundation Models for Clinical Records at Health System Scale
von: Rajamohan, Haresh Rengaraj, et al.
Veröffentlicht: (2025)

What Does It Mean to Be a Transformer? Insights from a Theoretical Hessian Analysis
von: Ormaniec, Weronika, et al.
Veröffentlicht: (2024)

Time Series Foundation Models as Strong Baselines in Transportation Forecasting: A Large-Scale Benchmark Analysis
von: Yanes-Pulido, Javier, et al.
Veröffentlicht: (2026)

SpecTM: Spectral Targeted Masking for Trustworthy Foundation Models
von: Imtiaz, Syed Usama, et al.
Veröffentlicht: (2026)

Billion-Scale Graph Foundation Models
von: Bechler-Speicher, Maya, et al.
Veröffentlicht: (2026)

LSM-MS2: A Foundation Model Bridging Spectral Identification and Biological Interpretation
von: Asher, Gabriel, et al.
Veröffentlicht: (2025)

Provable Bounds on the Hessian of Neural Networks: Derivative-Preserving Reachability Analysis
von: Sharifi, Sina, et al.
Veröffentlicht: (2024)

Hessian QM9: A quantum chemistry database of molecular Hessians in implicit solvents
von: Williams, Nicholas J., et al.
Veröffentlicht: (2024)

Towards Fast, Specialized Machine Learning Force Fields: Distilling Foundation Models via Energy Hessians
von: Amin, Ishan, et al.
Veröffentlicht: (2025)

The Hessian of tall-skinny networks is easy to invert
von: Rahimi, Ali
Veröffentlicht: (2026)

Variance-Optimal Arm Selection: Misallocation Minimization and Best Arm Identification
von: Khurshid, Sabrina, et al.
Veröffentlicht: (2025)

Hessian-Informed Flow Matching
von: Sprague, Christopher Iliffe, et al.
Veröffentlicht: (2024)

A Hessian-Aware Stochastic Differential Equation for Modelling SGD
von: Li, Xiang, et al.
Veröffentlicht: (2024)

Multi-Scale Finetuning for Encoder-based Time Series Foundation Models
von: Qiao, Zhongzheng, et al.
Veröffentlicht: (2025)

Neglected Hessian component explains mysteries in Sharpness regularization
von: Dauphin, Yann N., et al.
Veröffentlicht: (2024)

Revisit, Extend, and Enhance Hessian-Free Influence Functions
von: Yang, Ziao, et al.
Veröffentlicht: (2024)

Bayesian Influence Functions for Hessian-Free Data Attribution
von: Kreer, Philipp Alexander, et al.
Veröffentlicht: (2025)

Spectral Analysis of Diffusion Models with Application to Schedule Design
von: Benita, Roi, et al.
Veröffentlicht: (2025)

Aperiodic and Low-Frequency Spectral Bias in Reconstruction based EEG Foundation Models
von: Kommineni, Aditya, et al.
Veröffentlicht: (2026)

Scaling Wearable Foundation Models
von: Narayanswamy, Girish, et al.
Veröffentlicht: (2024)

Spectral Survival Analysis
von: Shi, Chengzhi, et al.
Veröffentlicht: (2025)

Hessian-Free Online Certified Unlearning
von: Qiao, Xinbao, et al.
Veröffentlicht: (2024)

Stochastic Hessian Fittings with Lie Groups
von: Li, Xi-Lin
Veröffentlicht: (2024)

GP-FL: Model-Based Hessian Estimation for Second-Order Over-the-Air Federated Learning
von: Hamidi, Shayan Mohajer, et al.
Veröffentlicht: (2024)

SwiftPrune: Hessian-Free Weight Pruning for Large Language Models
von: Kang, Yuhan, et al.
Veröffentlicht: (2025)

Diversified Scaling Inference in Time Series Foundation Models
von: Hua, Ruijin, et al.
Veröffentlicht: (2026)

OSF: On Pre-training and Scaling of Sleep Foundation Models
von: Shuai, Zitao, et al.
Veröffentlicht: (2026)

Tabular Foundation Models Can Do Survival Analysis
von: Kim, Da In, et al.
Veröffentlicht: (2026)