Buchumschlag

HessFormer: Hessians at Foundation Scale

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Granziol, Diego
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Hessian Spectral Analysis at Foundation Model Scale
von: Granziol, Diego, et al.
Veröffentlicht: (2026)

Safety-Efficacy Trade Off: Robustness against Data-Poisoning
von: Granziol, Diego
Veröffentlicht: (2026)

A Linear Approach to Data Poisoning
von: Flynn, Donald, et al.
Veröffentlicht: (2025)

Hess-MC2: Sequential Monte Carlo Squared using Hessian Information and Second Order Proposals
von: Murphy, Joshua, et al.
Veröffentlicht: (2025)

Compute-Optimal LLMs Provably Generalize Better With Scale
von: Finzi, Marc, et al.
Veröffentlicht: (2025)

Universal characteristics of deep neural network loss surfaces from random matrix theory
von: Baskerville, Nicholas P, et al.
Veröffentlicht: (2022)

Connecting Parameter Magnitudes and Hessian Eigenspaces at Scale using Sketched Methods
von: Fernandez, Andres, et al.
Veröffentlicht: (2025)

TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters
von: Wang, Haiyang, et al.
Veröffentlicht: (2024)

First-ish Order Methods: Hessian-aware Scalings of Gradient Descent
von: Smee, Oscar, et al.
Veröffentlicht: (2025)

Decision ConvFormer: Local Filtering in MetaFormer is Sufficient for Decision Making
von: Kim, Jeonghye, et al.
Veröffentlicht: (2023)

Hessian QM9: A quantum chemistry database of molecular Hessians in implicit solvents
von: Williams, Nicholas J., et al.
Veröffentlicht: (2024)

Depth, Not Data: An Analysis of Hessian Spectral Bifurcation
von: Deng, Shenyang, et al.
Veröffentlicht: (2026)

The Hessian of tall-skinny networks is easy to invert
von: Rahimi, Ali
Veröffentlicht: (2026)

Hessian-Informed Flow Matching
von: Sprague, Christopher Iliffe, et al.
Veröffentlicht: (2024)

E2Former: An Efficient and Equivariant Transformer with Linear-Scaling Tensor Products
von: Li, Yunyang, et al.
Veröffentlicht: (2025)

Bayesian Influence Functions for Hessian-Free Data Attribution
von: Kreer, Philipp Alexander, et al.
Veröffentlicht: (2025)

Neglected Hessian component explains mysteries in Sharpness regularization
von: Dauphin, Yann N., et al.
Veröffentlicht: (2024)

Revisit, Extend, and Enhance Hessian-Free Influence Functions
von: Yang, Ziao, et al.
Veröffentlicht: (2024)

scpFormer: A Foundation Model for Unified Representation and Integration of the Single-Cell Proteomics
von: Zhou, Qifeng, et al.
Veröffentlicht: (2026)

Hessian-Free Online Certified Unlearning
von: Qiao, Xinbao, et al.
Veröffentlicht: (2024)

Stochastic Hessian Fittings with Lie Groups
von: Li, Xi-Lin
Veröffentlicht: (2024)

Moment Alignment: Unifying Gradient and Hessian Matching for Domain Generalization
von: Chen, Yuen, et al.
Veröffentlicht: (2025)

A Hessian-informed hyperparameter optimization for differential learning rate
von: Xu, Shiyun, et al.
Veröffentlicht: (2025)

The Expected Loss of Preconditioned Langevin Dynamics Reveals the Hessian Rank
von: Bar, Amitay, et al.
Veröffentlicht: (2024)

Local Hessian Spectral Filtering for Robust Intrinsic Dimension Estimation
von: Osada, Genki
Veröffentlicht: (2026)

Revisiting inverse Hessian vector products for calculating influence functions
von: Klochkov, Yegor, et al.
Veröffentlicht: (2024)

Hessian Surgery: Class-Targeted Post-Hoc Rebalancing via Hessian Spike Perturbation
von: Vigna, Hugo, et al.
Veröffentlicht: (2026)

Community detection with the Bethe-Hessian
von: Stephan, Ludovic, et al.
Veröffentlicht: (2024)

Gradient-Normalized Smoothness for Optimization with Approximate Hessians
von: Semenov, Andrei, et al.
Veröffentlicht: (2025)

Towards Quantifying the Hessian Structure of Neural Networks
von: Dong, Zhaorui, et al.
Veröffentlicht: (2025)

Better Hessians Matter: Studying the Impact of Curvature Approximations in Influence Functions
von: Hong, Steve, et al.
Veröffentlicht: (2025)

Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes
von: Kiselev, Nikita, et al.
Veröffentlicht: (2024)

Foundation Models for Clinical Records at Health System Scale
von: Rajamohan, Haresh Rengaraj, et al.
Veröffentlicht: (2025)

Towards Fast, Specialized Machine Learning Force Fields: Distilling Foundation Models via Energy Hessians
von: Amin, Ishan, et al.
Veröffentlicht: (2025)

TeamFormer: Shallow Parallel Transformers with Progressive Approximation
von: Wang, Wei, et al.
Veröffentlicht: (2025)

RiemannFormer: A Framework for Attention in Curved Spaces
von: Ji, Zhongping
Veröffentlicht: (2025)

CogFormer: Learn All Your Models Once
von: Huang, Jerry M., et al.
Veröffentlicht: (2026)

CycleFormer : TSP Solver Based on Language Modeling
von: Yook, Jieun, et al.
Veröffentlicht: (2024)

WaveFormer: Wavelet Embedding Transformer for Biomedical Signals
von: Irani, Habib, et al.
Veröffentlicht: (2026)

Adaptive parameter-efficient fine-tuning via Hessian-informed subset selection
von: Xu, Shiyun, et al.
Veröffentlicht: (2025)