Buchumschlag

Better Hessians Matter: Studying the Impact of Curvature Approximations in Influence Functions

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hong, Steve, Eschenhagen, Runa, Mlodozeniec, Bruno, Turner, Richard
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Influence Functions for Scalable Data Attribution in Diffusion Models
von: Mlodozeniec, Bruno, et al.
Veröffentlicht: (2024)

Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures
von: Eschenhagen, Runa, et al.
Veröffentlicht: (2023)

Kronecker-factored Approximate Curvature (KFAC) From Scratch
von: Dangel, Felix, et al.
Veröffentlicht: (2025)

Spectral-factorized Positive-definite Curvature Learning for NN Training
von: Lin, Wu, et al.
Veröffentlicht: (2025)

Probabilistic Modelling is Sufficient for Causal Inference
von: Mlodozeniec, Bruno, et al.
Veröffentlicht: (2025)

Position: Curvature Matrices Should Be Democratized via Linear Operators
von: Dangel, Felix, et al.
Veröffentlicht: (2025)

Distributional Training Data Attribution: What do Influence Functions Sample?
von: Mlodozeniec, Bruno, et al.
Veröffentlicht: (2025)

Can We Remove the Square-Root in Adaptive Gradient Methods? A Second-Order Perspective
von: Lin, Wu, et al.
Veröffentlicht: (2024)

Incremental Transformer Neural Processes
von: Mortimer, Philip, et al.
Veröffentlicht: (2026)

Structured Inverse-Free Natural Gradient: Memory-Efficient & Numerically-Stable KFAC
von: Lin, Wu, et al.
Veröffentlicht: (2023)

Purifying Shampoo: Investigating Shampoo's Heuristics by Decomposing its Preconditioner
von: Eschenhagen, Runa, et al.
Veröffentlicht: (2025)

Clarifying Shampoo: Adapting Spectral Descent to Stochasticity and the Parameter Trajectory
von: Eschenhagen, Runa, et al.
Veröffentlicht: (2026)

Denoising Diffusion Probabilistic Models in Six Simple Steps
von: Turner, Richard E., et al.
Veröffentlicht: (2024)

Bayesian Influence Functions for Hessian-Free Data Attribution
von: Kreer, Philipp Alexander, et al.
Veröffentlicht: (2025)

Revisit, Extend, and Enhance Hessian-Free Influence Functions
von: Yang, Ziao, et al.
Veröffentlicht: (2024)

Understanding and Improving Shampoo and SOAP via Kullback-Leibler Minimization
von: Lin, Wu, et al.
Veröffentlicht: (2025)

Better Training Data Attribution via Better Inverse Hessian-Vector Products
von: Wang, Andrew, et al.
Veröffentlicht: (2025)

Revisiting Zeroth-Order Hessian Approximation: A Single-Step Policy Optimization Lens
von: Qiu, Junbin, et al.
Veröffentlicht: (2026)

A Generative Model of Symmetry Transformations
von: Allingham, James Urquhart, et al.
Veröffentlicht: (2024)

Warm Start Marginal Likelihood Optimisation for Iterative Gaussian Processes
von: Lin, Jihao Andreas, et al.
Veröffentlicht: (2024)

Implicit meta-learning may lead language models to trust more reliable sources
von: Krasheninnikov, Dmitrii, et al.
Veröffentlicht: (2023)

Gradient-Normalized Smoothness for Optimization with Approximate Hessians
von: Semenov, Andrei, et al.
Veröffentlicht: (2025)

Rotary Position Encodings for Graphs
von: Reid, Isaac, et al.
Veröffentlicht: (2025)

Improving Linear System Solvers for Hyperparameter Optimisation in Iterative Gaussian Processes
von: Lin, Jihao Andreas, et al.
Veröffentlicht: (2024)

FAGH: Accelerating Federated Learning with Approximated Global Hessian
von: Sen, Mrinmay, et al.
Veröffentlicht: (2024)

Subspace-based Approximate Hessian Method for Zeroth-Order Optimization
von: Kim, Dongyoon, et al.
Veröffentlicht: (2025)

Revisiting Scalable Hessian Diagonal Approximations for Applications in Reinforcement Learning
von: Elsayed, Mohamed, et al.
Veröffentlicht: (2024)

Approximately Equivariant Neural Processes
von: Ashman, Matthew, et al.
Veröffentlicht: (2024)

Projected Hessian Learning: Fast Curvature Supervision for Accurate Machine-Learning Interatomic Potentials
von: Rodriguez, Austin, et al.
Veröffentlicht: (2026)

Mimicking Better by Matching the Approximate Action Distribution
von: Ramos, João A. Cândido, et al.
Veröffentlicht: (2023)

Completed Hyperparameter Transfer across Modules, Width, Depth, Batch and Duration
von: Mlodozeniec, Bruno, et al.
Veröffentlicht: (2025)

SASSHA: Sharpness-aware Adaptive Second-order Optimization with Stable Hessian Approximation
von: Shin, Dahun, et al.
Veröffentlicht: (2025)

Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes
von: Kiselev, Nikita, et al.
Veröffentlicht: (2024)

The Approximate Fisher Influence Function: Faster Estimation of Data Influence in Statistical Models
von: Lev, Omri, et al.
Veröffentlicht: (2024)

Closing the Curvature Gap: Full Transformer Hessians and Their Implications for Scaling Laws
von: Petrov, Egor, et al.
Veröffentlicht: (2025)

MAC: An Efficient Gradient Preconditioning using Mean Activation Approximated Curvature
von: Seung, Hyunseok, et al.
Veröffentlicht: (2025)

Efficient Curvature-Aware Hypergradient Approximation for Bilevel Optimization
von: Dong, Youran, et al.
Veröffentlicht: (2025)

Unbiased Online Curvature Approximation for Regularized Graph Continual Learning
von: Yin, Jie, et al.
Veröffentlicht: (2025)

Kronecker-Factored Approximate Curvature for Physics-Informed Neural Networks
von: Dangel, Felix, et al.
Veröffentlicht: (2024)

Online estimation of the inverse of the Hessian for stochastic optimization with application to universal stochastic Newton algorithms
von: Godichon-Baggioni, Antoine, et al.
Veröffentlicht: (2024)