Salvato in:
| Autori principali: | Kiselev, Nikita, Grabovoy, Andrey |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2026
|
| Soggetti: | |
| Accesso online: | https://arxiv.org/abs/2604.14870 |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes
di: Kiselev, Nikita, et al.
Pubblicazione: (2024)
di: Kiselev, Nikita, et al.
Pubblicazione: (2024)
Closing the Curvature Gap: Full Transformer Hessians and Their Implications for Scaling Laws
di: Petrov, Egor, et al.
Pubblicazione: (2025)
di: Petrov, Egor, et al.
Pubblicazione: (2025)
A Scalable Measure of Loss Landscape Curvature for Analyzing the Training Dynamics of LLMs
di: Kalra, Dayal Singh, et al.
Pubblicazione: (2026)
di: Kalra, Dayal Singh, et al.
Pubblicazione: (2026)
On the Superlinear Relationship between SGD Noise Covariance and Loss Landscape Curvature
di: Zhang, Yikuan, et al.
Pubblicazione: (2026)
di: Zhang, Yikuan, et al.
Pubblicazione: (2026)
When Losses Align: Gradient-Based Composite Loss Weighting for Efficient Pretraining
di: Karpukhin, Ivan, et al.
Pubblicazione: (2026)
di: Karpukhin, Ivan, et al.
Pubblicazione: (2026)
Curvature in the Looking-Glass: Optimal Methods to Exploit Curvature of Expectation in the Loss Landscape
di: Duersch, Jed A., et al.
Pubblicazione: (2024)
di: Duersch, Jed A., et al.
Pubblicazione: (2024)
Stable Coresets via Posterior Sampling: Aligning Induced and Full Loss Landscapes
di: Chang, Wei-Kai, et al.
Pubblicazione: (2025)
di: Chang, Wei-Kai, et al.
Pubblicazione: (2025)
N-Gram Induction Heads for In-Context RL: Improving Stability and Reducing Data Needs
di: Zisman, Ilya, et al.
Pubblicazione: (2024)
di: Zisman, Ilya, et al.
Pubblicazione: (2024)
Aligning Distributionally Robust Optimization with Practical Deep Learning Needs
di: Feoktistov, Dmitrii, et al.
Pubblicazione: (2025)
di: Feoktistov, Dmitrii, et al.
Pubblicazione: (2025)
Directions of Curvature as an Explanation for Loss of Plasticity
di: Lewandowski, Alex, et al.
Pubblicazione: (2023)
di: Lewandowski, Alex, et al.
Pubblicazione: (2023)
Sensitivity Analysis On Loss Landscape
di: Faroz, Salman
Pubblicazione: (2024)
di: Faroz, Salman
Pubblicazione: (2024)
Identifying Sparsely Active Circuits Through Local Loss Landscape Decomposition
di: Chrisman, Brianna, et al.
Pubblicazione: (2025)
di: Chrisman, Brianna, et al.
Pubblicazione: (2025)
Curvature Clues: Decoding Deep Learning Privacy with Input Loss Curvature
di: Ravikumar, Deepak, et al.
Pubblicazione: (2024)
di: Ravikumar, Deepak, et al.
Pubblicazione: (2024)
There is a Singularity in the Loss Landscape
di: Lowell, Mark
Pubblicazione: (2022)
di: Lowell, Mark
Pubblicazione: (2022)
From Memorization to Reasoning in the Spectrum of Loss Curvature
di: Merullo, Jack, et al.
Pubblicazione: (2025)
di: Merullo, Jack, et al.
Pubblicazione: (2025)
Paths and Ambient Spaces in Neural Loss Landscapes
di: Dold, Daniel, et al.
Pubblicazione: (2025)
di: Dold, Daniel, et al.
Pubblicazione: (2025)
Using Degeneracy in the Loss Landscape for Mechanistic Interpretability
di: Bushnaq, Lucius, et al.
Pubblicazione: (2024)
di: Bushnaq, Lucius, et al.
Pubblicazione: (2024)
LossLens: Diagnostics for Machine Learning through Loss Landscape Visual Analytics
di: Xie, Tiankai, et al.
Pubblicazione: (2024)
di: Xie, Tiankai, et al.
Pubblicazione: (2024)
Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms
di: Petersen, Felix, et al.
Pubblicazione: (2024)
di: Petersen, Felix, et al.
Pubblicazione: (2024)
Landscaper: Understanding Loss Landscapes Through Multi-Dimensional Topological Analysis
di: Chen, Jiaqing, et al.
Pubblicazione: (2026)
di: Chen, Jiaqing, et al.
Pubblicazione: (2026)
Neural machine translation system for Lezgian, Russian and Azerbaijani languages
di: Asvarov, Alidar, et al.
Pubblicazione: (2024)
di: Asvarov, Alidar, et al.
Pubblicazione: (2024)
A Unified Noise-Curvature View of Loss of Trainability
di: Baveja, Gunbir Singh, et al.
Pubblicazione: (2025)
di: Baveja, Gunbir Singh, et al.
Pubblicazione: (2025)
Visualization and Analysis of the Loss Landscape in Graph Neural Networks
di: Moustafa, Samir, et al.
Pubblicazione: (2025)
di: Moustafa, Samir, et al.
Pubblicazione: (2025)
Probing Implicit Bias in Semi-gradient Q-learning: Visualizing the Effective Loss Landscapes via the Fokker--Planck Equation
di: Yin, Shuyu, et al.
Pubblicazione: (2024)
di: Yin, Shuyu, et al.
Pubblicazione: (2024)
Visualizing Loss Functions as Topological Landscape Profiles
di: Geniesse, Caleb, et al.
Pubblicazione: (2024)
di: Geniesse, Caleb, et al.
Pubblicazione: (2024)
On Measuring Localization of Shortcuts in Deep Networks
di: Tsoy, Nikita, et al.
Pubblicazione: (2025)
di: Tsoy, Nikita, et al.
Pubblicazione: (2025)
Efficient Sketches for Training Data Attribution and Studying the Loss Landscape
di: Schioppa, Andrea
Pubblicazione: (2024)
di: Schioppa, Andrea
Pubblicazione: (2024)
On the Hyperparameter Loss Landscapes of Machine Learning Models: An Exploratory Study
di: Huang, Mingyu, et al.
Pubblicazione: (2023)
di: Huang, Mingyu, et al.
Pubblicazione: (2023)
Visualizing, Rethinking, and Mining the Loss Landscape of Deep Neural Networks
di: Xu, Yichu, et al.
Pubblicazione: (2024)
di: Xu, Yichu, et al.
Pubblicazione: (2024)
Unveiling the Basin-Like Loss Landscape in Large Language Models
di: Chen, Huanran, et al.
Pubblicazione: (2025)
di: Chen, Huanran, et al.
Pubblicazione: (2025)
Gradient Aligned Regression via Pairwise Losses
di: Zhu, Dixian, et al.
Pubblicazione: (2024)
di: Zhu, Dixian, et al.
Pubblicazione: (2024)
Effective Structural Encodings via Local Curvature Profiles
di: Fesser, Lukas, et al.
Pubblicazione: (2023)
di: Fesser, Lukas, et al.
Pubblicazione: (2023)
A Minimal Bifurcation Model of Load Imbalance in a Softmax Mixture-of-Experts Router
di: Kiselev, O. M.
Pubblicazione: (2026)
di: Kiselev, O. M.
Pubblicazione: (2026)
Model Merging on Loss Landscape: A Geometry Perspective
di: Lu, Juanwu, et al.
Pubblicazione: (2026)
di: Lu, Juanwu, et al.
Pubblicazione: (2026)
Challenges in Training PINNs: A Loss Landscape Perspective
di: Rathore, Pratik, et al.
Pubblicazione: (2024)
di: Rathore, Pratik, et al.
Pubblicazione: (2024)
Evaluating Loss Landscapes from a Topology Perspective
di: Xie, Tiankai, et al.
Pubblicazione: (2024)
di: Xie, Tiankai, et al.
Pubblicazione: (2024)
Resource Constrained U-Net for Extraction of Retinal Vascular Trees
di: Kiselev, Georgiy
Pubblicazione: (2024)
di: Kiselev, Georgiy
Pubblicazione: (2024)
On the Loss Landscape Geometry of Regularized Deep Matrix Factorization: Uniqueness and Sharpness
di: Kamber, Anil, et al.
Pubblicazione: (2026)
di: Kamber, Anil, et al.
Pubblicazione: (2026)
Refined Risk Bounds for Unbounded Losses via Transductive Priors
di: Qian, Jian, et al.
Pubblicazione: (2024)
di: Qian, Jian, et al.
Pubblicazione: (2024)
Sharp Minima Can Generalize: A Loss Landscape Perspective On Data
di: Fan, Raymond, et al.
Pubblicazione: (2025)
di: Fan, Raymond, et al.
Pubblicazione: (2025)
Documenti analoghi
-
Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes
di: Kiselev, Nikita, et al.
Pubblicazione: (2024) -
Closing the Curvature Gap: Full Transformer Hessians and Their Implications for Scaling Laws
di: Petrov, Egor, et al.
Pubblicazione: (2025) -
A Scalable Measure of Loss Landscape Curvature for Analyzing the Training Dynamics of LLMs
di: Kalra, Dayal Singh, et al.
Pubblicazione: (2026) -
On the Superlinear Relationship between SGD Noise Covariance and Loss Landscape Curvature
di: Zhang, Yikuan, et al.
Pubblicazione: (2026) -
When Losses Align: Gradient-Based Composite Loss Weighting for Efficient Pretraining
di: Karpukhin, Ivan, et al.
Pubblicazione: (2026)