Buchumschlag

Gradient Descent as a Shrinkage Operator for Spectral Bias

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Lucey, Simon
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

From Tables to Signals: Revealing Spectral Adaptivity in TabPFN
von: Zheng, Jianqiao, et al.
Veröffentlicht: (2025)

Inductive Gradient Adjustment For Spectral Bias In Implicit Neural Representations
von: Shi, Kexuan, et al.
Veröffentlicht: (2024)

Rethinking the Role of Spatial Mixing
von: Cazenavette, George, et al.
Veröffentlicht: (2025)

Leaner Transformers: More Heads, Less Depth
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2025)

From Activation to Initialization: Scaling Insights for Optimizing Neural Fields
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2024)

Preconditioners for the Stochastic Training of Neural Fields
von: Chng, Shin-Fang, et al.
Veröffentlicht: (2024)

Always Skip Attention
von: Ji, Yiping, et al.
Veröffentlicht: (2025)

Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions
von: Vitry, Thomas, et al.
Veröffentlicht: (2026)

Rethinking Attention: Polynomial Alternatives to Softmax in Transformers
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2024)

D'OH: Decoder-Only Random Hypernetworks for Implicit Neural Representations
von: Gordon, Cameron, et al.
Veröffentlicht: (2024)

Stop Walking in Circles! Bailing Out Early in Projected Gradient Descent
von: Doldo, Philip, et al.
Veröffentlicht: (2025)

Inverse-Free Fast Natural Gradient Descent Method for Deep Learning
von: Ou, Xinwei, et al.
Veröffentlicht: (2024)

On the Relationship Between Double Descent of CNNs and Shape/Texture Bias Under Learning Process
von: Iwase, Shun, et al.
Veröffentlicht: (2025)

3D-LFM: Lifting Foundation Model
von: Dabhi, Mosam, et al.
Veröffentlicht: (2023)

Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients
von: Krahn, Maximilian, et al.
Veröffentlicht: (2023)

Natural Gradient Descent for Online Continual Learning
von: Khawand, Joe, et al.
Veröffentlicht: (2026)

Mitigating Visual Knowledge Forgetting in MLLM Instruction-tuning via Modality-decoupled Gradient Descent
von: Wu, Junda, et al.
Veröffentlicht: (2025)

Integrating Intermediate Layer Optimization and Projected Gradient Descent for Solving Inverse Problems with Diffusion Models
von: Zheng, Yang, et al.
Veröffentlicht: (2025)

Spectral Gradient Surgery for Domain-Generalizable Dataset Distillation
von: Oh, Minyoung, et al.
Veröffentlicht: (2026)

LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning
von: Guo, Zixian, et al.
Veröffentlicht: (2024)

Flatness and Gradient Alignment Are Both Necessary: Spectral-Aware Gradient-Aligned Exploration for Multi-Distribution Learning
von: Ballas, Aristotelis, et al.
Veröffentlicht: (2026)

Designing Instance-Level Sampling Schedules via REINFORCE with James-Stein Shrinkage
von: Yu, Peiyu, et al.
Veröffentlicht: (2025)

Efficient Learning With Sine-Activated Low-rank Matrices
von: Ji, Yiping, et al.
Veröffentlicht: (2024)

Coordinate Descent for Network Linearization
von: Rakhlin, Vlad, et al.
Veröffentlicht: (2025)

Bias Analysis in Unconditional Image Generative Models
von: Zhang, Xiaofeng, et al.
Veröffentlicht: (2025)

On Spectral Properties of Gradient-based Explanation Methods
von: Mehrpanah, Amir, et al.
Veröffentlicht: (2025)

Schrodinger AI: A Unified Spectral-Dynamical Framework for Classification, Reasoning, and Operator-Based Generalization
von: Nguyen, Truong Son
Veröffentlicht: (2025)

Understanding the Double Descent Phenomenon in Deep Learning
von: Lafon, Marc, et al.
Veröffentlicht: (2024)

Milestone Determination for Autonomous Railway Operation
von: Hunter, Josh, et al.
Veröffentlicht: (2025)

Bias In, Bias Out? Finding Unbiased Subnetworks in Vanilla Models
von: Matos, Ivan Luiz De Moura, et al.
Veröffentlicht: (2026)

Two Effects, One Trigger: On the Modality Gap, Object Bias, and Information Imbalance in Contrastive Vision-Language Models
von: Schrodi, Simon, et al.
Veröffentlicht: (2024)

Anchor-based Multi-view Subspace Clustering with Hierarchical Feature Descent
von: Ou, Qiyuan, et al.
Veröffentlicht: (2023)

How I Met Your Bias: Investigating Bias Amplification in Diffusion Models
von: Roos, Nathan, et al.
Veröffentlicht: (2025)

It's Not a Lottery, It's a Race: Understanding How Gradient Descent Adapts the Network's Capacity to the Task
von: Pinson, Hannah
Veröffentlicht: (2026)

Arc Gradient Descent: A Geometrically Motivated Gradient Descent-based Optimiser with Phase-Aware, User-Controlled Step Dynamics (proof-of-concept)
von: Verma, Nikhil, et al.
Veröffentlicht: (2025)

CityGuard: Graph-Aware Private Descriptors for Bias-Resilient Identity Search Across Urban Cameras
von: Fu, Rong, et al.
Veröffentlicht: (2026)

TimberVision: A Multi-Task Dataset and Framework for Log-Component Segmentation and Tracking in Autonomous Forestry Operations
von: Steininger, Daniel, et al.
Veröffentlicht: (2025)

Deep Spectral Clustering via Joint Spectral Embedding and Kmeans
von: Guo, Wengang, et al.
Veröffentlicht: (2024)

Hierarchical Simplicity Bias of Neural Networks
von: Du, Zhehang
Veröffentlicht: (2023)

Spectral Image Tokenizer
von: Esteves, Carlos, et al.
Veröffentlicht: (2024)