A Minimalist Example of Edge-of-Stability and Progressive Sharpening
Fuente:
arXiv
Salvato in:
| Autori principali: | Liu, Liming, Zhang, Zixuan, Du, Simon, Zhao, Tuo |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2025
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
BackPlay: Head-Only Look-Back Self-Correction for Diffusion Language Models
di: Liu, Liming, et al.
Pubblicazione: (2026)
di: Liu, Liming, et al.
Pubblicazione: (2026)
COSMOS: A Hybrid Adaptive Optimizer for Memory-Efficient Training of LLMs
di: Liu, Liming, et al.
Pubblicazione: (2025)
di: Liu, Liming, et al.
Pubblicazione: (2025)
On the Interplay Between Stepsize Tuning and Progressive Sharpening
di: Roulet, Vincent, et al.
Pubblicazione: (2023)
di: Roulet, Vincent, et al.
Pubblicazione: (2023)
Understanding Sharpness Dynamics in NN Training with a Minimalist Example: The Effects of Dataset Difficulty, Depth, Stochasticity, and More
di: Yoo, Geonhui, et al.
Pubblicazione: (2025)
di: Yoo, Geonhui, et al.
Pubblicazione: (2025)
Diffusion Model for Manifold Data: Score Decomposition, Curvature, and Statistical Complexity
di: Zhang, Zixuan, et al.
Pubblicazione: (2026)
di: Zhang, Zixuan, et al.
Pubblicazione: (2026)
Minimalist Softmax Attention Provably Learns Constrained Boolean Functions
di: Hu, Jerry Yao-Chieh, et al.
Pubblicazione: (2025)
di: Hu, Jerry Yao-Chieh, et al.
Pubblicazione: (2025)
NorMuon: Making Muon more efficient and scalable
di: Li, Zichong, et al.
Pubblicazione: (2025)
di: Li, Zichong, et al.
Pubblicazione: (2025)
Differential Smoothing Mitigates Sharpening and Improves LLM Reasoning
di: Gai, Jingchu, et al.
Pubblicazione: (2025)
di: Gai, Jingchu, et al.
Pubblicazione: (2025)
Provably Unlearnable Data Examples
di: Wang, Derui, et al.
Pubblicazione: (2024)
di: Wang, Derui, et al.
Pubblicazione: (2024)
A Minimalist Prompt for Zero-Shot Policy Learning
di: Song, Meng, et al.
Pubblicazione: (2024)
di: Song, Meng, et al.
Pubblicazione: (2024)
Robust Reinforcement Learning from Corrupted Human Feedback
di: Bukharin, Alexander, et al.
Pubblicazione: (2024)
di: Bukharin, Alexander, et al.
Pubblicazione: (2024)
Self-Consistency via Marginal Sharpening
di: Arzhantsev, Aleksei, et al.
Pubblicazione: (2026)
di: Arzhantsev, Aleksei, et al.
Pubblicazione: (2026)
Rewarding the Unlikely: Lifting GRPO Beyond Distribution Sharpening
di: He, Andre, et al.
Pubblicazione: (2025)
di: He, Andre, et al.
Pubblicazione: (2025)
Understanding Pan-Sharpening via Generalized Inverse
di: Liu, Shiqi, et al.
Pubblicazione: (2023)
di: Liu, Shiqi, et al.
Pubblicazione: (2023)
Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks
di: Zhang, Zixuan, et al.
Pubblicazione: (2023)
di: Zhang, Zixuan, et al.
Pubblicazione: (2023)
Soft-Label Caching and Sharpening for Communication-Efficient Federated Distillation
di: Azuma, Kitsuya, et al.
Pubblicazione: (2025)
di: Azuma, Kitsuya, et al.
Pubblicazione: (2025)
Graph Transductive Sharpening: Leveraging Unlabeled Predictions in Node Classification
di: Zaz, Brown, et al.
Pubblicazione: (2026)
di: Zaz, Brown, et al.
Pubblicazione: (2026)
Beyond Distribution Sharpening: The Importance of Task Rewards
di: Mittal, Sarthak, et al.
Pubblicazione: (2026)
di: Mittal, Sarthak, et al.
Pubblicazione: (2026)
Sharpened Lazy Incremental Quasi-Newton Method
di: Lahoti, Aakash, et al.
Pubblicazione: (2023)
di: Lahoti, Aakash, et al.
Pubblicazione: (2023)
Self-Improvement in Language Models: The Sharpening Mechanism
di: Huang, Audrey, et al.
Pubblicazione: (2024)
di: Huang, Audrey, et al.
Pubblicazione: (2024)
Minimalist Concept Erasure in Generative Models
di: Zhang, Yang, et al.
Pubblicazione: (2025)
di: Zhang, Yang, et al.
Pubblicazione: (2025)
The Origin of Edge of Stability
di: Litman, Elon
Pubblicazione: (2026)
di: Litman, Elon
Pubblicazione: (2026)
MINTS: Minimalist Thompson Sampling
di: Wang, Kaizheng
Pubblicazione: (2026)
di: Wang, Kaizheng
Pubblicazione: (2026)
Persistent Classification: A New Approach to Stability of Data and Adversarial Examples
di: Bell, Brian, et al.
Pubblicazione: (2024)
di: Bell, Brian, et al.
Pubblicazione: (2024)
Edge of Stochastic Stability: Revisiting the Edge of Stability for SGD
di: Andreyev, Arseniy, et al.
Pubblicazione: (2024)
di: Andreyev, Arseniy, et al.
Pubblicazione: (2024)
Laplacian Canonization: A Minimalist Approach to Sign and Basis Invariant Spectral Embedding
di: Ma, Jiangyan, et al.
Pubblicazione: (2023)
di: Ma, Jiangyan, et al.
Pubblicazione: (2023)
A Minimalist Bayesian Framework for Stochastic Optimization
di: Wang, Kaizheng
Pubblicazione: (2025)
di: Wang, Kaizheng
Pubblicazione: (2025)
Minimalist Visual Inertial Odometry
di: Pasti, Francesco, et al.
Pubblicazione: (2026)
di: Pasti, Francesco, et al.
Pubblicazione: (2026)
SEEN: Sharpening Explanations for Graph Neural Networks using Explanations from Neighborhoods
di: Cho, Hyeoncheol, et al.
Pubblicazione: (2021)
di: Cho, Hyeoncheol, et al.
Pubblicazione: (2021)
Laplacian Score Sharpening for Mitigating Hallucination in Diffusion Models
di: C, Barath Chandran., et al.
Pubblicazione: (2025)
di: C, Barath Chandran., et al.
Pubblicazione: (2025)
Sharpen Your Flow: Sharpness-Aware Sampling for Flow Matching
di: Gupta, Aditi, et al.
Pubblicazione: (2026)
di: Gupta, Aditi, et al.
Pubblicazione: (2026)
RAZOR: Sharpening Knowledge by Cutting Bias with Unsupervised Text Rewriting
di: Yang, Shuo, et al.
Pubblicazione: (2024)
di: Yang, Shuo, et al.
Pubblicazione: (2024)
B3C: A Minimalist Approach to Offline Multi-Agent Reinforcement Learning
di: Kim, Woojun, et al.
Pubblicazione: (2025)
di: Kim, Woojun, et al.
Pubblicazione: (2025)
SlimMoE: Structured Compression of Large MoE Models via Expert Slimming and Distillation
di: Li, Zichong, et al.
Pubblicazione: (2025)
di: Li, Zichong, et al.
Pubblicazione: (2025)
Product-Stability: Provable Convergence for Gradient Descent on the Edge of Stability
di: Gan, Eric
Pubblicazione: (2026)
di: Gan, Eric
Pubblicazione: (2026)
Adaptive Gradient Methods at the Edge of Stability
di: Cohen, Jeremy M., et al.
Pubblicazione: (2022)
di: Cohen, Jeremy M., et al.
Pubblicazione: (2022)
A Minimalist Method for Fine-tuning Text-to-Image Diffusion Models
di: Miao, Yanting, et al.
Pubblicazione: (2025)
di: Miao, Yanting, et al.
Pubblicazione: (2025)
SimPER: A Minimalist Approach to Preference Alignment without Hyperparameters
di: Xiao, Teng, et al.
Pubblicazione: (2025)
di: Xiao, Teng, et al.
Pubblicazione: (2025)
Gaussian Match-and-Copy: A Minimalist Benchmark for Studying Transformer Induction
di: Gonon, Antoine, et al.
Pubblicazione: (2026)
di: Gonon, Antoine, et al.
Pubblicazione: (2026)
When Sharpening Becomes Collapse: Sampling Bias and Semantic Coupling in RL with Verifiable Rewards
di: Fan, Mingyuan, et al.
Pubblicazione: (2026)
di: Fan, Mingyuan, et al.
Pubblicazione: (2026)
Documenti analoghi
-
BackPlay: Head-Only Look-Back Self-Correction for Diffusion Language Models
di: Liu, Liming, et al.
Pubblicazione: (2026) -
COSMOS: A Hybrid Adaptive Optimizer for Memory-Efficient Training of LLMs
di: Liu, Liming, et al.
Pubblicazione: (2025) -
On the Interplay Between Stepsize Tuning and Progressive Sharpening
di: Roulet, Vincent, et al.
Pubblicazione: (2023) -
Understanding Sharpness Dynamics in NN Training with a Minimalist Example: The Effects of Dataset Difficulty, Depth, Stochasticity, and More
di: Yoo, Geonhui, et al.
Pubblicazione: (2025) -
Diffusion Model for Manifold Data: Score Decomposition, Curvature, and Statistical Complexity
di: Zhang, Zixuan, et al.
Pubblicazione: (2026)