Buchumschlag

Fine-Tuning Without Forgetting via Loss-Adaptive Learning Rates

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Prashant, Parjanya Prajakta, Zhu, Jiongli, Creo, Aldan, Salimi, Babak
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

KAIROS: Scalable Model-Agnostic Data Valuation
von: Zhu, Jiongli, et al.
Veröffentlicht: (2025)

A Lightweight Method to Disrupt Memorized Sequences in LLM
von: Prashant, Parjanya Prajakta, et al.
Veröffentlicht: (2025)

Scalable Out-of-distribution Robustness in the Presence of Unobserved Confounders
von: Prashant, Parjanya, et al.
Veröffentlicht: (2024)

Learning from Uncertain Data: From Possible Worlds to Possible Models
von: Zhu, Jiongli, et al.
Veröffentlicht: (2024)

Stress-Testing ML Pipelines with Adversarial Data Corruption
von: Zhu, Jiongli, et al.
Veröffentlicht: (2025)

Complete Evasion, Zero Modification: PDF Attacks on AI Text Detection
von: Creo, Aldan
Veröffentlicht: (2025)

Differentiable Causal Discovery For Latent Hierarchical Causal Models
von: Prashant, Parjanya, et al.
Veröffentlicht: (2024)

Fine-Tuning Without Forgetting In-Context Learning: A Theoretical Analysis of Linear Attention Models
von: Lee, Chungpa, et al.
Veröffentlicht: (2026)

Grow, Don't Overwrite: Fine-tuning Without Forgetting
von: Adila, Dyah, et al.
Veröffentlicht: (2026)

SilverSpeak: Evading AI-Generated Text Detectors using Homoglyphs
von: Creo, Aldan, et al.
Veröffentlicht: (2024)

RAFT: Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting
von: Li, Yuduo, et al.
Veröffentlicht: (2026)

Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting
von: Diao, Muxi, et al.
Veröffentlicht: (2026)

Mitigating Catastrophic Forgetting with Adaptive Transformer Block Expansion in Federated Fine-Tuning
von: Huo, Yujia, et al.
Veröffentlicht: (2025)

Overcoming Forgetting in LLM Fine-Tuning with Evolution Strategies
von: Schweighofer, Kajetan, et al.
Veröffentlicht: (2026)

Upweighting Easy Samples in Fine-Tuning Mitigates Forgetting
von: Sanyal, Sunny, et al.
Veröffentlicht: (2025)

RL Fine-Tuning Heals OOD Forgetting in SFT
von: Jin, Hangzhan, et al.
Veröffentlicht: (2025)

Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning
von: Yin, Bo, et al.
Veröffentlicht: (2025)

Vulnerability-Aware Alignment: Mitigating Uneven Forgetting in Harmful Fine-Tuning
von: Chen, Liang, et al.
Veröffentlicht: (2025)

Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning
von: Lou, Meng, et al.
Veröffentlicht: (2026)

Forget the Data and Fine-Tuning! Just Fold the Network to Compress
von: Wang, Dong, et al.
Veröffentlicht: (2025)

On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning
von: Ahmad, Muhammad, et al.
Veröffentlicht: (2026)

Reinforcement Fine-Tuning Naturally Mitigates Forgetting in Continual Post-Training
von: Lai, Song, et al.
Veröffentlicht: (2025)

Bayesian Parameter-Efficient Fine-Tuning for Overcoming Catastrophic Forgetting
von: Chen, Haolin, et al.
Veröffentlicht: (2024)

Order-Independence Without Fine Tuning
von: McIlroy-Young, Reid, et al.
Veröffentlicht: (2024)

Fine-tuning MLLMs Without Forgetting Is Easier Than You Think
von: Li, He, et al.
Veröffentlicht: (2026)

Deeper Insights Without Updates: The Power of In-Context Learning Over Fine-Tuning
von: Yin, Qingyu, et al.
Veröffentlicht: (2024)

Task Switching Without Forgetting via Proximal Decoupling
von: Shamsolmoali, Pourya, et al.
Veröffentlicht: (2026)

MoFO: Momentum-Filtered Optimizer for Mitigating Forgetting in LLM Fine-Tuning
von: Chen, Yupeng, et al.
Veröffentlicht: (2024)

Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning
von: Elsayed, Mohamed, et al.
Veröffentlicht: (2024)

Turning Back Without Forgetting: Selective Backward Refinement for Parameter-Efficient Continual Learning
von: Tiwari, Anushka, et al.
Veröffentlicht: (2026)

Not All Forgetting Is Equal: Architecture-Dependent Retention Dynamics in Fine-Tuned Image Classifiers
von: Daga, Miit, et al.
Veröffentlicht: (2026)

Modular Multimodal Classification Without Fine-Tuning: A Simple Compositional Approach
von: Bergström, Herman, et al.
Veröffentlicht: (2026)

Matched-Learning-Rate Analysis of Attention Drift and Transfer Retention in Fine-Tuned CLIP
von: Xia, Ruize
Veröffentlicht: (2026)

RAVQ-HoloNet: Rate-Adaptive Vector-Quantized Hologram Compression
von: Rafiei, Shima, et al.
Veröffentlicht: (2025)

Stress-Testing Causal Claims via Cardinality Repairs
von: Gabbay, Yarden, et al.
Veröffentlicht: (2025)

Scaling Laws for Forgetting When Fine-Tuning Large Language Models
von: Kalajdzievski, Damjan
Veröffentlicht: (2024)

Adaptive Fine-Tuning via Pattern Specialization for Deep Time Series Forecasting
von: Saadallah, Amal, et al.
Veröffentlicht: (2025)

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation
von: Fawi, Muhammad
Veröffentlicht: (2024)

Personalized Federated Learning with Mixture of Models for Adaptive Prediction and Model Fine-Tuning
von: Ghari, Pouya M., et al.
Veröffentlicht: (2024)

Representation Without Reward: A JEPA Audit for LLM Fine-Tuning
von: Sengupta, Biswa
Veröffentlicht: (2026)