Buchumschlag

SAMO: A Lightweight Sharpness-Aware Approach for Multi-Task Optimization with Joint Global-Local Perturbation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ban, Hao, Subramani, Gokul Ram, Ji, Kaiyi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Fair Resource Allocation in Multi-Task Learning
von: Ban, Hao, et al.
Veröffentlicht: (2024)

Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs
von: Ban, Hao, et al.
Veröffentlicht: (2025)

Tuning-Free Bilevel Optimization: New Algorithms and Convergence Analysis
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

Theoretical Study of Conflict-Avoidant Multi-Objective Reinforcement Learning
von: Wang, Yudan, et al.
Veröffentlicht: (2024)

Lower Complexity Bounds for Nonconvex-Strongly-Convex Bilevel Optimization with First-Order Oracles
von: Ji, Kaiyi
Veröffentlicht: (2025)

Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization
von: Fan, Ziqing, et al.
Veröffentlicht: (2024)

LDC-MTL: Balancing Multi-Task Learning through Scalable Loss Discrepancy Control
von: Xiao, Peiyao, et al.
Veröffentlicht: (2025)

Enhancing Sharpness-Aware Minimization by Learning Perturbation Radius
von: Wang, Xuehao, et al.
Veröffentlicht: (2024)

Meta-Learning with Heterogeneous Tasks
von: Si, Zhaofeng, et al.
Veröffentlicht: (2024)

Neighborhood and Global Perturbations Supported SAM in Federated Learning: From Local Tweaks To Global Awareness
von: Li, Boyuan, et al.
Veröffentlicht: (2024)

Fix the Loss, Not the Radius: Rethinking the Adversarial Perturbation of Sharpness-Aware Minimization
von: Wang, Jinping, et al.
Veröffentlicht: (2026)

Turning Back Without Forgetting: Selective Backward Refinement for Parameter-Efficient Continual Learning
von: Tiwari, Anushka, et al.
Veröffentlicht: (2026)

μP$^2$: Effective Sharpness Aware Minimization Requires Layerwise Perturbation Scaling
von: Haas, Moritz, et al.
Veröffentlicht: (2024)

Achieving ${O}(ε^{-1.5})$ Complexity in Hessian/Jacobian-free Stochastic Bilevel Optimization
von: Yang, Yifan, et al.
Veröffentlicht: (2023)

Joker: Joint Optimization Framework for Lightweight Kernel Machines
von: Zhang, Junhong, et al.
Veröffentlicht: (2025)

Sharpness-Aware Black-Box Optimization
von: Ye, Feiyang, et al.
Veröffentlicht: (2024)

Batching-Aware Joint Model Onloading and Offloading for Hierarchical Multi-Task Inference
von: Cha, Seohyeon, et al.
Veröffentlicht: (2025)

ReciNet: Reciprocal Space-Aware Long-Range Modeling for Crystalline Property Prediction
von: Nie, Jianan, et al.
Veröffentlicht: (2025)

GRID: Scalable Task-Agnostic Prompt-Based Continual Learning for Language Models
von: Tiwari, Anushka, et al.
Veröffentlicht: (2025)

DeepMTL2R: A Library for Deep Multi-task Learning to Rank
von: Dong, Chaosheng, et al.
Veröffentlicht: (2026)

Task Specific Sharpness Aware O-RAN Resource Management using Multi Agent Reinforcement Learning
von: Lotfi, Fatemeh, et al.
Veröffentlicht: (2025)

LightSAM: Parameter-Agnostic Sharpness-Aware Minimization
von: Cheng, Yifei, et al.
Veröffentlicht: (2025)

Provable Effects of Data Replay in Continual Learning: A Feature Learning Perspective
von: Ding, Meng, et al.
Veröffentlicht: (2026)

CALM: Consensus-Aware Localized Merging for Multi-Task Learning
von: Yan, Kunda, et al.
Veröffentlicht: (2025)

Sharpness-Aware Machine Unlearning
von: Tang, Haoran, et al.
Veröffentlicht: (2025)

Agnostic Sharpness-Aware Minimization
von: Nguyen, Van-Anh, et al.
Veröffentlicht: (2024)

Friendly Sharpness-Aware Minimization
von: Li, Tao, et al.
Veröffentlicht: (2024)

Tilted Sharpness-Aware Minimization
von: Li, Tian, et al.
Veröffentlicht: (2024)

GLAM: Global-Local Variation Awareness in Mamba-based World Model
von: He, Qian, et al.
Veröffentlicht: (2025)

Adversarial Bandit Optimization with Globally Bounded Perturbations to Linear Losses
von: Cheng, Zhuoyu, et al.
Veröffentlicht: (2026)

User Trajectory Prediction Unifying Global and Local Temporal Information
von: Hao, Wei, et al.
Veröffentlicht: (2025)

ZO-SAM: Zero-Order Sharpness-Aware Minimization for Efficient Sparse Training
von: Ji, Jie, et al.
Veröffentlicht: (2026)

Sharpness-Aware Minimization Revisited: Weighted Sharpness as a Regularization Term
von: Yue, Yun, et al.
Veröffentlicht: (2023)

TRAM: Bridging Trust Regions and Sharpness Aware Minimization
von: Sherborne, Tom, et al.
Veröffentlicht: (2023)

Global Climate Model Bias Correction Using Deep Learning
von: Pasula, Abhishek, et al.
Veröffentlicht: (2025)

Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape
von: Sun, Yan, et al.
Veröffentlicht: (2023)

Data Driven Deep Learning for Correcting Global Climate Model Projections of SST and DSL in the Bay of Bengal
von: Pasula, Abhishek, et al.
Veröffentlicht: (2025)

JointDistill: Adaptive Multi-Task Distillation for Joint Depth Estimation and Scene Segmentation
von: Cheng, Tiancong, et al.
Veröffentlicht: (2025)

Understanding Forgetting in Continual Learning with Linear Regression
von: Ding, Meng, et al.
Veröffentlicht: (2024)

A Universal Class of Sharpness-Aware Minimization Algorithms
von: Tahmasebi, Behrooz, et al.
Veröffentlicht: (2024)