Buchumschlag

FL-TAC: Enhanced Fine-Tuning in Federated Learning via Low-Rank, Task-Specific Adapter Clustering

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ping, Siqi, Mao, Yuzhu, Liu, Yang, Zhang, Xiao-Ping, Ding, Wenbo
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Enhancing Parameter Efficiency and Generalization in Large-Scale Models: A Regularized and Masked Low-Rank Adaptation Approach
von: Mao, Yuzhu, et al.
Veröffentlicht: (2024)

Aggregating Low Rank Adapters in Federated Fine-tuning
von: Trautmann, Evelyn, et al.
Veröffentlicht: (2025)

Implicit Federated In-context Learning For Task-Specific LLM Fine-Tuning
von: Li, Dongcheng, et al.
Veröffentlicht: (2025)

Rank Also Matters: Hierarchical Configuration for Mixture of Adapter Experts in LLM Fine-Tuning
von: Cong, Peizhuang, et al.
Veröffentlicht: (2025)

Parameter-Efficient Fine-Tuning With Adapters
von: Chen, Keyu, et al.
Veröffentlicht: (2024)

Data Efficient Adaptation in Large Language Models via Continuous Low-Rank Fine-Tuning
von: Han, Xiao, et al.
Veröffentlicht: (2025)

Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning
von: Raje, Arian, et al.
Veröffentlicht: (2025)

AdapterTune: Zero-Initialized Low-Rank Adapters for Frozen Vision Transformers
von: Khazem, Salim
Veröffentlicht: (2026)

Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions
von: Zhang, Wenhao, et al.
Veröffentlicht: (2026)

Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2025)

AnyTaskTune: Advanced Domain-Specific Solutions through Task-Fine-Tuning
von: Cui, Jiaxi, et al.
Veröffentlicht: (2024)

Towards Symmetric Low-Rank Adapters
von: Panoutsos, Tales, et al.
Veröffentlicht: (2025)

Nonlinearity as Rank: Generative Low-Rank Adapter with Radial Basis Functions
von: Ouyang, Yihao, et al.
Veröffentlicht: (2026)

Personas within Parameters: Fine-Tuning Small Language Models with Low-Rank Adapters to Mimic User Behaviors
von: Thakur, Himanshu, et al.
Veröffentlicht: (2025)

Spectral Adapter: Fine-Tuning in Spectral Space
von: Zhang, Fangzhao, et al.
Veröffentlicht: (2024)

IP-FL: Incentivized and Personalized Federated Learning
von: Khan, Ahmad Faraz, et al.
Veröffentlicht: (2023)

Ensembles of Low-Rank Expert Adapters
von: Li, Yinghao, et al.
Veröffentlicht: (2025)

Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA
von: Yang, Nuocheng, et al.
Veröffentlicht: (2026)

Learning Adapter Rank via Symmetry Breaking
von: Doyle, Cooper, et al.
Veröffentlicht: (2025)

Penrose Tiled Low-Rank Compression and Section-Wise Q&A Fine-Tuning: A General Framework for Domain-Specific Large Language Model Adaptation
von: Kuo, Chuan-Wei, et al.
Veröffentlicht: (2025)

Multiple Choice Learning of Low-Rank Adapters for Language Modeling
von: Letzelter, Victor, et al.
Veröffentlicht: (2025)

Flora: Low-Rank Adapters Are Secretly Gradient Compressors
von: Hao, Yongchang, et al.
Veröffentlicht: (2024)

Enhancing Federated Domain Adaptation with Multi-Domain Prototype-Based Federated Fine-Tuning
von: Zhang, Jingyuan, et al.
Veröffentlicht: (2024)

LoLaFL: Low-Latency Federated Learning via Forward-only Propagation
von: Zhang, Jierui, et al.
Veröffentlicht: (2024)

Task-Centric Personalized Federated Fine-Tuning of Language Models
von: Talasso, Gabriel U., et al.
Veröffentlicht: (2026)

Enhancing Reinforcement Learning Fine-Tuning with an Online Refiner
von: Ma, Hao, et al.
Veröffentlicht: (2026)

Decentralized Rank Scheduling for Energy-Constrained Multi-Task Federated Fine-Tuning in Edge-Assisted IoV Networks
von: Zheng, Bokeng, et al.
Veröffentlicht: (2025)

Dynamic Integration of Task-Specific Adapters for Class Incremental Learning
von: Li, Jiashuo, et al.
Veröffentlicht: (2024)

LARGO: Low-Rank Regulated Gradient Projection for Robust Parameter Efficient Fine-Tuning
von: Zhang, Haotian, et al.
Veröffentlicht: (2025)

From Holistic to Localized: Local Enhanced Adapters for Efficient Visual Instruction Fine-Tuning
von: Jiao, Pengkun, et al.
Veröffentlicht: (2024)

Symbiosis: Multi-Adapter Inference and Fine-Tuning
von: Gupta, Saransh, et al.
Veröffentlicht: (2025)

TAIL: Task-specific Adapters for Imitation Learning with Large Pretrained Models
von: Liu, Zuxin, et al.
Veröffentlicht: (2023)

Speech-FT: Merging Pre-trained And Fine-Tuned Speech Representation Models For Cross-Task Generalization
von: Lin, Tzu-Quan, et al.
Veröffentlicht: (2025)

A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models
von: Sun, Mengyang, et al.
Veröffentlicht: (2025)

RankAdaptor: Hierarchical Rank Allocation for Efficient Fine-Tuning Pruned LLMs via Performance Model
von: Zhou, Changhai, et al.
Veröffentlicht: (2024)

MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning
von: Zhao, Jiancheng, et al.
Veröffentlicht: (2025)

Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models
von: Son, Hyegang, et al.
Veröffentlicht: (2024)

LoR2C : Low-Rank Residual Connection Adaptation for Parameter-Efficient Fine-Tuning
von: Zhao, Jiancheng, et al.
Veröffentlicht: (2025)

Speculative Coreset Selection for Task-Specific Fine-tuning
von: Zhang, Xiaoyu, et al.
Veröffentlicht: (2024)

Generalization-Enhanced Code Vulnerability Detection via Multi-Task Instruction Fine-Tuning
von: Du, Xiaohu, et al.
Veröffentlicht: (2024)