Salvato in:
| Autori principali: | Garcia, Roberto, Liu, Jerry, Sorvisto, Daniel, Eyuboglu, Sabri |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2025
|
| Soggetti: | |
| Accesso online: | https://arxiv.org/abs/2503.18216 |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Constructing Efficient Fact-Storing MLPs for Transformers
di: Dugan, Owen, et al.
Pubblicazione: (2025)
di: Dugan, Owen, et al.
Pubblicazione: (2025)
Decorrelation Speeds Up Vision Transformers
di: Carrigg, Kieran, et al.
Pubblicazione: (2025)
di: Carrigg, Kieran, et al.
Pubblicazione: (2025)
AdapterTune: Zero-Initialized Low-Rank Adapters for Frozen Vision Transformers
di: Khazem, Salim
Pubblicazione: (2026)
di: Khazem, Salim
Pubblicazione: (2026)
Adaptive Budget Allocation for Orthogonal-Subspace Adapter Tuning in LLMs Continual Learning
di: Wan, Zhiyi, et al.
Pubblicazione: (2025)
di: Wan, Zhiyi, et al.
Pubblicazione: (2025)
SpeedUpNet: A Plug-and-Play Adapter Network for Accelerating Text-to-Image Diffusion Models
di: Chai, Weilong, et al.
Pubblicazione: (2023)
di: Chai, Weilong, et al.
Pubblicazione: (2023)
Sparse High Rank Adapters
di: Bhardwaj, Kartikeya, et al.
Pubblicazione: (2024)
di: Bhardwaj, Kartikeya, et al.
Pubblicazione: (2024)
Rapid Switching and Multi-Adapter Fusion via Sparse High Rank Adapters
di: Bhardwaj, Kartikeya, et al.
Pubblicazione: (2024)
di: Bhardwaj, Kartikeya, et al.
Pubblicazione: (2024)
ARA: Adaptive Rank Allocation for Efficient Large Language Model SVD Compression
di: Xv, Lin, et al.
Pubblicazione: (2025)
di: Xv, Lin, et al.
Pubblicazione: (2025)
The Quest for Winning Tickets in Low-Rank Adapters
di: Damirchi, Hamed, et al.
Pubblicazione: (2025)
di: Damirchi, Hamed, et al.
Pubblicazione: (2025)
Asymmetry in Low-Rank Adapters of Foundation Models
di: Zhu, Jiacheng, et al.
Pubblicazione: (2024)
di: Zhu, Jiacheng, et al.
Pubblicazione: (2024)
Towards Symmetric Low-Rank Adapters
di: Panoutsos, Tales, et al.
Pubblicazione: (2025)
di: Panoutsos, Tales, et al.
Pubblicazione: (2025)
Minions: Cost-efficient Collaboration Between On-device and Cloud Language Models
di: Narayan, Avanika, et al.
Pubblicazione: (2025)
di: Narayan, Avanika, et al.
Pubblicazione: (2025)
Simple linear attention language models balance the recall-throughput tradeoff
di: Arora, Simran, et al.
Pubblicazione: (2024)
di: Arora, Simran, et al.
Pubblicazione: (2024)
Just read twice: closing the recall gap for recurrent language models
di: Arora, Simran, et al.
Pubblicazione: (2024)
di: Arora, Simran, et al.
Pubblicazione: (2024)
Unlocking the Global Synergies in Low-Rank Adapters
di: Zhang, Zixi, et al.
Pubblicazione: (2024)
di: Zhang, Zixi, et al.
Pubblicazione: (2024)
Ensembles of Low-Rank Expert Adapters
di: Li, Yinghao, et al.
Pubblicazione: (2025)
di: Li, Yinghao, et al.
Pubblicazione: (2025)
LoRaQ: Optimized Low Rank Approximation for 4-bit Quantization
di: Bouquet, Yann, et al.
Pubblicazione: (2026)
di: Bouquet, Yann, et al.
Pubblicazione: (2026)
PreLoRA: Hybrid Pre-training of Vision Transformers with Full Training and Low-Rank Adapters
di: Thapa, Krishu K, et al.
Pubblicazione: (2025)
di: Thapa, Krishu K, et al.
Pubblicazione: (2025)
Aggregating Low Rank Adapters in Federated Fine-tuning
di: Trautmann, Evelyn, et al.
Pubblicazione: (2025)
di: Trautmann, Evelyn, et al.
Pubblicazione: (2025)
Flora: Low-Rank Adapters Are Secretly Gradient Compressors
di: Hao, Yongchang, et al.
Pubblicazione: (2024)
di: Hao, Yongchang, et al.
Pubblicazione: (2024)
LoQT: Low-Rank Adapters for Quantized Pretraining
di: Loeschcke, Sebastian, et al.
Pubblicazione: (2024)
di: Loeschcke, Sebastian, et al.
Pubblicazione: (2024)
SkipViT: Speeding Up Vision Transformers with a Token-Level Skip Connection
di: Ataiefard, Foozhan, et al.
Pubblicazione: (2024)
di: Ataiefard, Foozhan, et al.
Pubblicazione: (2024)
Learning Adapter Rank via Symmetry Breaking
di: Doyle, Cooper, et al.
Pubblicazione: (2025)
di: Doyle, Cooper, et al.
Pubblicazione: (2025)
Provably Optimal Memory Capacity for Modern Hopfield Models: Transformer-Compatible Dense Associative Memories as Spherical Codes
di: Hu, Jerry Yao-Chieh, et al.
Pubblicazione: (2024)
di: Hu, Jerry Yao-Chieh, et al.
Pubblicazione: (2024)
MGAA: Multi-Granular Adaptive Allocation fof Low-Rank Compression of LLMs
di: Li, Guangyan, et al.
Pubblicazione: (2025)
di: Li, Guangyan, et al.
Pubblicazione: (2025)
Continual Low-Rank Adapters for LLM-based Generative Recommender Systems
di: Yoo, Hyunsik, et al.
Pubblicazione: (2025)
di: Yoo, Hyunsik, et al.
Pubblicazione: (2025)
IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring
di: Cui, Xuan, et al.
Pubblicazione: (2026)
di: Cui, Xuan, et al.
Pubblicazione: (2026)
Local Steps Speed Up Local GD for Heterogeneous Distributed Logistic Regression
di: Crawshaw, Michael, et al.
Pubblicazione: (2025)
di: Crawshaw, Michael, et al.
Pubblicazione: (2025)
Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences
di: Dimitriadis, Nikolaos, et al.
Pubblicazione: (2024)
di: Dimitriadis, Nikolaos, et al.
Pubblicazione: (2024)
Cartridges: Lightweight and general-purpose long context representations via self-study
di: Eyuboglu, Sabri, et al.
Pubblicazione: (2025)
di: Eyuboglu, Sabri, et al.
Pubblicazione: (2025)
BoostLoRA: Growing Effective Rank by Boosting Adapters
di: Anantha, Raviteja, et al.
Pubblicazione: (2026)
di: Anantha, Raviteja, et al.
Pubblicazione: (2026)
On the Duality between Gradient Transformations and Adapters
di: Torroba-Hennigen, Lucas, et al.
Pubblicazione: (2025)
di: Torroba-Hennigen, Lucas, et al.
Pubblicazione: (2025)
Mitigating Subject Dependency in EEG Decoding with Subject-Specific Low-Rank Adapters
di: Klein, Timon, et al.
Pubblicazione: (2025)
di: Klein, Timon, et al.
Pubblicazione: (2025)
Rank Also Matters: Hierarchical Configuration for Mixture of Adapter Experts in LLM Fine-Tuning
di: Cong, Peizhuang, et al.
Pubblicazione: (2025)
di: Cong, Peizhuang, et al.
Pubblicazione: (2025)
Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models
di: Hu, Jerry Yao-Chieh, et al.
Pubblicazione: (2024)
di: Hu, Jerry Yao-Chieh, et al.
Pubblicazione: (2024)
Allocation of Parameters in Transformers
di: Yu, Ruoxi, et al.
Pubblicazione: (2025)
di: Yu, Ruoxi, et al.
Pubblicazione: (2025)
CR-BLEA: Contrastive Ranking for Adaptive Resource Allocation in Bilevel Evolutionary Algorithms
di: Xu, Dejun, et al.
Pubblicazione: (2025)
di: Xu, Dejun, et al.
Pubblicazione: (2025)
Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters
di: Xiang, Haotian, et al.
Pubblicazione: (2026)
di: Xiang, Haotian, et al.
Pubblicazione: (2026)
Multiple Choice Learning of Low-Rank Adapters for Language Modeling
di: Letzelter, Victor, et al.
Pubblicazione: (2025)
di: Letzelter, Victor, et al.
Pubblicazione: (2025)
LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
di: Wang, Zhengbo, et al.
Pubblicazione: (2024)
di: Wang, Zhengbo, et al.
Pubblicazione: (2024)
Documenti analoghi
-
Constructing Efficient Fact-Storing MLPs for Transformers
di: Dugan, Owen, et al.
Pubblicazione: (2025) -
Decorrelation Speeds Up Vision Transformers
di: Carrigg, Kieran, et al.
Pubblicazione: (2025) -
AdapterTune: Zero-Initialized Low-Rank Adapters for Frozen Vision Transformers
di: Khazem, Salim
Pubblicazione: (2026) -
Adaptive Budget Allocation for Orthogonal-Subspace Adapter Tuning in LLMs Continual Learning
di: Wan, Zhiyi, et al.
Pubblicazione: (2025) -
SpeedUpNet: A Plug-and-Play Adapter Network for Accelerating Text-to-Image Diffusion Models
di: Chai, Weilong, et al.
Pubblicazione: (2023)