Copertina

Contextually Guided Transformers via Low-Rank Adaptation

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zhmoginov, Andrey, Lee, Jihwan, Vladymyrov, Max, Sandler, Mark
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Projectable Models: One-Shot Generation of Small Specialized Transformers from Large Ones
di: Zhmoginov, Andrey, et al.
Pubblicazione: (2025)

Continual HyperTransformer: A Meta-Learner for Continual Few-Shot Learning
di: Vladymyrov, Max, et al.
Pubblicazione: (2023)

Narrowing the Focus: Learned Optimizers for Pretrained Models
di: Kristiansen, Gus, et al.
Pubblicazione: (2024)

Long Context In-Context Compression by Getting to the Gist of Gisting
di: Petrov, Aleksandar, et al.
Pubblicazione: (2025)

Learning and Unlearning of Fabricated Knowledge in Language Models
di: Sun, Chen, et al.
Pubblicazione: (2024)

How new data permeates LLM knowledge and how to dilute it
di: Sun, Chen, et al.
Pubblicazione: (2025)

Linear Transformers are Versatile In-Context Learners
di: Vladymyrov, Max, et al.
Pubblicazione: (2024)

The Expressive Power of Low-Rank Adaptation
di: Zeng, Yuchen, et al.
Pubblicazione: (2023)

MAP: Revisiting Weight Decomposition for Low-Rank Adaptation
di: Si, Chongjie, et al.
Pubblicazione: (2025)

A Bayesian Interpretation of Adaptive Low-Rank Adaptation
di: Chen, Haolin, et al.
Pubblicazione: (2024)

CSULoRA: Closest Safe Update Low-Rank Adaptation
di: Breneur, Oleksandr Marchenko, et al.
Pubblicazione: (2026)

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
di: Wang, Shaowen, et al.
Pubblicazione: (2024)

Beyond Higher Rank: Token-wise Input-Output Projections for Efficient Low-Rank Adaptation
di: Li, Shiwei, et al.
Pubblicazione: (2025)

MoR: Mixture of Ranks for Low-Rank Adaptation Tuning
di: Tang, Chuanyu, et al.
Pubblicazione: (2024)

OMoE: Diversifying Mixture of Low-Rank Adaptation by Orthogonal Finetuning
di: Feng, Jinyuan, et al.
Pubblicazione: (2025)

Batched Low-Rank Adaptation of Foundation Models
di: Wen, Yeming, et al.
Pubblicazione: (2023)

Variational Low-Rank Adaptation Using IVON
di: Cong, Bai, et al.
Pubblicazione: (2024)

Interpretable Safety Alignment via SAE-Constructed Low-Rank Subspace Adaptation
di: Wang, Dianyun, et al.
Pubblicazione: (2025)

Optimizing Fine-Tuning through Advanced Initialization Strategies for Low-Rank Adaptation
di: Xue, Yongfu
Pubblicazione: (2025)

Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation
di: Sengupta, Ayan, et al.
Pubblicazione: (2024)

Learning and Transferring Sparse Contextual Bigrams with Linear Transformers
di: Ren, Yunwei, et al.
Pubblicazione: (2024)

LoRMA: Low-Rank Multiplicative Adaptation for LLMs
di: Bihany, Harsh, et al.
Pubblicazione: (2025)

LoTR: Low Tensor Rank Weight Adaptation
di: Bershatsky, Daniel, et al.
Pubblicazione: (2024)

Low-Rank Adaptation for Multilingual Summarization: An Empirical Study
di: Whitehouse, Chenxi, et al.
Pubblicazione: (2023)

DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
di: Zhang, Haojie
Pubblicazione: (2025)

HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation
di: Chen, Lixian, et al.
Pubblicazione: (2026)

CeRA: Overcoming the Linear Ceiling of Low-Rank Adaptation via Capacity Expansion
di: Chen, Hung-Hsuan
Pubblicazione: (2026)

GoRA: Gradient-driven Adaptive Low Rank Adaptation
di: He, Haonan, et al.
Pubblicazione: (2025)

Not How Many, But Which: Parameter Placement in Low-Rank Adaptation
di: Sehanobish, Arijit, et al.
Pubblicazione: (2026)

SBoRA: Low-Rank Adaptation with Regional Weight Updates
di: Po, Lai-Man, et al.
Pubblicazione: (2024)

LoRA+: Efficient Low Rank Adaptation of Large Models
di: Hayou, Soufiane, et al.
Pubblicazione: (2024)

FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts
di: Wang, Xinyi, et al.
Pubblicazione: (2025)

LSR-Adapt: Ultra-Efficient Parameter Tuning with Matrix Low Separation Rank Kernel Adaptation
di: Li, Xin, et al.
Pubblicazione: (2025)

BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation
di: Qin, Peijia, et al.
Pubblicazione: (2024)

Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM
di: Solgi, Ryan, et al.
Pubblicazione: (2025)

ChameleonLLM: Batch-Aware Dynamic Low-Rank Adaptation via Inference-Time Clusters
di: Yuksel, Kamer Ali, et al.
Pubblicazione: (2025)

EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition
di: Nasiri, Hamid, et al.
Pubblicazione: (2025)

SwitchLoRA: Switched Low-Rank Adaptation Can Learn Full-Rank Information
di: Zhou, Kaiye, et al.
Pubblicazione: (2024)

QDyLoRA: Quantized Dynamic Low-Rank Adaptation for Efficient Large Language Model Tuning
di: Rajabzadeh, Hossein, et al.
Pubblicazione: (2024)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
di: Yang, Yaming, et al.
Pubblicazione: (2024)