Copertina

Learning Adapter Rank via Symmetry Breaking

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Doyle, Cooper, Hu, Andy, Chan, Rebecca, Leontjeva, Anna
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning Artificial Intelligence Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Your Absorbing Discrete Diffusion Secretly Models the Bayesian Posterior
di: Doyle, Cooper
Pubblicazione: (2025)

Multiple Choice Learning of Low-Rank Adapters for Language Modeling
di: Letzelter, Victor, et al.
Pubblicazione: (2025)

Ensembles of Low-Rank Expert Adapters
di: Li, Yinghao, et al.
Pubblicazione: (2025)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
di: Wang, Zhengbo, et al.
Pubblicazione: (2024)

Low-Rank Adapters Meet Neural Architecture Search for LLM Compression
di: Muñoz, J. Pablo, et al.
Pubblicazione: (2025)

zFLoRA: Zero-Latency Fused Low-Rank Adapters
di: Gowda, Dhananjaya, et al.
Pubblicazione: (2025)

Training-Free Bayesianization for Low-Rank Adapters of Large Language Models
di: Shi, Haizhou, et al.
Pubblicazione: (2024)

Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters
di: Wang, Xinjue, et al.
Pubblicazione: (2026)

Learning to Route for Dynamic Adapter Composition in Continual Learning with Language Models
di: Araujo, Vladimir, et al.
Pubblicazione: (2024)

Sparse-RL: Breaking the Memory Wall in LLM Reinforcement Learning via Stable Sparse Rollouts
di: Luo, Sijia, et al.
Pubblicazione: (2026)

Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models
di: Son, Hyegang, et al.
Pubblicazione: (2024)

JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models
di: Dragomir, Alexandra, et al.
Pubblicazione: (2026)

OrchMoE: Efficient Multi-Adapter Learning with Task-Skill Synergy
di: Wang, Haowen, et al.
Pubblicazione: (2024)

MoKA: Mixture of Kronecker Adapters
di: Sadeghi, Mohammadreza, et al.
Pubblicazione: (2025)

Random Initialization of Gated Sparse Adapters
di: Retault, Vi, et al.
Pubblicazione: (2025)

Task-Aware LoRA Adapter Composition via Similarity Retrieval in Vector Databases
di: Adsul, Riya, et al.
Pubblicazione: (2026)

MAD-OPD: Breaking the Ceiling in On-Policy Distillation via Multi-Agent Debate
di: Wang, Jianze, et al.
Pubblicazione: (2026)

Dual-Personalizing Adapter for Federated Foundation Models
di: Yang, Yiyuan, et al.
Pubblicazione: (2024)

Neutral Residues: Revisiting Adapters for Model Extension
di: Talla, Franck Signe, et al.
Pubblicazione: (2024)

CuMA: Aligning LLMs with Sparse Cultural Values via Demographic-Aware Mixture of Adapters
di: Sun, Ao, et al.
Pubblicazione: (2026)

MemAdapter: Fast Alignment across Agent Memory Paradigms via Generative Subgraph Retrieval
di: Zhang, Xin, et al.
Pubblicazione: (2026)

Learning Self-Interpretation from Interpretability Artifacts: Training Lightweight Adapters on Vector-Label Pairs
di: Pepper, Keenan, et al.
Pubblicazione: (2026)

MedualTime: A Dual-Adapter Language Model for Medical Time Series-Text Multimodal Learning
di: Ye, Jiexia, et al.
Pubblicazione: (2024)

Personas within Parameters: Fine-Tuning Small Language Models with Low-Rank Adapters to Mimic User Behaviors
di: Thakur, Himanshu, et al.
Pubblicazione: (2025)

Preference Learning Algorithms Do Not Learn Preference Rankings
di: Chen, Angelica, et al.
Pubblicazione: (2024)

StealthRank: LLM Ranking Manipulation via Stealthy Prompt Optimization
di: Tang, Yiming, et al.
Pubblicazione: (2025)

ABBA-Adapters: Efficient and Expressive Fine-Tuning of Foundation Models
di: Singhal, Raghav, et al.
Pubblicazione: (2025)

Shears: Unstructured Sparsity with Neural Low-rank Adapter Search
di: Muñoz, J. Pablo, et al.
Pubblicazione: (2024)

Rethinking Adapter Placement: A Dominant Adaptation Module Perspective
di: Zhang, Suoxin, et al.
Pubblicazione: (2026)

SwitchLoRA: Switched Low-Rank Adaptation Can Learn Full-Rank Information
di: Zhou, Kaiye, et al.
Pubblicazione: (2024)

AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning
di: Zhang, Ruiyi, et al.
Pubblicazione: (2024)

Data-driven Clustering and Merging of Adapters for On-device Large Language Models
di: Bohdal, Ondrej, et al.
Pubblicazione: (2026)

BBox-Adapter: Lightweight Adapting for Black-Box Large Language Models
di: Sun, Haotian, et al.
Pubblicazione: (2024)

Beyond Perplexity: A Geometric and Spectral Study of Low-Rank Pre-Training
di: Shivagunde, Namrata, et al.
Pubblicazione: (2026)

From Measurement to Expertise: Empathetic Expert Adapters for Context-Based Empathy in Conversational AI Agents
di: Shayegani, Erfan, et al.
Pubblicazione: (2025)

MUDDFormer: Breaking Residual Bottlenecks in Transformers via Multiway Dynamic Dense Connections
di: Xiao, Da, et al.
Pubblicazione: (2025)

Disentangled Safety Adapters Enable Efficient Guardrails and Flexible Inference-Time Alignment
di: Krishna, Kundan, et al.
Pubblicazione: (2025)

K-Merge: Online Continual Merging of Adapters for On-device Large Language Models
di: Shenaj, Donald, et al.
Pubblicazione: (2025)

Generative Adapter: Contextualizing Language Models in Parameters with A Single Forward Pass
di: Chen, Tong, et al.
Pubblicazione: (2024)

AdapterSwap: Continuous Training of LLMs with Data Removal and Access-Control Guarantees
di: Fleshman, William, et al.
Pubblicazione: (2024)