Copertina

Rank-1 LoRAs Encode Interpretable Reasoning Signals

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Ward, Jake, Riechers, Paul, Shai, Adam
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering
di: Zhao, Ziyu, et al.
Pubblicazione: (2024)

Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs
di: Ban, Hao, et al.
Pubblicazione: (2025)

Next-token pretraining implies in-context learning
di: Riechers, Paul M., et al.
Pubblicazione: (2025)

MoSLD: An Extremely Parameter-Efficient Mixture-of-Shared LoRAs for Multi-Task Learning
di: Zhao, Lulu, et al.
Pubblicazione: (2024)

Rethinking the Rank Threshold for LoRA Fine-Tuning
di: Park, Juneyoung
Pubblicazione: (2026)

LoRA.rar: Learning to Merge LoRAs via Hypernetworks for Subject-Style Conditioned Image Generation
di: Shenaj, Donald, et al.
Pubblicazione: (2024)

Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs
di: Microsoft, et al.
Pubblicazione: (2025)

Spanning the Visual Analogy Space with a Weight Basis of LoRAs
di: Manor, Hila, et al.
Pubblicazione: (2026)

ORAL: Prompting Your Large-Scale LoRAs via Conditional Recurrent Diffusion
di: Khan, Rana Muhammad Shahroz, et al.
Pubblicazione: (2025)

Stable-LoRA: Stabilizing Feature Learning of Low-Rank Adaptation
di: Wu, Yize, et al.
Pubblicazione: (2026)

AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning
di: Chen, Ziye, et al.
Pubblicazione: (2026)

Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs
di: Hu, Zixuan, et al.
Pubblicazione: (2024)

Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning
di: Zhao, Ziyu, et al.
Pubblicazione: (2025)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
di: Wang, Zhengbo, et al.
Pubblicazione: (2024)

LoRA+: Efficient Low Rank Adaptation of Large Models
di: Hayou, Soufiane, et al.
Pubblicazione: (2024)

Mechanistic Interpretability of LoRA-Adapted Language Models for Nuclear Reactor Safety Applications
di: Lee, Yoon Pyo
Pubblicazione: (2025)

LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis
di: Zhang, Qingyue, et al.
Pubblicazione: (2025)

Beyond Factor Aggregation: Gauge-Aware Low-Rank Server Representations for Federated LoRA
di: Chen, Jinqian, et al.
Pubblicazione: (2026)

Hybrid-LoRA: Bridging Full Fine-Tuning and Low-Rank Adaptation for Post-Training
di: Zhang, Chengqian, et al.
Pubblicazione: (2026)

IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring
di: Cui, Xuan, et al.
Pubblicazione: (2026)

Laplacian-LoRA: Delaying Oversmoothing in Deep GCNs via Spectral Low-Rank Adaptation
di: Alisetti, Sai Vamsi
Pubblicazione: (2026)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
di: Yang, Yaming, et al.
Pubblicazione: (2024)

Kron-LoRA: Hybrid Kronecker-LoRA Adapters for Scalable, Sustainable Fine-tuning
di: Shen, Yixin
Pubblicazione: (2025)

R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning
di: Liu, Jinda, et al.
Pubblicazione: (2025)

LoRA-Mixer: Coordinate Modular LoRA Experts Through Serial Attention Routing
di: Li, Wenbing, et al.
Pubblicazione: (2025)

Tina: Tiny Reasoning Models via LoRA
di: Wang, Shangshang, et al.
Pubblicazione: (2025)

SCALE-LoRA: Auditing Post-Retrieval LoRA Composition with Residual Merging and View Reliability
di: Zhou, Shuaipeng, et al.
Pubblicazione: (2026)

Learning Rate Scaling across LoRA Ranks and Transfer to Full Finetuning
di: Chen, Nan, et al.
Pubblicazione: (2026)

LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters
di: Bałazy, Klaudia, et al.
Pubblicazione: (2024)

Conditional LoRA Parameter Generation
di: Jin, Xiaolong, et al.
Pubblicazione: (2024)

SC-LoRA: Balancing Efficient Fine-tuning and Knowledge Preservation via Subspace-Constrained LoRA
di: Luo, Minrui, et al.
Pubblicazione: (2025)

CTR-LoRA: Curvature-Aware and Trust-Region Guided Low-Rank Adaptation for Large Language Models
di: Wang, Zhuxuanzi, et al.
Pubblicazione: (2025)

Understanding the Learning Dynamics of LoRA: A Gradient Flow Perspective on Low-Rank Adaptation in Matrix Factorization
di: Xu, Ziqing, et al.
Pubblicazione: (2025)

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
di: Lee, Seungeon, et al.
Pubblicazione: (2025)

ThinkSwitch: Context Distillation with LoRA and Weight Interpolation for Specific-Purpose Reasoning Tasks
di: Saini, Dhruv, et al.
Pubblicazione: (2026)

Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
di: Barazandeh, Babak, et al.
Pubblicazione: (2025)

Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models
di: Hu, Jerry Yao-Chieh, et al.
Pubblicazione: (2024)

Semantic-guided LoRA Parameters Generation
di: Li, Miaoge, et al.
Pubblicazione: (2025)

Riemannian Optimization for LoRA on the Stiefel Manifold
di: Park, Juneyoung, et al.
Pubblicazione: (2025)

Text-to-LoRA: Instant Transformer Adaption
di: Charakorn, Rujikorn, et al.
Pubblicazione: (2025)