Buchumschlag

LASER: Low-Rank Activation SVD for Efficient Recursion

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Çakar, Ege, Raghu, Ketan Ali, Zheng, Lia
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Low-Rank Prehab: Preparing Neural Networks for SVD Compression
von: Qin, Haoran, et al.
Veröffentlicht: (2025)

The Argument is the Explanation: Structured Argumentation for Trust in Agents
von: Cakar, Ege, et al.
Veröffentlicht: (2025)

IO-SVD: Input-Output Whitened SVD for Adaptive-Rank LLM Compression
von: Abbasi, Ali, et al.
Veröffentlicht: (2026)

Zero Sum SVD: Balancing Loss Sensitivity for Low Rank LLM Compression
von: Abbasi, Ali, et al.
Veröffentlicht: (2026)

FlashSVD: Memory-Efficient Inference with Streaming for Low-Rank Models
von: Shao, Zishan, et al.
Veröffentlicht: (2025)

Operator SVD with Neural Networks via Nested Low-Rank Approximation
von: Ryu, J. Jon, et al.
Veröffentlicht: (2024)

Boule or Baguette? A Study on Task Topology, Length Generalization, and the Benefit of Reasoning Traces
von: Tong, William L., et al.
Veröffentlicht: (2026)

LASER: Loss-Aware Singular-value Decomposition and Rank Allocation for Efficient Low-Precision Vision-Language Models
von: Wang, Haiyu, et al.
Veröffentlicht: (2026)

ARA: Adaptive Rank Allocation for Efficient Large Language Model SVD Compression
von: Xv, Lin, et al.
Veröffentlicht: (2025)

Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM
von: Solgi, Ryan, et al.
Veröffentlicht: (2025)

DipSVD: Dual-importance Protected SVD for Efficient LLM Compression
von: Ding, Xuan, et al.
Veröffentlicht: (2025)

FlashSVD v1.5: Making Low-Rank Transformers Inference Actually Fast
von: Wu, Wenhao, et al.
Veröffentlicht: (2026)

CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation
von: Liu, Ziyue, et al.
Veröffentlicht: (2025)

Efficient Federated Low Rank Matrix Completion
von: Abbasi, Ahmed Ali, et al.
Veröffentlicht: (2024)

Different Prompts, Different Ranks: Prompt-aware Dynamic Rank Selection for SVD-based LLM Compression
von: Zhu, Hengyi, et al.
Veröffentlicht: (2026)

Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2025)

SVD-NO: Learning PDE Solution Operators with SVD Integral Kernels
von: Koren, Noam, et al.
Veröffentlicht: (2025)

Probe-Free Low-Rank Activation Intervention
von: Jiang, Chonghe, et al.
Veröffentlicht: (2025)

AA-SVD : Anchored and Adaptive SVD for Large Language Model Compression
von: Sinha, Atul Kumar, et al.
Veröffentlicht: (2026)

Dobi-SVD: Differentiable SVD for LLM Compression and Some New Perspectives
von: Wang, Qinsi, et al.
Veröffentlicht: (2025)

Efficient GPU implementation of randomized SVD and its applications
von: Struski, Łukasz, et al.
Veröffentlicht: (2021)

On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning
von: Ahmad, Muhammad, et al.
Veröffentlicht: (2026)

LANCE: Low Rank Activation Compression for Efficient On-Device Continual Learning
von: Apolinario, Marco Paul E., et al.
Veröffentlicht: (2025)

Low-Rank Learning by Design: the Role of Network Architecture and Activation Linearity in Gradient Rank Collapse
von: Baker, Bradley T., et al.
Veröffentlicht: (2024)

Learning Neural Networks with Sparse Activations
von: Awasthi, Pranjal, et al.
Veröffentlicht: (2024)

Efficient Low-Rank Matrix Estimation, Experimental Design, and Arm-Set-Dependent Low-Rank Bandits
von: Jang, Kyoungseok, et al.
Veröffentlicht: (2024)

Emergent Low-Rank Training Dynamics in MLPs with Smooth Activations
von: Xu, Alec S., et al.
Veröffentlicht: (2026)

Geometric Flow Models over Neural Network Weights
von: Erdogan, Ege
Veröffentlicht: (2025)

R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference
von: Zhang, Zhenyu, et al.
Veröffentlicht: (2025)

Efficient Pre-Training of LLMs through Truncated SVD Layers
von: Kamali, Kaivan, et al.
Veröffentlicht: (2026)

Efficient Generalized Low-Rank Tensor Contextual Bandits
von: Yi, Qianxin, et al.
Veröffentlicht: (2023)

Efficient Pareto Manifold Learning with Low-Rank Structure
von: Chen, Weiyu, et al.
Veröffentlicht: (2024)

ELAS: Efficient Pre-Training of Low-Rank Large Language Models via 2:4 Activation Sparsity
von: Li, Jiaxi, et al.
Veröffentlicht: (2026)

SAFE-SVD: Sensitivity-Aware Fidelity-Enforcing SVD for Physics Foundation Models
von: Hong, Chengjie, et al.
Veröffentlicht: (2026)

PCA, SVD, and Centering of Data
von: Kim, Donggun, et al.
Veröffentlicht: (2023)

Efficient Frameworks for Generalized Low-Rank Matrix Bandit Problems
von: Kang, Yue, et al.
Veröffentlicht: (2024)

BALF: Budgeted Activation-Aware Low-Rank Factorization for Fine-Tuning-Free Model Compression
von: González-Martínez, David
Veröffentlicht: (2025)

ScaLoRA: Optimally Scaled Low-Rank Adaptation for Efficient High-Rank Fine-Tuning
von: Zhang, Yilang, et al.
Veröffentlicht: (2025)

$k$-SVD with Gradient Descent
von: Jedra, Yassir, et al.
Veröffentlicht: (2025)

Efficient Parametric SVD of Koopman Operator for Stochastic Dynamical Systems
von: Jeong, Minchan, et al.
Veröffentlicht: (2025)