Buchumschlag

Maestro: Uncovering Low-Rank Structures via Trainable Decomposition

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Horvath, Samuel, Laskaridis, Stefanos, Rajput, Shashank, Wang, Hongyi
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FlexRank: Nested Low-Rank Knowledge Decomposition for Adaptive Model Deployment
von: Zaccone, Riccardo, et al.
Veröffentlicht: (2026)

LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning
von: Tastan, Nurbek, et al.
Veröffentlicht: (2025)

MoSE: Mixture of Slimmable Experts for Efficient and Adaptive Language Models
von: Tastan, Nurbek, et al.
Veröffentlicht: (2026)

MELTing point: Mobile Evaluation of Language Transformers
von: Laskaridis, Stefanos, et al.
Veröffentlicht: (2024)

NoEsis: Differentially Private Knowledge Transfer in Modular LLM Adaptation
von: Romijnders, Rob, et al.
Veröffentlicht: (2025)

The Future of Consumer Edge-AI Computing
von: Laskaridis, Stefanos, et al.
Veröffentlicht: (2022)

Attractor Patch Networks: Reducing Catastrophic Forgetting with Routed Low-Rank Patch Experts
von: Shashank
Veröffentlicht: (2026)

Beyond Over-smoothing: Uncovering the Trainability Challenges in Deep Graph Neural Networks
von: Peng, Jie, et al.
Veröffentlicht: (2024)

Compressed BC-LISTA via Low-Rank Convolutional Decomposition
von: Wang, Han, et al.
Veröffentlicht: (2026)

Structured Variational $D$-Decomposition for Accurate and Stable Low-Rank Approximation
von: Katende, Ronald
Veröffentlicht: (2025)

Safe, Efficient, and Robust Reinforcement Learning for Ranking and Diffusion Models
von: Gupta, Shashank
Veröffentlicht: (2025)

Conjugate Learning Theory: Uncovering the Mechanisms of Trainability and Generalization in Deep Neural Networks
von: Qi, Binchuan
Veröffentlicht: (2026)

Structure-Preserving Margin Distribution Learning for High-Order Tensor Data with Low-Rank Decomposition
von: Xu, Yang, et al.
Veröffentlicht: (2025)

MAP: Revisiting Weight Decomposition for Low-Rank Adaptation
von: Si, Chongjie, et al.
Veröffentlicht: (2025)

Decoupling General and Personalized Knowledge in Federated Learning via Additive and Low-Rank Decomposition
von: Wu, Xinghao, et al.
Veröffentlicht: (2024)

A Trainable Optimizer
von: Wang, Ruiqi, et al.
Veröffentlicht: (2025)

Optimal Brain Decomposition for Accurate LLM Low-Rank Approximation
von: Li, Yuhang, et al.
Veröffentlicht: (2026)

SageBwd: A Trainable Low-bit Attention
von: Zhang, Jintao, et al.
Veröffentlicht: (2026)

Towards Understanding the Nature of Attention with Low-Rank Sparse Decomposition
von: He, Zhengfu, et al.
Veröffentlicht: (2025)

Initialization using Update Approximation is a Silver Bullet for Extremely Efficient Low-Rank Fine-Tuning
von: Ponkshe, Kaustubh, et al.
Veröffentlicht: (2024)

Low-Rank Tensor Decompositions for the Theory of Neural Networks
von: Borsoi, Ricardo, et al.
Veröffentlicht: (2025)

Importance-Guided Basis Selection for Low-Rank Decomposition of Large Language Models
von: Asante, Daniel Agyei, et al.
Veröffentlicht: (2026)

On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning
von: Ahmad, Muhammad, et al.
Veröffentlicht: (2026)

A Disentangled Low-Rank RNN Framework for Uncovering Neural Connectivity and Dynamics
von: Li, Chengrui, et al.
Veröffentlicht: (2025)

Communication-Efficient Personalized Federal Graph Learning via Low-Rank Decomposition
von: Liu, Ruyue, et al.
Veröffentlicht: (2024)

MUXQ: Mixed-to-Uniform Precision MatriX Quantization via Low-Rank Outlier Decomposition
von: Lee, Seoungsub, et al.
Veröffentlicht: (2026)

Proximal Ranking Policy Optimization for Practical Safety in Counterfactual Learning to Rank
von: Gupta, Shashank, et al.
Veröffentlicht: (2024)

LASER: Loss-Aware Singular-value Decomposition and Rank Allocation for Efficient Low-Precision Vision-Language Models
von: Wang, Haiyu, et al.
Veröffentlicht: (2026)

OATS: Outlier-Aware Pruning Through Sparse and Low Rank Decomposition
von: Zhang, Stephen, et al.
Veröffentlicht: (2024)

Optimal Policy Sparsification and Low Rank Decomposition for Deep Reinforcement Learning
von: Goddla, Vikram
Veröffentlicht: (2024)

Neural Network Training via Stochastic Alternating Minimization with Trainable Step Sizes
von: Yan, Chengcheng, et al.
Veröffentlicht: (2025)

A collection of the accepted papers for the Human-Centric Representation Learning workshop at AAAI 2024
von: Spathis, Dimitris, et al.
Veröffentlicht: (2024)

Generalising Battery Control in Net-Zero Buildings via Personalised Federated RL
von: Avila, Nicolas M Cuadrado, et al.
Veröffentlicht: (2024)

The Panaceas for Improving Low-Rank Decomposition in Communication-Efficient Federated Learning
von: Li, Shiwei, et al.
Veröffentlicht: (2025)

Compressing Large Language Models using Low Rank and Low Precision Decomposition
von: Saha, Rajarshi, et al.
Veröffentlicht: (2024)

Vanishing Feature: Diagnosing Model Merging and Beyond
von: Qu, Xingyu, et al.
Veröffentlicht: (2024)

MLOW: Interpretable Low-Rank Frequency Magnitude Decomposition of Multiple Effects for Time Series Forecasting
von: Yang, Runze, et al.
Veröffentlicht: (2026)

HASSLE-free: A unified Framework for Sparse plus Low-Rank Matrix Decomposition for LLMs
von: Makni, Mehdi, et al.
Veröffentlicht: (2025)

Efficient Pareto Manifold Learning with Low-Rank Structure
von: Chen, Weiyu, et al.
Veröffentlicht: (2024)

On the Trainability of Masked Diffusion Language Models via Blockwise Locality
von: Wang, Yuxiang, et al.
Veröffentlicht: (2026)