Buchumschlag

HASSLE-free: A unified Framework for Sparse plus Low-Rank Matrix Decomposition for LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Makni, Mehdi, Behdin, Kayhan, Xu, Zheng, Ponomareva, Natalia, Mazumder, Rahul
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

3BASiL: An Algorithmic Framework for Sparse plus Low-Rank Compression of LLMs
von: Makni, Mehdi, et al.
Veröffentlicht: (2026)

An Optimization Framework for Differentially Private Sparse Fine-Tuning
von: Makni, Mehdi, et al.
Veröffentlicht: (2025)

Sparse NMF with Archetypal Regularization: Computational and Robustness Properties
von: Behdin, Kayhan, et al.
Veröffentlicht: (2021)

Sparse Gaussian Graphical Models with Discrete Optimization: Computational and Statistical Perspectives
von: Behdin, Kayhan, et al.
Veröffentlicht: (2023)

TSENOR: Highly-Efficient Algorithm for Finding Transposable N:M Sparse Masks
von: Meng, Xiang, et al.
Veröffentlicht: (2025)

ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models
von: Meng, Xiang, et al.
Veröffentlicht: (2024)

End-to-end Feature Selection Approach for Learning Skinny Trees
von: Ibrahim, Shibal, et al.
Veröffentlicht: (2023)

OSSCAR: One-Shot Structured Pruning in Vision and Language Models with Combinatorial Optimization
von: Meng, Xiang, et al.
Veröffentlicht: (2024)

Differentially Private High-dimensional Variable Selection via Integer Programming
von: Prastakos, Petros, et al.
Veröffentlicht: (2025)

Sparse PCA: A New Scalable Estimator Based On Integer Programming
von: Behdin, Kayhan, et al.
Veröffentlicht: (2021)

Multi-Task Learning for Sparsity Pattern Heterogeneity: Statistical and Computational Perspectives
von: Behdin, Kayhan, et al.
Veröffentlicht: (2022)

ADMM-Q: An Improved Hessian-based Weight Quantizer for Post-Training Quantization of Large Language Models
von: Lucas, Ryan, et al.
Veröffentlicht: (2026)

Robust Batch-Level Query Routing for Large Language Models under Cost and Capacity Constraints
von: Markovic-Voronov, Jelena, et al.
Veröffentlicht: (2026)

Modeling with Categorical Features via Exact Fusion and Sparsity Regularisation
von: Behdin, Kayhan, et al.
Veröffentlicht: (2026)

Preserving Deep Representations In One-Shot Pruning: A Hessian-Free Second-Order Optimization Framework
von: Lucas, Ryan, et al.
Veröffentlicht: (2024)

FAST: An Optimization Framework for Fast Additive Segmentation in Transparent ML
von: Liu, Brian, et al.
Veröffentlicht: (2024)

Towards Understanding the Nature of Attention with Low-Rank Sparse Decomposition
von: He, Zhengfu, et al.
Veröffentlicht: (2025)

OATS: Outlier-Aware Pruning Through Sparse and Low Rank Decomposition
von: Zhang, Stephen, et al.
Veröffentlicht: (2024)

LoLA: Low-Rank Linear Attention With Sparse Caching
von: McDermott, Luke, et al.
Veröffentlicht: (2025)

Randomization Can Reduce Both Bias and Variance: A Case Study in Random Forests
von: Liu, Brian, et al.
Veröffentlicht: (2024)

Efficient Frameworks for Generalized Low-Rank Matrix Bandit Problems
von: Kang, Yue, et al.
Veröffentlicht: (2024)

BP-Seg: A graphical model approach to unsupervised and non-contiguous text segmentation using belief propagation
von: Li, Fengyi, et al.
Veröffentlicht: (2025)

Convexity in Disguise: A Theoretical Framework for Nonconvex Low-Rank Matrix Estimation
von: Cui, Chengyu, et al.
Veröffentlicht: (2026)

Low-Rank Plus Sparse Matrix Transfer Learning under Growing Representations and Ambient Dimensions
von: Chai, Jinhang, et al.
Veröffentlicht: (2026)

On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning
von: Ahmad, Muhammad, et al.
Veröffentlicht: (2026)

Model-free Low-Rank Reinforcement Learning via Leveraged Entry-wise Matrix Estimation
von: Stojanovic, Stefan, et al.
Veröffentlicht: (2024)

Tailed Low-Rank Matrix Factorization for Similarity Matrix Completion
von: Ma, Changyi, et al.
Veröffentlicht: (2024)

Dynamic Low-Rank Sparse Adaptation for Large Language Models
von: Huang, Weizhong, et al.
Veröffentlicht: (2025)

Scaling Down, Serving Fast: Compressing and Deploying Efficient LLMs for Recommendation Systems
von: Behdin, Kayhan, et al.
Veröffentlicht: (2025)

A Probabilistic Basis for Low-Rank Matrix Learning
von: Segert, Simon, et al.
Veröffentlicht: (2025)

MOSS: Multi-Objective Optimization for Stable Rule Sets
von: Liu, Brian, et al.
Veröffentlicht: (2025)

Low-Rank Adapting Models for Sparse Autoencoders
von: Chen, Matthew, et al.
Veröffentlicht: (2025)

MOONSHOT : A Framework for Multi-Objective Pruning of Vision and Large Language Models
von: Afriat, Gabriel, et al.
Veröffentlicht: (2026)

FlexRank: Nested Low-Rank Knowledge Decomposition for Adaptive Model Deployment
von: Zaccone, Riccardo, et al.
Veröffentlicht: (2026)

Low-Rank Extragradient Method for Nonsmooth and Low-Rank Matrix Optimization Problems
von: Garber, Dan, et al.
Veröffentlicht: (2022)

Low-Rank Mirror-Prox for Nonsmooth and Low-Rank Matrix Optimization Problems
von: Garber, Dan, et al.
Veröffentlicht: (2022)

CoreFlow: Low-Rank Matrix Generative Models
von: Wu, Dongze, et al.
Veröffentlicht: (2026)

Efficient Low-Rank Matrix Estimation, Experimental Design, and Arm-Set-Dependent Low-Rank Bandits
von: Jang, Kyoungseok, et al.
Veröffentlicht: (2024)

Low-Rank Correction for Quantized LLMs
von: Scetbon, Meyer, et al.
Veröffentlicht: (2024)

Extracting Interpretable Models from Tree Ensembles: Computational and Statistical Perspectives
von: Liu, Brian, et al.
Veröffentlicht: (2025)