Buchumschlag

SLaB: Sparse-Lowrank-Binary Decomposition for Efficient Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Ziwei, Ma, Yuang, Kang, Yi
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SLaNC: Static LayerNorm Calibration
von: Salmani, Mahsa, et al.
Veröffentlicht: (2024)

Sparse Decomposition of Graph Neural Networks
von: Hu, Yaochen, et al.
Veröffentlicht: (2024)

CALR: Corrective Adaptive Low-Rank Decomposition for Efficient Large Language Model Layer Compression
von: Kautsar, Muchammad Daniyal, et al.
Veröffentlicht: (2025)

CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning
von: Yang, Yibo, et al.
Veröffentlicht: (2024)

SparseDM: Toward Sparse Efficient Diffusion Models
von: Wang, Kafeng, et al.
Veröffentlicht: (2024)

PermLLM: Learnable Channel Permutation for N:M Sparse Large Language Models
von: Zou, Lancheng, et al.
Veröffentlicht: (2025)

Singular Value Decomposition on Kronecker Adaptation for Large Language Model
von: Chong, Yee Hin, et al.
Veröffentlicht: (2025)

Steering Large Language Model Activations in Sparse Spaces
von: Bayat, Reza, et al.
Veröffentlicht: (2025)

SLaVA-CXR: Small Language and Vision Assistant for Chest X-ray Report Automation
von: Wu, Jinge, et al.
Veröffentlicht: (2024)

LEAD: Length-Efficient Adaptive and Dynamic Reasoning for Large Language Models
von: Wei, Songtao, et al.
Veröffentlicht: (2026)

Skewed Memorization in Large Language Models: Quantification and Decomposition
von: Li, Hao, et al.
Veröffentlicht: (2025)

Binary Autoencoder for Mechanistic Interpretability of Large Language Models
von: Cho, Hakaze, et al.
Veröffentlicht: (2025)

Disentangled Parameter-Efficient Linear Model for Long-Term Time Series Forecasting
von: Zhao, Yuang, et al.
Veröffentlicht: (2024)

Factorization-in-Loop: Proximal Fill-in Minimization for Sparse Matrix Reordering
von: Li, Ziwei, et al.
Veröffentlicht: (2025)

Hallucination is Inevitable: An Innate Limitation of Large Language Models
von: Xu, Ziwei, et al.
Veröffentlicht: (2024)

E-Sparse: Boosting the Large Language Model Inference through Entropy-based N:M Sparsity
von: Li, Yun, et al.
Veröffentlicht: (2023)

EdgeMoE: Empowering Sparse Large Language Models on Mobile Devices
von: Yi, Rongjie, et al.
Veröffentlicht: (2023)

Reinforcement Learning Fine-Tunes a Sparse Subnetwork in Large Language Models
von: Balashov, Andrii
Veröffentlicht: (2025)

HadamRNN: Binary and Sparse Ternary Orthogonal RNNs
von: Foucault, Armand, et al.
Veröffentlicht: (2025)

ES-dLLM: Efficient Inference for Diffusion Large Language Models by Early-Skipping
von: Zhu, Zijian, et al.
Veröffentlicht: (2026)

Binary Classifier Optimization for Large Language Model Alignment
von: Jung, Seungjae, et al.
Veröffentlicht: (2024)

Generalizing Scaling Laws for Dense and Sparse Large Language Models
von: Hossain, Md Arafat, et al.
Veröffentlicht: (2025)

Symmetric Pruning of Large Language Models
von: Yi, Kai, et al.
Veröffentlicht: (2025)

Revis: Sparse Latent Steering to Mitigate Object Hallucination in Large Vision-Language Models
von: Wu, Jialin, et al.
Veröffentlicht: (2026)

RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models
von: Wei, Quan, et al.
Veröffentlicht: (2025)

MicroMix: Efficient Mixed-Precision Quantization with Microscaling Formats for Large Language Models
von: Liu, Wenyuan, et al.
Veröffentlicht: (2025)

Sparse is Enough in Fine-tuning Pre-trained Large Language Models
von: Song, Weixi, et al.
Veröffentlicht: (2023)

Beyond Frequency: The Role of Redundancy in Large Language Model Memorization
von: Zhang, Jie, et al.
Veröffentlicht: (2025)

Understanding and Guiding Layer Placement in Parameter-Efficient Fine-Tuning of Large Language Models
von: Xu, Yichen, et al.
Veröffentlicht: (2026)

Scaling Sparse Fine-Tuning to Large Language Models
von: Ansell, Alan, et al.
Veröffentlicht: (2024)

Efficient Handwriting-Based Alzheimer,s Disease Diagnosis Using a Low-Rank Mixture of Experts Deep Learning Framework
von: Wang, Wu, et al.
Veröffentlicht: (2026)

CURing Large Models: Compression via CUR Decomposition
von: Park, Sanghyeon, et al.
Veröffentlicht: (2025)

RADAR: Learning to Route with Asymmetry-aware DistAnce Representations
von: Yi, Hang, et al.
Veröffentlicht: (2026)

Evaluating Binary Decision Biases in Large Language Models: Implications for Fair Agent-Based Financial Simulations
von: Vidler, Alicia, et al.
Veröffentlicht: (2025)

DiRL: An Efficient Post-Training Framework for Diffusion Language Models
von: Zhu, Ying, et al.
Veröffentlicht: (2025)

Toward Efficient Exploration by Large Language Model Agents
von: Arumugam, Dilip, et al.
Veröffentlicht: (2025)

Identifying Sparsely Active Circuits Through Local Loss Landscape Decomposition
von: Chrisman, Brianna, et al.
Veröffentlicht: (2025)

OATS: Outlier-Aware Pruning Through Sparse and Low Rank Decomposition
von: Zhang, Stephen, et al.
Veröffentlicht: (2024)

Auditing Language Model Unlearning via Information Decomposition
von: Goel, Anmol, et al.
Veröffentlicht: (2026)

Efficient Low Rank Attention for Long-Context Inference in Large Language Models
von: Li, Tenghui, et al.
Veröffentlicht: (2025)