Buchumschlag

Accelerating the Low-Rank Decomposed Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hajimolahoseini, Habib, Ahmed, Walid, Wen, Austin, Liu, Yang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Training Acceleration of Low-Rank Decomposed Networks using Sequential Freezing and Rank Quantization
von: Hajimolahoseini, Habib, et al.
Veröffentlicht: (2023)

Improving Resnet-9 Generalization Trained on Small Datasets
von: Awad, Omar Mohamed, et al.
Veröffentlicht: (2023)

GQKVA: Efficient Pre-training of Transformers by Grouping Queries, Keys, and Values
von: Javadi, Farnoosh, et al.
Veröffentlicht: (2023)

Single Parent Family: A Spectrum of Family Members from a Single Pre-Trained Foundation Model
von: Hajimolahoseini, Habib, et al.
Veröffentlicht: (2024)

Is 3D Convolution with 5D Tensors Really Necessary for Video Analysis?
von: Hajimolahoseini, Habib, et al.
Veröffentlicht: (2024)

BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation
von: Qin, Peijia, et al.
Veröffentlicht: (2024)

LCQ: Low-Rank Codebook based Quantization for Large Language Models
von: Cai, Wen-Pu, et al.
Veröffentlicht: (2024)

SkipViT: Speeding Up Vision Transformers with a Token-Level Skip Connection
von: Ataiefard, Foozhan, et al.
Veröffentlicht: (2024)

Batched Low-Rank Adaptation of Foundation Models
von: Wen, Yeming, et al.
Veröffentlicht: (2023)

EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition
von: Nasiri, Hamid, et al.
Veröffentlicht: (2025)

SlimSpec: Low-Rank Draft LM-Head for Accelerated Speculative Decoding
von: Plaksin, Anton, et al.
Veröffentlicht: (2026)

SoftLMs: Efficient Adaptive Low-Rank Approximation of Language Models using Soft-Thresholding Mechanism
von: Bhatnagar, Priyansh, et al.
Veröffentlicht: (2024)

DoTA: Weight-Decomposed Tensor Adaptation for Large Language Models
von: Hu, Xiaolin, et al.
Veröffentlicht: (2024)

Exploring Context Window of Large Language Models via Decomposed Positional Vectors
von: Dong, Zican, et al.
Veröffentlicht: (2024)

NOBLE: Accelerating Transformers with Nonlinear Low-Rank Branches
von: Smith, Ethan
Veröffentlicht: (2026)

FLOP-Efficient Training: Early Stopping Based on Test-Time Compute Awareness
von: Amer, Hossam, et al.
Veröffentlicht: (2026)

Bayesian Mixture of Experts For Large Language Models
von: Dialameh, Maryam, et al.
Veröffentlicht: (2025)

MAP: Revisiting Weight Decomposition for Low-Rank Adaptation
von: Si, Chongjie, et al.
Veröffentlicht: (2025)

Low-rank Optimization Trajectories Modeling for LLM RLVR Acceleration
von: Chen, Zhipeng, et al.
Veröffentlicht: (2026)

Beyond Higher Rank: Token-wise Input-Output Projections for Efficient Low-Rank Adaptation
von: Li, Shiwei, et al.
Veröffentlicht: (2025)

Dynamic Rank Reinforcement Learning for Adaptive Low-Rank Multi-Head Self Attention in Large Language Models
von: Erden, Caner
Veröffentlicht: (2025)

Fast Forwarding Low-Rank Training
von: Rahamim, Adir, et al.
Veröffentlicht: (2024)

Sequences of Logits Reveal the Low Rank Structure of Language Models
von: Golowich, Noah, et al.
Veröffentlicht: (2025)

Adaptive Feature-based Low-Rank Compression of Large Language Models via Bayesian Optimization
von: Ji, Yixin, et al.
Veröffentlicht: (2024)

LaMDA: Large Model Fine-Tuning via Spectrally Decomposed Low-Dimensional Adaptation
von: Azizi, Seyedarmin, et al.
Veröffentlicht: (2024)

Reinterpreting 'the Company a Word Keeps': Towards Explainable and Ontologically Grounded Language Models
von: Saba, Walid S.
Veröffentlicht: (2024)

Unlocking the Global Synergies in Low-Rank Adapters
von: Zhang, Zixi, et al.
Veröffentlicht: (2024)

MoR: Mixture of Ranks for Low-Rank Adaptation Tuning
von: Tang, Chuanyu, et al.
Veröffentlicht: (2024)

ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals
von: Saxena, Utkarsh, et al.
Veröffentlicht: (2024)

FlexiGPT: Pruning and Extending Large Language Models with Low-Rank Weight Sharing
von: Smith, James Seale, et al.
Veröffentlicht: (2025)

Urdu Dependency Parsing and Treebank Development: A Syntactic and Morphological Perspective
von: Habib, Nudrat
Veröffentlicht: (2024)

LQER: Low-Rank Quantization Error Reconstruction for LLMs
von: Zhang, Cheng, et al.
Veröffentlicht: (2024)

LoQT: Low-Rank Adapters for Quantized Pretraining
von: Loeschcke, Sebastian, et al.
Veröffentlicht: (2024)

A Bayesian Interpretation of Adaptive Low-Rank Adaptation
von: Chen, Haolin, et al.
Veröffentlicht: (2024)

Contextually Guided Transformers via Low-Rank Adaptation
von: Zhmoginov, Andrey, et al.
Veröffentlicht: (2025)

Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM
von: Solgi, Ryan, et al.
Veröffentlicht: (2025)

BoRA: Bayesian Hierarchical Low-Rank Adaption for Multi-Task Large Language Models
von: Eide, Simen, et al.
Veröffentlicht: (2024)

CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models
von: Xiao, Xiaojun, et al.
Veröffentlicht: (2024)

SARA: Singular-Value Based Adaptive Low-Rank Adaption
von: Gu, Jihao, et al.
Veröffentlicht: (2024)

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
von: Wang, Shaowen, et al.
Veröffentlicht: (2024)