Buchumschlag

Low-Rank Tensor Approximation of Weights in Large Language Models via Cosine Lanczos Bidiagonalization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ichi, A. El, Jbilou, K.
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Dimensionality Reduction on Riemannian Manifolds in Data Analysis
von: Ichi, Alaa El, et al.
Veröffentlicht: (2026)

A Computationally Efficient Multidimensional Vision Transformer
von: Ichi, Alaa El, et al.
Veröffentlicht: (2026)

Addressing Finite-Horizon MDPs via Low-Rank Tensor Value Approximation
von: Rozada, Sergio, et al.
Veröffentlicht: (2025)

Multidimensional Task Learning: A Unified Tensor Framework for Computer Vision Tasks
von: Ichi, Alaa El, et al.
Veröffentlicht: (2026)

Reweighted Solutions for Weighted Low Rank Approximation
von: Woodruff, David P., et al.
Veröffentlicht: (2024)

LoTR: Low Tensor Rank Weight Adaptation
von: Bershatsky, Daniel, et al.
Veröffentlicht: (2024)

A Random Matrix Approach to Low-Multilinear-Rank Tensor Approximation
von: Lebeau, Hugo, et al.
Veröffentlicht: (2024)

Multilinear Tensor Low-Rank Approximation for Policy-Gradient Methods in Reinforcement Learning
von: Rozada, Sergio, et al.
Veröffentlicht: (2025)

WSVD: Weighted Low-Rank Approximation for Fast and Efficient Execution of Low-Precision Vision-Language Models
von: Wang, Haiyu, et al.
Veröffentlicht: (2026)

Tensor and Matrix Low-Rank Value-Function Approximation in Reinforcement Learning
von: Rozada, Sergio, et al.
Veröffentlicht: (2022)

Efficient Alternating Minimization with Applications to Weighted Low Rank Approximation
von: Song, Zhao, et al.
Veröffentlicht: (2023)

A Tensor Low-Rank Approximation for Value Functions in Multi-Task Reinforcement Learning
von: Rozada, Sergio, et al.
Veröffentlicht: (2025)

FlexiGPT: Pruning and Extending Large Language Models with Low-Rank Weight Sharing
von: Smith, James Seale, et al.
Veröffentlicht: (2025)

Low-Rank Tensor Learning by Generalized Nonconvex Regularization
von: Xia, Sijia, et al.
Veröffentlicht: (2024)

Score-Based Model for Low-Rank Tensor Recovery
von: Cheng, Zhengyun, et al.
Veröffentlicht: (2025)

Low Rank Tensor Completion via Adaptive ADMM
von: Führling, Niclas, et al.
Veröffentlicht: (2026)

Rethinking Layer Relevance in Large Language Models Beyond Cosine Similarity
von: Hinostroza, Cristian, et al.
Veröffentlicht: (2026)

Performance of Rank-One Tensor Approximation on Incomplete Data
von: Lebeau, Hugo
Veröffentlicht: (2025)

D-QRELO: Training- and Data-Free Delta Compression for Large Language Models via Quantization and Residual Low-Rank Approximation
von: Li, Junlin, et al.
Veröffentlicht: (2026)

Low-Rank Tensors for Multi-Dimensional Markov Models
von: Navarro, Madeline, et al.
Veröffentlicht: (2024)

DoTA: Weight-Decomposed Tensor Adaptation for Large Language Models
von: Hu, Xiaolin, et al.
Veröffentlicht: (2024)

Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks
von: Gao, Yihang, et al.
Veröffentlicht: (2025)

SALAAD: Sparse And Low-Rank Adaptation via ADMM for Large Language Model Inference
von: Ma, Hao, et al.
Veröffentlicht: (2026)

Gamma Mixture Modeling for Cosine Similarity in Small Language Models
von: Player, Kevin
Veröffentlicht: (2025)

Efficient Computation of Dominant Eigenvalues Using Adaptive Block Lanczos with Chebyshev Filtering
von: Guide, M. El, et al.
Veröffentlicht: (2025)

Structured Multidimensional Representation Learning for Large Language Models
von: Ichi, Alaa El, et al.
Veröffentlicht: (2026)

Penalizing Localized Dirichlet Energies in Low Rank Tensor Products
von: Karakasis, Paris A., et al.
Veröffentlicht: (2026)

Dynamic Low-Rank Sparse Adaptation for Large Language Models
von: Huang, Weizhong, et al.
Veröffentlicht: (2025)

Decentralized Low-Rank Fine-Tuning of Large Language Models
von: Ghiasvand, Sajjad, et al.
Veröffentlicht: (2025)

LRQ: Optimizing Post-Training Quantization for Large Language Models by Learning Low-Rank Weight-Scaling Matrices
von: Lee, Jung Hyun, et al.
Veröffentlicht: (2024)

LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

Lillama: Large Language Models Compression via Low-Rank Feature Distillation
von: Sy, Yaya, et al.
Veröffentlicht: (2024)

Efficient Generalized Low-Rank Tensor Contextual Bandits
von: Yi, Qianxin, et al.
Veröffentlicht: (2023)

Joint Bayesian Parameter and Model Order Estimation for Low-Rank Probability Mass Tensors
von: Chege, Joseph K., et al.
Veröffentlicht: (2024)

Locking Pretrained Weights via Deep Low-Rank Residual Distillation
von: Sakamoto, Keitaro, et al.
Veröffentlicht: (2026)

Low-Tubal-Rank Tensor Recovery via Factorized Gradient Descent
von: Liu, Zhiyu, et al.
Veröffentlicht: (2024)

Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models
von: Putterman, Theo, et al.
Veröffentlicht: (2024)

Low-Rank Compression of Language Models via Differentiable Rank Selection
von: Sundrani, Sidhant, et al.
Veröffentlicht: (2025)

TeRA: Vector-based Random Tensor Network for High-Rank Adaptation of Large Language Models
von: Gu, Yuxuan, et al.
Veröffentlicht: (2025)

DL-QAT: Weight-Decomposed Low-Rank Quantization-Aware Training for Large Language Models
von: Ke, Wenjin, et al.
Veröffentlicht: (2025)