Buchumschlag

Geometry is All You Need: A Unified Taxonomy of Matrix and Tensor Factorization for Compression of Generative Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xu, Mingxue, Sharmin, Sadia, Mandic, Danilo P.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning Numerical Analysis
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

TensorSLM: Energy-efficient Embedding Compression of Sub-billion Parameter Language Models on Low-end Devices
von: Xu, Mingxue, et al.
Veröffentlicht: (2025)

TensorGPT: Efficient Compression of Large Language Models based on Tensor-Train Decomposition
von: Xu, Mingxue, et al.
Veröffentlicht: (2023)

UAdam: Unified Adam-Type Algorithmic Framework for Non-Convex Stochastic Optimization
von: Jiang, Yiming, et al.
Veröffentlicht: (2023)

Positional Knowledge is All You Need: Position-induced Transformer (PiT) for Operator Learning
von: Chen, Junfeng, et al.
Veröffentlicht: (2024)

Convolutional Surrogate for 3D Discrete Fracture-Matrix Tensor Upscaling
von: Špetlík, Martin, et al.
Veröffentlicht: (2026)

Coseparable Nonnegative Tensor Factorization With T-CUR Decomposition
von: Chen, Juefei, et al.
Veröffentlicht: (2024)

Sample Efficient Learning of Factored Embeddings of Tensor Fields
von: Heo, Taemin, et al.
Veröffentlicht: (2022)

Maximal Volume Matrix Cross Approximation for Image Compression and Least Squares Solution
von: Allen, Kenneth, et al.
Veröffentlicht: (2023)

Concatenated Matrix SVD: Compression Bounds, Incremental Approximation, and Error-Constrained Clustering
von: Shamrai, Maksym
Veröffentlicht: (2026)

Gradient is All You Need? How Consensus-Based Optimization can be Interpreted as a Stochastic Relaxation of Gradient Descent
von: Riedl, Konstantin, et al.
Veröffentlicht: (2023)

Geometry-Preserving Encoder/Decoder in Latent Generative Models
von: Lee, Wonjun, et al.
Veröffentlicht: (2025)

Generalized Canonical Polyadic Tensor Decompositions with General Symmetry
von: Mulrooney, Alex, et al.
Veröffentlicht: (2026)

A New Tensor Network: Tubal Tensor Train and Its Applications
von: Ahmadi-Asl, Salman, et al.
Veröffentlicht: (2026)

Lee and Seung (2000)'s Algorithms for Non-negative Matrix Factorization: A Supplementary Proof Guide
von: Cho, Sungjae
Veröffentlicht: (2025)

Fourier Neural Operator with Learned Deformations for PDEs on General Geometries
von: Li, Zongyi, et al.
Veröffentlicht: (2022)

Transolver: A Fast Transformer Solver for PDEs on General Geometries
von: Wu, Haixu, et al.
Veröffentlicht: (2024)

Lower Bounds for the Convergence of Tensor Power Iteration on Random Overcomplete Models
von: Wu, Yuchen, et al.
Veröffentlicht: (2022)

Maximum-Volume Nonnegative Matrix Factorization
von: Thanh, Olivier Vu, et al.
Veröffentlicht: (2026)

TensorLLM: Tensorising Multi-Head Attention for Enhanced Reasoning and Compression in LLMs
von: Gu, Yuxuan, et al.
Veröffentlicht: (2025)

Deep Nonnegative Matrix Factorization with Beta Divergences
von: Leplat, Valentin, et al.
Veröffentlicht: (2023)

Matrix Decomposition and Applications
von: Lu, Jun
Veröffentlicht: (2022)

High-Resolution Tensor-Network Fourier Methods for Exponentially Compressed Non-Gaussian Aggregate Distributions
von: Rodríguez-Aldavero, Juan José, et al.
Veröffentlicht: (2026)

Sharp Analysis of Power Iteration for Tensor PCA
von: Wu, Yuchen, et al.
Veröffentlicht: (2024)

Efficient Tensor Completion Algorithms for Highly Oscillatory Operators
von: Singh, Navjot, et al.
Veröffentlicht: (2025)

A Unified Approach to Analysis and Design of Denoising Markov Models
von: Ren, Yinuo, et al.
Veröffentlicht: (2025)

Solving All Regression Models For Learning Gaussian Networks Using Givens Rotations
von: Alipourfard, Borzou, et al.
Veröffentlicht: (2019)

State-Dependent Lyapunov Method for Rank-1 Matrix Factorization
von: Moon, Jaehong
Veröffentlicht: (2026)

Time Extrapolation with Graph Convolutional Autoencoder and Tensor Train Decomposition
von: Chen, Yuanhong, et al.
Veröffentlicht: (2025)

Variational Bayesian Inference for Tensor Robust Principal Component Analysis
von: Wang, Chao, et al.
Veröffentlicht: (2024)

Guaranteed Sampling Flexibility for Low-tubal-rank Tensor Completion
von: Su, Bowen, et al.
Veröffentlicht: (2024)

Quantile-Based Randomized Kaczmarz for Corrupted Tensor Linear Systems
von: Castillo, Alejandra, et al.
Veröffentlicht: (2025)

Lipschitz-Guided Design of Interpolation Schedules in Generative Models
von: Chen, Yifan, et al.
Veröffentlicht: (2025)

Bridging the Compression-Precision Paradox: A Hybrid Architecture for Clinical EEG Report Generation with Guaranteed Measurement Accuracy
von: Zhang, Wuyang, et al.
Veröffentlicht: (2026)

Tensor Completion with Nearly Linear Samples Given Weak Side Information
von: Yu, Christina Lee, et al.
Veröffentlicht: (2020)

Tensor Decomposition Meets RKHS: Efficient Algorithms for Smooth and Misaligned Data
von: Larsen, Brett W., et al.
Veröffentlicht: (2024)

Tensor train completion: local recovery guarantees via Riemannian optimization
von: Budzinskiy, Stanislav, et al.
Veröffentlicht: (2021)

Physics-Informed Geometry-Aware Neural Operator
von: Zhong, Weiheng, et al.
Veröffentlicht: (2024)

Randomized Tensor Ring Decomposition and Its Application to Large-scale Data Reconstruction
von: Yuan, Longhao, et al.
Veröffentlicht: (2019)

Variational Matrix-Learning Fourier Networks for Parametric Multiphysics Surrogates
von: Li, Xinyu, et al.
Veröffentlicht: (2026)

CodePDE: An Inference Framework for LLM-driven PDE Solver Generation
von: Li, Shanda, et al.
Veröffentlicht: (2025)