Buchumschlag

PRAC: Principal-Random Subspace for LLM Activation Compression and Memory-Efficient Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Yanyi, Zhang, Yimu, Fang, Cong
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

AdaPM: a Partial Momentum Algorithm for LLM Training
von: Zhang, Yimu, et al.
Veröffentlicht: (2025)

OASIS: Online Activation Subspace Learning for Memory-Efficient Training
von: Choudhary, Sakshi, et al.
Veröffentlicht: (2026)

CompAct: Compressed Activations for Memory-Efficient LLM Training
von: Shamshoum, Yara, et al.
Veröffentlicht: (2024)

A Memory Efficient Randomized Subspace Optimization Method for Training Large Language Models
von: Chen, Yiming, et al.
Veröffentlicht: (2025)

Memory-Efficient LLM Training with Online Subspace Descent
von: Liang, Kaizhao, et al.
Veröffentlicht: (2024)

Lotus: Efficient LLM Training by Randomized Low-Rank Gradient Projection with Adaptive Subspace Switching
von: Miao, Tianhao, et al.
Veröffentlicht: (2026)

Randomized Gradient Subspaces for Efficient Large Language Model Training
von: Rajabi, Sahar, et al.
Veröffentlicht: (2025)

Efficient Orthogonal Fine-Tuning with Principal Subspace Adaptation
von: Wu, Fei, et al.
Veröffentlicht: (2025)

SUMO: Subspace-Aware Moment-Orthogonalization for Accelerating Memory-Efficient LLM Training
von: Refael, Yehonathan, et al.
Veröffentlicht: (2025)

COAT: Compressing Optimizer states and Activation for Memory-Efficient FP8 Training
von: Xi, Haocheng, et al.
Veröffentlicht: (2024)

Ultra Memory-Efficient On-FPGA Training of Transformers via Tensor-Compressed Optimization
von: Tian, Jiayi, et al.
Veröffentlicht: (2025)

Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2025)

Activation Compression in LLMs: Theoretical Analysis and Efficient Algorithm
von: Wei, Wen-Da, et al.
Veröffentlicht: (2026)

NSC-SL: A Bandwidth-Aware Neural Subspace Compression for Communication-Efficient Split Learning
von: Fang, Zhen, et al.
Veröffentlicht: (2026)

Adacc: An Adaptive Framework Unifying Compression and Activation Recomputation for LLM Training
von: Chen, Ping, et al.
Veröffentlicht: (2025)

SubTrack++ : Gradient Subspace Tracking for Scalable LLM Training
von: Rajabi, Sahar, et al.
Veröffentlicht: (2025)

Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM
von: Solgi, Ryan, et al.
Veröffentlicht: (2025)

Sub-MoE: Efficient Mixture-of-Expert LLMs Compression via Subspace Expert Merging
von: Li, Lujun, et al.
Veröffentlicht: (2025)

FOAM: Blocked State Folding for Memory-Efficient LLM Training
von: Wen, Ziqing, et al.
Veröffentlicht: (2025)

Grass: Compute Efficient Low-Memory LLM Training with Structured Sparse Gradients
von: Muhamed, Aashiq, et al.
Veröffentlicht: (2024)

BROS: Bias-Corrected Randomized Subspaces for Memory-Efficient Single-Loop Bilevel Optimization
von: Zhang, Hengrui, et al.
Veröffentlicht: (2026)

GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection
von: Zhao, Jiawei, et al.
Veröffentlicht: (2024)

Memory-Efficient LLM Training by Various-Grained Low-Rank Projection of Gradients
von: Wang, Yezhen, et al.
Veröffentlicht: (2025)

Efficient Resource-Constrained Training of Transformers via Subspace Optimization
von: Nguyen, Le-Trung, et al.
Veröffentlicht: (2025)

Less Memory Means smaller GPUs: Backpropagation with Compressed Activations
von: Barley, Daniel, et al.
Veröffentlicht: (2024)

EigenLoRAx: Recycling Adapters to Find Principal Subspaces for Resource-Efficient Adaptation and Inference
von: Kaushik, Prakhar, et al.
Veröffentlicht: (2025)

Low-Rank Compression of Pretrained Models via Randomized Subspace Iteration
von: Pourkamali-Anaraki, Farhad
Veröffentlicht: (2026)

SlimPipe: Memory-Thrifty and Efficient Pipeline Parallelism for Long-Context LLM Training
von: Li, Zhouyang, et al.
Veröffentlicht: (2025)

MLorc: Momentum Low-rank Compression for Memory Efficient Large Language Model Adaptation
von: Shen, Wei, et al.
Veröffentlicht: (2025)

Memory-Efficient Differentially Private Training with Gradient Random Projection
von: Mulrooney, Alex, et al.
Veröffentlicht: (2025)

NeuZip: Memory-Efficient Training and Inference with Dynamic Compression of Neural Networks
von: Hao, Yongchang, et al.
Veröffentlicht: (2024)

Learning Scalable Model Soup on a Single GPU: An Efficient Subspace Training Strategy
von: Li, Tao, et al.
Veröffentlicht: (2024)

Disentangling Interpretable Factors with Supervised Independent Subspace Principal Component Analysis
von: Su, Jiayu, et al.
Veröffentlicht: (2024)

Training Bayesian Neural Networks with Sparse Subspace Variational Inference
von: Li, Junbo, et al.
Veröffentlicht: (2024)

EDGC: Entropy-driven Dynamic Gradient Compression for Efficient LLM Training
von: Yi, Qingao, et al.
Veröffentlicht: (2025)

ROSA: Random Subspace Adaptation for Efficient Fine-Tuning
von: Hameed, Marawan Gamal Abdel, et al.
Veröffentlicht: (2024)

FASQ: Flexible Accelerated Subspace Quantization for Calibration-Free LLM Compression
von: Qiao, Ye, et al.
Veröffentlicht: (2026)

Beyond Variance: Knowledge-Aware LLM Compression via Fisher-Aligned Subspace Diagnostics
von: Shihab, Ibne Farabi, et al.
Veröffentlicht: (2026)

Lattice: Learning to Efficiently Compress the Memory
von: Karami, Mahdi, et al.
Veröffentlicht: (2025)

Memory-Efficient Vision Transformers: An Activation-Aware Mixed-Rank Compression Strategy
von: Azizi, Seyedarmin, et al.
Veröffentlicht: (2024)