Buchumschlag

CoMERA: Computing- and Memory-Efficient Training via Rank-Adaptive Tensor Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yang, Zi, Liu, Ziyue, Choudhary, Samridhi, Xie, Xinfeng, Gao, Cao, Kunzmann, Siegfried, Zhang, Zheng
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Quantization-Aware and Tensor-Compressed Training of Transformers for Natural Language Understanding
von: Yang, Zi, et al.
Veröffentlicht: (2023)

CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation
von: Liu, Ziyue, et al.
Veröffentlicht: (2025)

Saten: Sparse Augmented Tensor Networks for Post-Training Compression of Large Language Models
von: Solgi, Ryan, et al.
Veröffentlicht: (2025)

Ultra Memory-Efficient On-FPGA Training of Transformers via Tensor-Compressed Optimization
von: Tian, Jiayi, et al.
Veröffentlicht: (2025)

LaX: Boosting Low-Rank Training of Foundation Models via Latent Crossing
von: Zhang, Ruijie, et al.
Veröffentlicht: (2025)

AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

Adaptive Patching for Tensor Train Computations
von: Grosso, Gianluca, et al.
Veröffentlicht: (2026)

Identification and Evaluation of Novel SGLT-2 Inhibitors having Anti-diabetic Potential
von: Saini, Kunika, et al.
Veröffentlicht: (2026)

Joint Tensor-Train Parameterization for Efficient and Expressive Low-Rank Adaptation
von: Qi, Jun, et al.
Veröffentlicht: (2025)

Mist: Efficient Distributed Training of Large Language Models via Memory-Parallelism Co-Optimization
von: Zhu, Zhanda, et al.
Veröffentlicht: (2025)

Quantum-Inspired Tensor Network Autoencoders for Anomaly Detection: A MERA-Based Approach
von: Gurkanli, Emre, et al.
Veröffentlicht: (2026)

Robust Low‐Rank Tensor Recovery Using a Self‐Adaptive Learnable Weighted Tensor Total Variation Method
von: Fanyin Yang, et al.
Veröffentlicht: (2025)

OASIS: Online Activation Subspace Learning for Memory-Efficient Training
von: Choudhary, Sakshi, et al.
Veröffentlicht: (2026)

AdaRankGrad: Adaptive Gradient-Rank and Moments for Memory-Efficient LLMs Training and Fine-Tuning
von: Refael, Yehonathan, et al.
Veröffentlicht: (2024)

Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning
von: Liu, Ziyue, et al.
Veröffentlicht: (2026)

COSMOS: A Hybrid Adaptive Optimizer for Memory-Efficient Training of LLMs
von: Liu, Liming, et al.
Veröffentlicht: (2025)

Memory-Efficient LLM Training by Various-Grained Low-Rank Projection of Gradients
von: Wang, Yezhen, et al.
Veröffentlicht: (2025)

A Riemannian Rank‐Adaptive Method for Higher‐Order Tensor Completion in the Tensor‐Train Format
von: Charlotte Vermeylen, et al.
Veröffentlicht: (2024)

MaZO: Masked Zeroth-Order Optimization for Multi-Task Fine-Tuning of Large Language Models
von: Zhang, Zhen, et al.
Veröffentlicht: (2025)

BOOST: BOttleneck-Optimized Scalable Training Framework for Low-Rank Large Language Models
von: Wang, Zhengyang, et al.
Veröffentlicht: (2025)

Local Interpolation via Low-Rank Tensor Trains
von: Guzman, Siddhartha E., et al.
Veröffentlicht: (2026)

Low Rank Tensor Completion via Adaptive ADMM
von: Führling, Niclas, et al.
Veröffentlicht: (2026)

Area-Efficient In-Memory Computing for Mixture-of-Experts via Multiplexing and Caching
von: Gao, Hanyuan, et al.
Veröffentlicht: (2026)

RankGuide: Tensor-Rank-Guided Routing and Steering for Efficient Reasoning
von: Tian, Jiayi, et al.
Veröffentlicht: (2026)

Efficient Generalized Low-Rank Tensor Contextual Bandits
von: Yi, Qianxin, et al.
Veröffentlicht: (2023)

Dynamics‐Memory‐Event‐Based Adaptive Attitude Consensus Control for Multi‐UAVs With Self‐Adjusting Performance
von: Xinfeng Shao, et al.
Veröffentlicht: (2025)

Efficient Implementation of Third-Order Tensor Methods with Adaptive Regularization for Unconstrained Optimization
von: Cartis, Coralia, et al.
Veröffentlicht: (2024)

CoScale-RL: Efficient Post-Training by Co-Scaling Data and Computation
von: Chen, Yutong, et al.
Veröffentlicht: (2026)

PYTHALAB-MERA: Validation-Grounded Memory, Retrieval, and Acceptance Control for Frozen-LLM Coding Agents
von: Iscan, Mehmet
Veröffentlicht: (2026)

TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training
von: Loeschcke, Sebastian, et al.
Veröffentlicht: (2025)

Low-Rank Robust Subspace Tensor Clustering for Metro Passenger Flow Modeling
von: Hu, Jiuyun, et al.
Veröffentlicht: (2024)

Real-Time FJ/MAC PDE Solvers via Tensorized, Back-Propagation-Free Optical PINN Training
von: Zhao, Yequan, et al.
Veröffentlicht: (2023)

MERA: A Comprehensive LLM Evaluation in Russian
von: Fenogenova, Alena, et al.
Veröffentlicht: (2024)

Training Tensor Attention Efficiently: From Cubic to Almost Linear Time
von: Cao, Yang, et al.
Veröffentlicht: (2024)

Dynamical Simulations of Schrödinger's Equation via Rank-Adaptive Tensor Decompositions
von: Petersson, N. Anders, et al.
Veröffentlicht: (2026)

Folding Tensor and Sequence Parallelism for Memory-Efficient Transformer Training & Inference
von: Shyam, Vasu, et al.
Veröffentlicht: (2026)

An Adaptive Tensor-Train Decomposition Approach for Efficient Deep Neural Network Compression
von: Luo, Shiyi, et al.
Veröffentlicht: (2024)

Rank Estimation for Third-Order Tensor Completion in the Tensor-Train Format
von: Vermeylen, Charlotte, et al.
Veröffentlicht: (2023)

Adaptive Feature-based Low-Rank Compression of Large Language Models via Bayesian Optimization
von: Ji, Yixin, et al.
Veröffentlicht: (2024)

ProTrain: Efficient LLM Training via Memory-Aware Techniques
von: Yang, Hanmei, et al.
Veröffentlicht: (2024)