Copertina

CompAct: Compressed Activations for Memory-Efficient LLM Training

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Shamshoum, Yara, Hodos, Nitzan, Sieradzki, Yuval, Schuster, Assaf
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

DNCs Require More Planning Steps
di: Shamshoum, Yara, et al.
Pubblicazione: (2024)

QKV Projections Require a Fraction of Their Memory
di: Khalaf, Malik, et al.
Pubblicazione: (2025)

CompAct: Compressing Retrieved Documents Actively for Question Answering
di: Yoon, Chanwoong, et al.
Pubblicazione: (2024)

Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM
di: Solgi, Ryan, et al.
Pubblicazione: (2025)

Memory-Efficient LLM Training with Online Subspace Descent
di: Liang, Kaizhao, et al.
Pubblicazione: (2024)

Ultra Memory-Efficient On-FPGA Training of Transformers via Tensor-Compressed Optimization
di: Tian, Jiayi, et al.
Pubblicazione: (2025)

ActTail: Global Activation Sparsity in Large Language Models
di: Hou, Wenwen, et al.
Pubblicazione: (2026)

SUMO: Subspace-Aware Moment-Orthogonalization for Accelerating Memory-Efficient LLM Training
di: Refael, Yehonathan, et al.
Pubblicazione: (2025)

InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory
di: Xiao, Chaojun, et al.
Pubblicazione: (2024)

LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning
di: Ping, Bowen, et al.
Pubblicazione: (2026)

Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
di: Park, Juneyoung, et al.
Pubblicazione: (2026)

Prompt Curriculum Learning for Efficient LLM Post-Training
di: Gao, Zhaolin, et al.
Pubblicazione: (2025)

LoMA: Lossless Compressed Memory Attention
di: Wang, Yumeng, et al.
Pubblicazione: (2024)

Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference
di: Chen, Hao Mark, et al.
Pubblicazione: (2024)

Statistical multi-metric evaluation and visualization of LLM system predictive performance
di: Ackerman, Samuel, et al.
Pubblicazione: (2025)

Compressed Context Memory For Online Language Model Interaction
di: Kim, Jang-Hyun, et al.
Pubblicazione: (2023)

Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
di: Zhang, Yihua, et al.
Pubblicazione: (2024)

LCSB: Layer-Cyclic Selective Backpropagation for Memory-Efficient On-Device LLM Fine-Tuning
di: Park, Juneyoung, et al.
Pubblicazione: (2026)

Learning is Forgetting: LLM Training As Lossy Compression
di: Conklin, Henry C., et al.
Pubblicazione: (2026)

ReAct Meets ActRe: When Language Agents Enjoy Training Data Autonomy
di: Yang, Zonghan, et al.
Pubblicazione: (2024)

Think Before You Act: Decision Transformers with Working Memory
di: Kang, Jikun, et al.
Pubblicazione: (2023)

Training LLMs over Neurally Compressed Text
di: Lester, Brian, et al.
Pubblicazione: (2024)

DynSplit-KV: Dynamic Semantic Splitting for KVCache Compression in Efficient Long-Context LLM Inference
di: Ye, Jiancai, et al.
Pubblicazione: (2026)

Trellis: Learning to Compress Key-Value Memory in Attention Models
di: Karami, Mahdi, et al.
Pubblicazione: (2025)

OneComp: One-Line Revolution for Generative AI Model Compression
di: Ichikawa, Yuma, et al.
Pubblicazione: (2026)

POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation
di: Qiu, Zeju, et al.
Pubblicazione: (2026)

AdaFRUGAL: Adaptive Memory-Efficient Training with Dynamic Control
di: Bui, Quang-Hung, et al.
Pubblicazione: (2025)

PRAC: Principal-Random Subspace for LLM Activation Compression and Memory-Efficient Training
di: Li, Yanyi, et al.
Pubblicazione: (2026)

Compress the Context, Keep the Commitments: A Formal Framework for Verifiable LLM Context Compression
di: Trukhina, Natalia, et al.
Pubblicazione: (2026)

First Activations Matter: Training-Free Methods for Dynamic Activation in Large Language Models
di: Ma, Chi, et al.
Pubblicazione: (2024)

Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning
di: Jin, Feihu, et al.
Pubblicazione: (2026)

Evaluating Memory Structure in LLM Agents
di: Shutova, Alina, et al.
Pubblicazione: (2026)

LLM Router: Rethinking Routing with Prefill Activations
di: Varshney, Tanay, et al.
Pubblicazione: (2026)

Train Small, Infer Large: Memory-Efficient LoRA Training for Large Language Models
di: Zhang, Jun, et al.
Pubblicazione: (2025)

Rethinking LLM Memorization through the Lens of Adversarial Compression
di: Schwarzschild, Avi, et al.
Pubblicazione: (2024)

SABER: Switchable and Balanced Training for Efficient LLM Reasoning
di: Zhao, Kai, et al.
Pubblicazione: (2025)

Scaling with Collapse: Efficient and Predictable Training of LLM Families
di: Bergsma, Shane, et al.
Pubblicazione: (2025)

Adaptive Querying with AI Persona Priors
di: Wang, Kaizheng, et al.
Pubblicazione: (2026)

Entropy Law: The Story Behind Data Compression and LLM Performance
di: Yin, Mingjia, et al.
Pubblicazione: (2024)

ProCut: LLM Prompt Compression via Attribution Estimation
di: Xu, Zhentao, et al.
Pubblicazione: (2025)