Buchumschlag

Less Memory Means smaller GPUs: Backpropagation with Compressed Activations

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Barley, Daniel, Fröning, Holger
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Tabular Schedule Abstraction for Communication-Aware Evaluation of Pipeline-Parallel LLM Training
von: Barley, Daniel, et al.
Veröffentlicht: (2026)

Implications of Noise in Resistive Memory on Deep Neural Networks for Image Classification
von: Emonds, Yannick, et al.
Veröffentlicht: (2024)

Variance-Aware Noisy Training: Hardening DNNs against Unstable Analog Computations
von: Wang, Xiao, et al.
Veröffentlicht: (2025)

Uncertainty-Preserving QBNNs: Multi-Level Quantization of SVI-Based Bayesian Neural Networks for Image Classification
von: Borras, Hendrik, et al.
Veröffentlicht: (2025)

On Hardening DNNs against Noisy Computations
von: Wang, Xiao, et al.
Veröffentlicht: (2025)

Walking Noise: On Layer-Specific Robustness of Neural Architectures against Noisy Computations and Associated Characteristic Learning Dynamics
von: Borras, Hendrik, et al.
Veröffentlicht: (2022)

BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation"
von: Khasia, Vladimer
Veröffentlicht: (2026)

Reducing Fine-Tuning Memory Overhead by Approximate and Memory-Sharing Backpropagation
von: Yang, Yuchen, et al.
Veröffentlicht: (2024)

Function Space Diversity for Uncertainty Prediction via Repulsive Last-Layer Ensembles
von: Steger, Sophie, et al.
Veröffentlicht: (2024)

Time Series Compression using Quaternion Valued Neural Networks and Quaternion Backpropagation
von: Pöppelbaum, Johannes, et al.
Veröffentlicht: (2024)

Phasor Memory Networks: Stable Backpropagation Through Time for Scalable Explicit Memory
von: Goo, Sungwoo, et al.
Veröffentlicht: (2026)

Comprehensive Survey of Complex-Valued Neural Networks: Insights into Backpropagation and Activation Functions
von: Hammad, M. M.
Veröffentlicht: (2024)

Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
von: Park, Juneyoung, et al.
Veröffentlicht: (2026)

Memory-Efficient Backpropagation for Fine-Tuning LLMs on Resource-Constrained Mobile Devices
von: Song, Congzheng, et al.
Veröffentlicht: (2025)

Towards Scalable Backpropagation-Free Gradient Estimation
von: Wang, Daniel, et al.
Veröffentlicht: (2025)

Backpropagation Neural Tree
von: Ojha, Varun, et al.
Veröffentlicht: (2022)

The Cost of Avoiding Backpropagation
von: Panchal, Kunjal, et al.
Veröffentlicht: (2025)

PRAC: Principal-Random Subspace for LLM Activation Compression and Memory-Efficient Training
von: Li, Yanyi, et al.
Veröffentlicht: (2026)

CompAct: Compressed Activations for Memory-Efficient LLM Training
von: Shamshoum, Yara, et al.
Veröffentlicht: (2024)

StreamBP: Memory-Efficient Exact Backpropagation for Long Sequence Training of LLMs
von: Luo, Qijun, et al.
Veröffentlicht: (2025)

Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2025)

Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
von: Goldstein, Daniel, et al.
Veröffentlicht: (2026)

Communication-Avoiding Linear Algebraic Kernel K-Means on GPUs
von: Bellavita, Julian, et al.
Veröffentlicht: (2026)

Are Compressed Language Models Less Subgroup Robust?
von: Gee, Leonidas, et al.
Veröffentlicht: (2024)

When Less is More: The LLM Scaling Paradox in Context Compression
von: Guo, Ruishan, et al.
Veröffentlicht: (2026)

Local Pairwise Distance Matching for Backpropagation-Free Reinforcement Learning
von: Tanneberg, Daniel
Veröffentlicht: (2025)

LCSB: Layer-Cyclic Selective Backpropagation for Memory-Efficient On-Device LLM Fine-Tuning
von: Park, Juneyoung, et al.
Veröffentlicht: (2026)

Towards smaller, faster decoder-only transformers: Architectural variants and their implications
von: Suresh, Sathya Krishnan, et al.
Veröffentlicht: (2024)

Practical Boolean Backpropagation
von: Golbert, Simon
Veröffentlicht: (2025)

COAT: Compressing Optimizer states and Activation for Memory-Efficient FP8 Training
von: Xi, Haocheng, et al.
Veröffentlicht: (2024)

Efficient Deep Learning with Decorrelated Backpropagation
von: Dalm, Sander, et al.
Veröffentlicht: (2024)

Beyond Backpropagation: Optimization with Multi-Tangent Forward Gradients
von: Flügel, Katharina, et al.
Veröffentlicht: (2024)

Efficient Backpropagation with Variance-Controlled Adaptive Sampling
von: Wang, Ziteng, et al.
Veröffentlicht: (2024)

THDC: Training Hyperdimensional Computing Models with Backpropagation
von: Dejonghe, Hanne, et al.
Veröffentlicht: (2026)

All Models Are Miscalibrated, But Some Less So: Comparing Calibration with Conditional Mean Operators
von: Moskvichev, Peter, et al.
Veröffentlicht: (2025)

Resource-Efficient Neural Networks for Embedded Systems
von: Roth, Wolfgang, et al.
Veröffentlicht: (2020)

Backpropagation on Dynamical Networks
von: Tan, Eugene, et al.
Veröffentlicht: (2022)

APB: Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs
von: Huang, Yuxiang, et al.
Veröffentlicht: (2025)

Memory-Efficient Acceleration of Block Low-Rank Foundation Models on Resource Constrained GPUs
von: Abillama, Pierre, et al.
Veröffentlicht: (2025)

Train Less, Infer Faster: Efficient Model Finetuning and Compression via Structured Sparsity
von: Svirsky, Jonathan, et al.
Veröffentlicht: (2026)