Buchumschlag

TAH-QUANT: Effective Activation Quantization in Pipeline Parallelism over Slow Network

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	He, Guangxin, Cao, Yuan, He, Yutong, Bai, Tianyi, Chen, Kai, Yuan, Kun, Yuan, Binhang
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
von: Chen, Guanduo, et al.
Veröffentlicht: (2025)

AMS-QUANT: Adaptive Mantissa Sharing for Floating-point Quantization
von: Lv, Mengtao, et al.
Veröffentlicht: (2025)

Mixture-of-Channels: Exploiting Sparse FFNs for Efficient LLMs Pre-Training and Inference
von: Wu, Tong, et al.
Veröffentlicht: (2025)

Unbiased Compression Saves Communication in Distributed Optimization: When and How Much?
von: He, Yutong, et al.
Veröffentlicht: (2023)

VADE: Variance-Aware Dynamic Sampling via Online Sample-Level Difficulty Estimation for Multimodal RL
von: Hu, Zengjie, et al.
Veröffentlicht: (2025)

Greedy Low-Rank Gradient Compression for Distributed Learning with Convergence Guarantees
von: Chen, Chuyan, et al.
Veröffentlicht: (2025)

Subspace Optimization for Large Language Models with Convergence Guarantees
von: He, Yutong, et al.
Veröffentlicht: (2024)

Clapping: Removing Per-sample Storage for Pipeline Parallel Distributed Optimization with Communication Compression
von: Kong, Boao, et al.
Veröffentlicht: (2025)

Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression
von: He, Yutong, et al.
Veröffentlicht: (2023)

An All-Reduce Compatible Top-K Compressor for Communication-Efficient Distributed Learning
von: Chen, Chuyan, et al.
Veröffentlicht: (2025)

AtmosSci-Bench: Evaluating the Recent Advance of Large Language Model for Atmospheric Science
von: Li, Chenyue, et al.
Veröffentlicht: (2025)

MISA: Memory-Efficient LLMs Optimization with Module-wise Importance Sampling
von: Liu, Yuxi, et al.
Veröffentlicht: (2025)

FBQuant: FeedBack Quantization for Large Language Models
von: Liu, Yijiang, et al.
Veröffentlicht: (2025)

Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures
von: Chen, Yiming, et al.
Veröffentlicht: (2024)

SlimPipe: Memory-Thrifty and Efficient Pipeline Parallelism for Long-Context LLM Training
von: Li, Zhouyang, et al.
Veröffentlicht: (2025)

Binary Weight Multi-Bit Activation Quantization for Compute-in-Memory CNN Accelerators
von: Zhou, Wenyong, et al.
Veröffentlicht: (2025)

RoPeSLR: 3D RoPE-driven Sparse-LowRank Attention for Efficient Diffusion Transformers
von: Liu, Yuxi, et al.
Veröffentlicht: (2026)

Synergistic Intra- and Cross-Layer Regularization Losses for MoE Expert Specialization
von: Hu, Rizhen, et al.
Veröffentlicht: (2026)

TQA-Bench: Evaluating LLMs for Multi-Table Question Answering with Scalable Context and Symbolic Extension
von: Qiu, Zipeng, et al.
Veröffentlicht: (2024)

Transformers Simulate MLE for Sequence Generation in Bayesian Networks
von: Cao, Yuan, et al.
Veröffentlicht: (2025)

Understanding the Benefits of SimCLR Pre-Training in Two-Layer Convolutional Neural Networks
von: Zhang, Han, et al.
Veröffentlicht: (2024)

Unraveling Privacy Risks of Individual Fairness in Graph Neural Networks
von: Zhang, He, et al.
Veröffentlicht: (2023)

High-fidelity Multiphysics Modelling for Rapid Predictions Using Physics-informed Parallel Neural Operator
von: Yuan, Biao, et al.
Veröffentlicht: (2025)

On the Escaping Efficiency of Distributed Adversarial Training Algorithms
von: Cao, Ying, et al.
Veröffentlicht: (2025)

Robust Machine Unlearning for Quantized Neural Networks via Adaptive Gradient Reweighting with Similar Labels
von: Tong, Yujia, et al.
Veröffentlicht: (2025)

Forget by Uncertainty: Orthogonal Entropy Unlearning for Quantized Neural Networks
von: Zhang, Tian, et al.
Veröffentlicht: (2026)

Astro: Activation-guided Structured Regularization for Outlier-Robust LLM Post-Training Quantization
von: Chen, Xi, et al.
Veröffentlicht: (2026)

FSA: An Alternative Efficient Implementation of Native Sparse Attention Kernel
von: Yan, Ran, et al.
Veröffentlicht: (2025)

TimeRadar: A Domain-Rotatable Foundation Model for Time Series Anomaly Detection
von: He, Hui, et al.
Veröffentlicht: (2026)

A Memory Efficient Randomized Subspace Optimization Method for Training Large Language Models
von: Chen, Yiming, et al.
Veröffentlicht: (2025)

Language Models as Hierarchy Encoders
von: He, Yuan, et al.
Veröffentlicht: (2024)

Transformers versus the EM Algorithm in Multi-class Clustering
von: He, Yihan, et al.
Veröffentlicht: (2025)

UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs
von: He, Yufei, et al.
Veröffentlicht: (2024)

Efficient First-Order Optimization on the Pareto Set for Multi-Objective Learning under Preference Guidance
von: Chen, Lisha, et al.
Veröffentlicht: (2025)

On the Opportunities of (Re)-Exploring Atmospheric Science by Foundation Models: A Case Study
von: Zhang, Lujia, et al.
Veröffentlicht: (2024)

CLIMATEAGENT: Multi-Agent Orchestration for Complex Climate Data Science Workflows
von: Kim, Hyeonjae, et al.
Veröffentlicht: (2025)

CARD: A Cache-Assisted Parallel Speculative Decoding Framework via Query-and-Correct Paradigm for Accelerating LLM Inference
von: Zhou, Enyu, et al.
Veröffentlicht: (2025)

Optimal Routing for Federated Learning over Dynamic Satellite Networks: Tractable or Not?
von: Zhao, Yi, et al.
Veröffentlicht: (2026)

AGHINT: Attribute-Guided Representation Learning on Heterogeneous Information Networks with Transformer
von: Yuan, Jinhui, et al.
Veröffentlicht: (2024)

Visual-Redundancy-Controlled Parallel Decoding for Diffusion-Based Multimodal Large Language Models
von: Yuan, Yulin, et al.
Veröffentlicht: (2026)