Buchumschlag

GWQ: Gradient-Aware Weight Quantization for Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Shao, Yihua, Gu, Yan, Chen, Siyu, Liu, Haiyang, Zhu, Zixian, Ling, Zijian, Yan, Minxi, Yan, Ziyang, Zhang, Chenyu, Magno, Michele, Qin, Haotong, Wang, Yan, Guo, Jingcai, Shao, Ling, Tang, Hao
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

TR-DQ: Time-Rotation Diffusion Quantization
von: Shao, Yihua, et al.
Veröffentlicht: (2025)

ICM-Fusion: In-Context Meta-Optimized LoRA Fusion for Multi-Task Adaptation
von: Shao, Yihua, et al.
Veröffentlicht: (2025)

In-Context Meta LoRA Generation
von: Shao, Yihua, et al.
Veröffentlicht: (2025)

MambaIC: State Space Models for High-Performance Learned Image Compression
von: Zeng, Fanhu, et al.
Veröffentlicht: (2025)

AccidentBlip: Agent of Accident Warning based on MA-former
von: Shao, Yihua, et al.
Veröffentlicht: (2024)

EventVAD: Training-Free Event-Aware Video Anomaly Detection
von: Shao, Yihua, et al.
Veröffentlicht: (2025)

Event-Priori-Based Vision-Language Model for Efficient Visual Understanding
von: Qin, Haotong, et al.
Veröffentlicht: (2025)

Post-Training Quantization for Video Matting
von: Zhu, Tianrui, et al.
Veröffentlicht: (2025)

GM-MoE: Low-Light Enhancement with Gated-Mechanism Mixture-of-Experts
von: Liao, Minwen, et al.
Veröffentlicht: (2025)

SlimGPT: Layer-wise Structured Pruning for Large Language Models
von: Ling, Gui, et al.
Veröffentlicht: (2024)

Q-SAM2: Accurate Quantization for Segment Anything Model 2
von: Farronato, Nicola, et al.
Veröffentlicht: (2025)

Quant-dLLM: Post-Training Extreme Low-Bit Quantization for Diffusion Large Language Models
von: Zhang, Tianao, et al.
Veröffentlicht: (2025)

First-Order Error Matters: Accurate Compensation for Quantized Large Language Models
von: Zheng, Xingyu, et al.
Veröffentlicht: (2025)

In‐Tip Nanoreactors for Simultaneous Proteolysis and Enrichment of Phosphorylated Peptides
von: Ling Yan
Veröffentlicht: (2025)

Smoothing Linear Codes by Rényi Divergence and Applications to Security Reduction
von: Yan, Hao, et al.
Veröffentlicht: (2024)

RenderWorld: World Model with Self-Supervised 3D Label
von: Yan, Ziyang, et al.
Veröffentlicht: (2024)

QuantSR+: Pushing the Limit of Quantized Image Super-Resolution Networks
von: Qin, Haotong, et al.
Veröffentlicht: (2026)

DAQ: Density-Aware Post-Training Weight-Only Quantization For LLMs
von: Luo, Yingsong, et al.
Veröffentlicht: (2024)

3DSceneEditor: Controllable 3D Scene Editing with Gaussian Splatting
von: Yan, Ziyang, et al.
Veröffentlicht: (2024)

Optimal 1-bit Error Exponent for 2-hop Relaying with Binary-Input Channels
von: Ling, Yan Hao, et al.
Veröffentlicht: (2023)

Exact Error Exponents of Concatenated Codes for DNA Storage
von: Ling, Yan Hao, et al.
Veröffentlicht: (2024)

A low order Bargmann invariant hierarchy for set coherence
von: Wang, Yan-Ling
Veröffentlicht: (2026)

Comment on “The marxist philosophical basis of socialist literature and art”
von: YanLing Mei
Veröffentlicht: (2023)

It from ETH: Multi-interval Entanglement and Replica Wormholes from Large-$c$ BCFT Ensemble
von: Geng, Hao, et al.
Veröffentlicht: (2025)

BiLLM: Pushing the Limit of Post-Training Quantization for LLMs
von: Huang, Wei, et al.
Veröffentlicht: (2024)

SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models
von: Huang, Wei, et al.
Veröffentlicht: (2024)

Q-MambaIR: Accurate Quantized Mamba for Efficient Image Restoration
von: Chen, Yujie, et al.
Veröffentlicht: (2025)

ShapeSpeak: Body Shape-Aware Textual Alignment for Visible-Infrared Person Re-Identification
von: Yan, Shuanglin, et al.
Veröffentlicht: (2025)

PicoSAM2: Low-Latency Segmentation In-Sensor for Edge Vision Applications
von: Bonazzi, Pietro, et al.
Veröffentlicht: (2025)

PicoSAM3: Real-Time In-Sensor Region-of-Interest Segmentation
von: Bonazzi, Pietro, et al.
Veröffentlicht: (2026)

Improved Dual Attack and Trapdoor Sampling via Quantum Rejection Sampling
von: Ling, Cong, et al.
Veröffentlicht: (2026)

An Empirical Study of Qwen3 Quantization
von: Zheng, Xingyu, et al.
Veröffentlicht: (2025)

RobuQ: Pushing DiTs to W1.58A2 via Robust Activation Quantization
von: Yang, Kaicheng, et al.
Veröffentlicht: (2025)

Accurate LoRA-Finetuning Quantization of LLMs via Information Retention
von: Qin, Haotong, et al.
Veröffentlicht: (2024)

Enhancing Transformer Training Efficiency with Dynamic Dropout
von: Yan, Hanrui, et al.
Veröffentlicht: (2024)

Application of different lights in solving the marine biofouling problem of uranium extraction from seawater.
von: Yan, Meng, et al.
Veröffentlicht: (2025)

Optimization of Hadoop Cloud Backup System ( HD ‐ CDBS ) for Power Minute Freeze Data Based on ABC Algorithm
von: Yuping Yan, et al.
Veröffentlicht: (2026)

Sound absorption properties and mechanism of multi‐layer micro‐perforated nanofiber membrane
von: Xiaofei Shao, et al.
Veröffentlicht: (2024)

BinaryDM: Accurate Weight Binarization for Efficient Diffusion Models
von: Zheng, Xingyu, et al.
Veröffentlicht: (2024)

Large Language Models Understand Layout
von: Li, Weiming, et al.
Veröffentlicht: (2024)