Buchumschlag

Towards Next-Level Post-Training Quantization of Hyper-Scale Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kim, Junhan, Lee, Chungman, Cho, Eulrang, Park, Kyungphil, Kim, Ho-young, Kim, Joonyoung, Jeon, Yongkweon
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

BoA: Attention-aware Post-training Quantization without Backpropagation
von: Kim, Junhan, et al.
Veröffentlicht: (2024)

TurboBoA: Faster and Exact Attention-aware Quantization without Backpropagation
von: Kim, Junhan, et al.
Veröffentlicht: (2026)

Two-Stage Grid Optimization for Group-wise Quantization of LLMs
von: Kim, Junhan, et al.
Veröffentlicht: (2026)

LookaheadKV: Fast and Accurate KV Cache Eviction by Glimpsing into the Future without Generation
von: Ahn, Jinwoo, et al.
Veröffentlicht: (2026)

On the Importance of a Multi-Scale Calibration for Quantization
von: Son, Seungwoo, et al.
Veröffentlicht: (2026)

Preserve-Then-Quantize: Balancing Rank Budgets for Quantization Error Reconstruction in LLMs
von: Cho, Yoonjun, et al.
Veröffentlicht: (2026)

Assigning Distinct Roles to Quantized and Low-Rank Matrices Toward Optimal Weight Decomposition
von: Cho, Yoonjun, et al.
Veröffentlicht: (2025)

FlexRound: Learnable Rounding based on Element-wise Division for Post-Training Quantization
von: Lee, Jung Hyun, et al.
Veröffentlicht: (2023)

LRQ: Optimizing Post-Training Quantization for Large Language Models by Learning Low-Rank Weight-Scaling Matrices
von: Lee, Jung Hyun, et al.
Veröffentlicht: (2024)

DMQ: Dissecting Outliers of Diffusion Models for Post-Training Quantization
von: Lee, Dongyeun, et al.
Veröffentlicht: (2025)

IPTQ-ViT: Post-Training Quantization of Non-linear Functions for Integer-only Vision Transformers
von: Kim, Gihwan, et al.
Veröffentlicht: (2025)

Effective Test-Time Scaling of Discrete Diffusion through Iterative Refinement
von: Lee, Sanghyun, et al.
Veröffentlicht: (2025)

Column-wise Quantization of Weights and Partial Sums for Accurate and Efficient Compute-In-Memory Accelerators
von: Kim, Jiyoon, et al.
Veröffentlicht: (2025)

MUXQ: Mixed-to-Uniform Precision MatriX Quantization via Low-Rank Outlier Decomposition
von: Lee, Seoungsub, et al.
Veröffentlicht: (2026)

FedWSQ: Efficient Federated Learning with Weight Standardization and Distribution-Aware Non-Uniform Quantization
von: Kim, Seung-Wook, et al.
Veröffentlicht: (2025)

Self-Abstraction Learning for Effective and Stable Training of Deep Neural Networks
von: Cho, Wonyong, et al.
Veröffentlicht: (2026)

Wafer-Level Etch Spatial Profiling for Process Monitoring from Time-Series with Time-LLM
von: Kim, Hyunwoo, et al.
Veröffentlicht: (2026)

Probing the Impact of Scale on Data-Efficient, Generalist Transformer World Models for Atari
von: Kim, Jooyeon
Veröffentlicht: (2026)

Generative Representation Learning on Hyper-relational Knowledge Graphs via Masked Discrete Diffusion
von: Lee, Jaejun, et al.
Veröffentlicht: (2026)

SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling
von: Kim, Dahyun, et al.
Veröffentlicht: (2023)

CodeGEMM: A Codebook-Centric Approach to Efficient GEMM in Quantized LLMs
von: Park, Gunho, et al.
Veröffentlicht: (2025)

MAGNET: Autonomous Expert Model Generation via Decentralized Autoresearch and BitNet Training
von: Kim, Yongwan, et al.
Veröffentlicht: (2026)

QUICK: Quantization-aware Interleaving and Conflict-free Kernel for efficient LLM inference
von: Kim, Taesu, et al.
Veröffentlicht: (2024)

Task-Aware Virtual Training: Enhancing Generalization in Meta-Reinforcement Learning for Out-of-Distribution Tasks
von: Kim, Jeongmo, et al.
Veröffentlicht: (2025)

How to Parameterize Asymmetric Quantization Ranges for Quantization-Aware Training
von: You, Jaeseong, et al.
Veröffentlicht: (2024)

Locally Convex Global Loss Network for Decision-Focused Learning
von: Jeon, Haeun, et al.
Veröffentlicht: (2024)

LittleBit: Ultra Low-Bit Quantization via Latent Factorization
von: Lee, Banseok, et al.
Veröffentlicht: (2025)

Mixed Non-linear Quantization for Vision Transformers
von: Kim, Gihwan, et al.
Veröffentlicht: (2024)

FibQuant: Universal Vector Quantization for Random-Access KV-Cache Compression
von: Lee, Namyoon, et al.
Veröffentlicht: (2026)

Training-free LLM Verification via Recycling Few-shot Examples
von: Lee, Dongseok, et al.
Veröffentlicht: (2025)

Lookahead Sample Reward Guidance for Test-Time Scaling of Diffusion Models
von: Kim, Yeongmin, et al.
Veröffentlicht: (2026)

Provably Robust Pre-Trained Ensembles for Biomarker-Based Cancer Classification
von: Lee, Chongmin, et al.
Veröffentlicht: (2024)

PTQ4VM: Post-Training Quantization for Visual Mamba
von: Cho, Younghyun, et al.
Veröffentlicht: (2024)

CleaR: Towards Robust and Generalized Parameter-Efficient Fine-Tuning for Noisy Label Learning
von: Kim, Yeachan, et al.
Veröffentlicht: (2024)

HyperFlow: Gradient-Free Emulation of Few-Shot Fine-Tuning
von: Kim, Donggyun, et al.
Veröffentlicht: (2025)

Fair Clustering via Alignment
von: Kim, Kunwoong, et al.
Veröffentlicht: (2025)

Are Self-Attentions Effective for Time Series Forecasting?
von: Kim, Dongbin, et al.
Veröffentlicht: (2024)

AnyBCQ: Hardware Efficient Flexible Binary-Coded Quantization for Multi-Precision LLMs
von: Park, Gunho, et al.
Veröffentlicht: (2025)

Generating Multi-Table Time Series EHR from Latent Space with Minimal Preprocessing
von: Cho, Eunbyeol, et al.
Veröffentlicht: (2025)

Pushing the Limits of Block Rotations in Post-Training Quantization
von: Sanjeet, Sai, et al.
Veröffentlicht: (2026)