Buchumschlag

BlockDialect: Block-wise Fine-grained Mixed Format Quantization for Energy-Efficient LLM Inference

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jang, Wonsuk, Tambe, Thierry
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SemanticDialect: Semantic-Aware Mixed-Format Quantization for Video Diffusion Transformers
von: Jang, Wonsuk, et al.
Veröffentlicht: (2026)

RaZeR: Pushing the Limits of NVFP4 Quantization with Redundant Zero Remapping
von: Chen, Yuzong, et al.
Veröffentlicht: (2025)

Improving Block-Wise LLM Quantization by 4-bit Block-Wise Optimal Float (BOF4): Analysis and Variations
von: Blumenberg, Patrick, et al.
Veröffentlicht: (2025)

CBQ: Cross-Block Quantization for Large Language Models
von: Ding, Xin, et al.
Veröffentlicht: (2023)

Block Rotation is All You Need for MXFP4 Quantization
von: Shao, Yuantian, et al.
Veröffentlicht: (2025)

Progressive Mixed-Precision Decoding for Efficient LLM Inference
von: Chen, Hao Mark, et al.
Veröffentlicht: (2024)

Block-Attention for Efficient Prefilling
von: Ma, Dongyang, et al.
Veröffentlicht: (2024)

Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scaling
von: Cook, Jack, et al.
Veröffentlicht: (2025)

Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction
von: Kim, Jang-Hyun, et al.
Veröffentlicht: (2026)

Saudi-Dialect-ALLaM: LoRA Fine-Tuning for Dialectal Arabic Generation
von: Barmandah, Hassan
Veröffentlicht: (2025)

Interactions Across Blocks in Post-Training Quantization of Large Language Models
von: Shabanovi, Khasmamad, et al.
Veröffentlicht: (2024)

On the Role of Temperature Sampling in Test-Time Scaling
von: Wu, Yuheng, et al.
Veröffentlicht: (2025)

AgenticCache: Cache-Driven Asynchronous Planning for Embodied AI Agents
von: Kim, Hojoon, et al.
Veröffentlicht: (2026)

KVTuner: Sensitivity-Aware Layer-Wise Mixed-Precision KV Cache Quantization for Efficient and Nearly Lossless LLM Inference
von: Li, Xing, et al.
Veröffentlicht: (2025)

QEFT: Quantization for Efficient Fine-Tuning of LLMs
von: Lee, Changhun, et al.
Veröffentlicht: (2024)

EBFT: Effective and Block-Wise Fine-Tuning for Sparse LLMs
von: Guo, Song, et al.
Veröffentlicht: (2024)

GeoBlock: Inferring Block Granularity from Dependency Geometry in Diffusion Language Models
von: Wan, Lipeng, et al.
Veröffentlicht: (2026)

MF-QAT: Multi-Format Quantization-Aware Training for Elastic Inference
von: Xu, Zifei, et al.
Veröffentlicht: (2026)

AMAQ: Adaptive Mixed-bit Activation Quantization for Collaborative Parameter Efficient Fine-tuning
von: Song, Yurun, et al.
Veröffentlicht: (2025)

Block Transformer: Global-to-Local Language Modeling for Fast Inference
von: Ho, Namgyu, et al.
Veröffentlicht: (2024)

MAGE: All-[MASK] Block Already Knows Where to Look in Diffusion LLM
von: Kwon, Omin, et al.
Veröffentlicht: (2026)

Optimizing Mixture of Block Attention
von: Xiao, Guangxuan, et al.
Veröffentlicht: (2025)

APB: Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs
von: Huang, Yuxiang, et al.
Veröffentlicht: (2025)

Beyond Outliers: A Data-Free Layer-wise Mixed-Precision Quantization Approach Driven by Numerical and Structural Dual-Sensitivity
von: Zhang, Hengyuan, et al.
Veröffentlicht: (2026)

Dialectical Behavior Therapy Approach to LLM Prompting
von: Vitman, Oxana, et al.
Veröffentlicht: (2024)

One-Pass to Reason: Token Duplication and Block-Sparse Mask for Efficient Fine-Tuning on Multi-Turn Reasoning
von: Goru, Ritesh, et al.
Veröffentlicht: (2025)

Athena: Efficient Block-Wise Post-Training Quantization for Large Language Models Using Second-Order Matrix Derivative Information
von: Wang, Yanshu, et al.
Veröffentlicht: (2024)

Thanos: A Block-wise Pruning Algorithm for Efficient Large Language Model Compression
von: Ilin, Ivan, et al.
Veröffentlicht: (2025)

Transparent Screening for LLM Inference and Training Impacts
von: Pachot, Arnault, et al.
Veröffentlicht: (2026)

LEGO: Language Model Building Blocks
von: Bhansali, Shrenik, et al.
Veröffentlicht: (2024)

On the Effect of Uncertainty on Layer-wise Inference Dynamics
von: Kim, Sunwoo, et al.
Veröffentlicht: (2025)

Block Sparse Flash Attention
von: Ohayon, Daniel, et al.
Veröffentlicht: (2025)

Sustainable LLM Inference for Edge AI: Evaluating Quantized LLMs for Energy Efficiency, Output Accuracy, and Inference Latency
von: Husom, Erik Johannes, et al.
Veröffentlicht: (2025)

Prometheus: Inducing Fine-grained Evaluation Capability in Language Models
von: Kim, Seungone, et al.
Veröffentlicht: (2023)

Block Circulant Adapter for Large Language Models
von: Ding, Xinyu, et al.
Veröffentlicht: (2025)

Scaling Laws For Mixed Quantization
von: Cao, Zeyu, et al.
Veröffentlicht: (2024)

SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models
von: Huang, Wei, et al.
Veröffentlicht: (2024)

LEAP: Layer-wise Exit-Aware Pretraining for Efficient Transformer Inference
von: Kapadia, Shashank, et al.
Veröffentlicht: (2026)

SqueezeAttention: 2D Management of KV-Cache in LLM Inference via Layer-wise Optimal Budget
von: Wang, Zihao, et al.
Veröffentlicht: (2024)

DartQuant: Efficient Rotational Distribution Calibration for LLM Quantization
von: Shao, Yuantian, et al.
Veröffentlicht: (2025)