Buchumschlag

SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Müller, Lorenz K., Bich, Philippe, Zhuang, Jiawei, Çelik, Ahmet, Benfenati, Luca, Cavigelli, Lukas
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

TyphoonMLA: A Mixed Naive-Absorb MLA Kernel For Shared Prefix
von: Yüzügüler, Ahmet Caner, et al.
Veröffentlicht: (2025)

PRESERVE: Prefetching Model Weights and KV-Cache in Distributed LLM Serving
von: Yüzügüler, Ahmet Caner, et al.
Veröffentlicht: (2025)

SSSD: Simply-Scalable Speculative Decoding
von: Marzollo, Michele, et al.
Veröffentlicht: (2024)

Don't be so Stief! Learning KV Cache low-rank approximation over the Stiefel manifold
von: Benfenati, Luca, et al.
Veröffentlicht: (2026)

Boosting keyword spotting through on-device learnable user speech characteristics
von: Cioflan, Cristian, et al.
Veröffentlicht: (2024)

NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache
von: Son, Donghyun, et al.
Veröffentlicht: (2025)

On-Device Domain Learning for Keyword Spotting on Low-Power Extreme Edge Embedded Systems
von: Cioflan, Cristian, et al.
Veröffentlicht: (2024)

Calibration and Transformation-Free Weight-Only LLMs Quantization via Dynamic Grouping
von: Zheng, Xinzhe, et al.
Veröffentlicht: (2025)

Collage: Light-Weight Low-Precision Strategy for LLM Training
von: Yu, Tao, et al.
Veröffentlicht: (2024)

GENIAL: Generative Design Space Exploration via Network Inversion for Low Power Algorithmic Logic Units
von: Bouvier, Maxence, et al.
Veröffentlicht: (2025)

FASQ: Flexible Accelerated Subspace Quantization for Calibration-Free LLM Compression
von: Qiao, Ye, et al.
Veröffentlicht: (2026)

GPTAQ: Efficient Finetuning-Free Quantization for Asymmetric Calibration
von: Li, Yuhang, et al.
Veröffentlicht: (2025)

FGMP: Fine-Grained Mixed-Precision Weight and Activation Quantization for Hardware-Accelerated LLM Inference
von: Hooper, Coleman, et al.
Veröffentlicht: (2025)

Stella Nera: A Differentiable Maddness-Based Hardware Accelerator for Efficient Approximate Matrix Multiplication
von: Schönleber, Jannis, et al.
Veröffentlicht: (2023)

Squeeze10-LLM: Squeezing LLMs' Weights by 10 Times via a Staged Mixed-Precision Quantization Method
von: Zhu, Qingcheng, et al.
Veröffentlicht: (2025)

TruncQuant: Truncation-Ready Quantization for DNNs with Flexible Weight Bit Precision
von: Kim, Jinhee, et al.
Veröffentlicht: (2025)

Understanding the Difficulty of Low-Precision Post-Training Quantization for LLMs
von: Xu, Zifei, et al.
Veröffentlicht: (2024)

AutoQRA: Joint Optimization of Mixed-Precision Quantization and Low-rank Adapters for Efficient LLM Fine-Tuning
von: Zhou, Changhai, et al.
Veröffentlicht: (2026)

Fast and Unified Path Gradient Estimators for Normalizing Flows
von: Vaitl, Lorenz, et al.
Veröffentlicht: (2024)

STaMP: Sequence Transformation and Mixed Precision for Low-Precision Activation Quantization
von: Federici, Marco, et al.
Veröffentlicht: (2025)

The Art of Beating the Odds with Predictor-Guided Random Design Space Exploration
von: Arnold, Felix, et al.
Veröffentlicht: (2025)

SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models
von: Huang, Wei, et al.
Veröffentlicht: (2024)

ECO: Quantized Training without Full-Precision Master Weights
von: Nikdan, Mahdi, et al.
Veröffentlicht: (2026)

Neural Sinkhorn Gradient Flow
von: Zhu, Huminhao, et al.
Veröffentlicht: (2024)

Sinkhorn-Drifting Generative Models
von: He, Ping, et al.
Veröffentlicht: (2026)

Improving Quantization-aware Training of Low-Precision Network via Block Replacement on Full-Precision Counterpart
von: Yu, Chengting, et al.
Veröffentlicht: (2024)

SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression
von: Mozaffari, Mohammad, et al.
Veröffentlicht: (2024)

DartQuant: Efficient Rotational Distribution Calibration for LLM Quantization
von: Shao, Yuantian, et al.
Veröffentlicht: (2025)

Coverage-Based Calibration for Post-Training Quantization via Weighted Set Cover over Outlier Channels
von: Shihab, Ibne Farabi, et al.
Veröffentlicht: (2026)

LoRAQuant: Mixed-Precision Quantization of LoRA to Ultra-Low Bits
von: Mirzaei, Amir Reza, et al.
Veröffentlicht: (2025)

Federated Sinkhorn
von: Kulcsar, Jeremy, et al.
Veröffentlicht: (2025)

Log-Normal Multiplicative Dynamics for Stable Low-Precision Training of Large Networks
von: Nishida, Keigo, et al.
Veröffentlicht: (2025)

Confident Sinkhorn Allocation for Pseudo-Labeling
von: Nguyen, Vu, et al.
Veröffentlicht: (2022)

GSINA: Improving Subgraph Extraction for Graph Invariant Learning via Graph Sinkhorn Attention
von: Yan, Junchi, et al.
Veröffentlicht: (2024)

Soft Quantization: Model Compression Via Weight Coupling
von: Bernstein, Daniel T., et al.
Veröffentlicht: (2026)

Atom: Low-bit Quantization for Efficient and Accurate LLM Serving
von: Zhao, Yilong, et al.
Veröffentlicht: (2023)

Sinkhorn Distributionally Robust Optimization
von: Wang, Jie, et al.
Veröffentlicht: (2021)

A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes
von: Benfenati, Alessandro, et al.
Veröffentlicht: (2024)

Accelerated Sinkhorn Algorithms for Partial Optimal Transport
von: Truong, Nghia Thu, et al.
Veröffentlicht: (2026)

On Fitting Flow Models with Large Sinkhorn Couplings
von: Zhang, Stephen, et al.
Veröffentlicht: (2025)