Buchumschlag

IntactKV: Improving Large Language Model Quantization by Keeping Pivot Tokens Intact

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Ruikang, Bai, Haoli, Lin, Haokun, Li, Yuening, Gao, Han, Xu, Zhengzhuo, Hou, Lu, Yao, Jun, Yuan, Chun
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FlatQuant: Flatness Matters for LLM Quantization
von: Sun, Yuxuan, et al.
Veröffentlicht: (2024)

Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models
von: Liu, Ruikang, et al.
Veröffentlicht: (2025)

A Simple Linear Patch Revives Layer-Pruned Large Language Models
von: Chen, Xinrui, et al.
Veröffentlicht: (2025)

NeedleChain: Measuring Intact Context Comprehension Capability of Large Language Models
von: Moon, Hyeonseok, et al.
Veröffentlicht: (2025)

Intact Susceptibility to Visual Illusions in Autistic Individuals
von: Yarden Mazuz, et al.
Veröffentlicht: (2025)

WeightedKV: Attention Scores Weighted Key-Value Cache Merging for Large Language Models
von: Yuan, Jian, et al.
Veröffentlicht: (2025)

Translocating Intact Assemblages to Degraded Sites to Accelerate Ecological Recovery
von: Orlando Lam‐Gordillo, et al.
Veröffentlicht: (2026)

Isolated Fragments of Intact Microvessels: Tissue Vascularization, Modeling, and Therapeutics
von: Hannah A. Strobel, et al.
Veröffentlicht: (2024)

Fourier Compressor: Frequency-Domain Visual Token Compression for Vision-Language Models
von: Wang, Huanyu, et al.
Veröffentlicht: (2025)

Intact and core tetraether lipids of surface sediment samples off Cape Blanc, NW Africa
von: Basse, Andreas, et al.
Veröffentlicht: (2013)

MoPE-CLIP: Structured Pruning for Efficient Vision-Language Models with Module-wise Pruning Error Metric
von: Lin, Haokun, et al.
Veröffentlicht: (2024)

Identifying Research Trends, Active Research Areas and Pivotal Publications with Co-Citation Analysis in CiteSpace: A Case Study with Active Matter
von: Yuening Zhang
Veröffentlicht: (2025)

Outlier-Robust Bayesian Multivariate Analysis with Correlation-Intact Sandwich Mixture
von: Hamura, Yasuyuki, et al.
Veröffentlicht: (2025)

Intact Proteoform Analysis by Capillary Electrophoresis–Mass Spectrometry. Are We There Yet?
von: Noah Gould, et al.
Veröffentlicht: (2025)

Intact Proteoform Analysis by Capillary Electrophoresis–Mass Spectrometry. Are We There Yet?
von: Noah Gould, et al.
Veröffentlicht: (2025)

Intact phospholipids in the digestive system of Antarctic krill measured with LC-HRMS
von: Heyen, Simone, et al.
Veröffentlicht: (2023)

TreeKV: Smooth Key-Value Cache Compression with Tree Structures
von: He, Ziwei, et al.
Veröffentlicht: (2025)

Diverse Ecological Pathways of Salmon Nutrients Through an Intact Marine-terrestrial Interface
von: Reimchen, Thomas E.
Veröffentlicht: (2018)

Is she still angry? Intact learning but no updating of facial expressions priors in autism
von: Renana Twito, et al.
Veröffentlicht: (2024)

Intact polar lipid concentrations of sediment core HE519_2-3
von: Ruben, Manuel Jannis, et al.
Veröffentlicht: (2022)

Intact polar lipid concentrations of sediment core HE560_26-2
von: Ruben, Manuel Jannis, et al.
Veröffentlicht: (2022)

DNA Delivery to Intact Plant Cells by Casein Nanoparticles with Confirmed Gene Expression
von: Avital Ella Ben‐Haim, et al.
Veröffentlicht: (2024)

Evaluation of Acellular Intact Fish Skin Grafts for Treating Acute and Chronic Wounds
von: Christopher Böddeker, et al.
Veröffentlicht: (2026)

Intact Nuclear Families: Associations between Parental Styles and School Children’s Behavior
von: Aline Sanches Politi Sebastião
Veröffentlicht: (2020)

Intact forests of the Hkakabo Razi Landscape are a hotspot of bat diversity in South-east Asia
von: Bates, Paul J. J., et al.
Veröffentlicht: (2022)

What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study
von: Lv, Keyu, et al.
Veröffentlicht: (2026)

Standardization of a Supramaximal Stimulation Protocol for Electrophysiological Assessment of the Intact Rat Median Nerve
von: Tiago Bastos Taboada, et al.
Veröffentlicht: (2026)

Polyphosphorus Ligand Complexes of Coinage Metals for Multiple Capturing of Intact P 4 Tetrahedra
von: Claudia Göschl, et al.
Veröffentlicht: (2025)

Impact of Intact Length and Initial Debond on the Mode I Fracture Toughness of Sandwich Structures
von: Amal Alliyankal Vijayakumar, et al.
Veröffentlicht: (2025)

Intact polar lipids of station T3 and T5 from LowpHOX-2 cruise
von: Cantarero, Sebastian, et al.
Veröffentlicht: (2020)

Intact polar lipid concentrations of sediment core HH14-897-GC-MF
von: Ruben, Manuel Jannis, et al.
Veröffentlicht: (2022)

Intact quantitation of cysteine‐conjugated antibody‐drug conjugates using native mass spectrometry
von: Yihan Li, et al.
Veröffentlicht: (2024)

Facile Conjugation Method of CpG‐ODN Adjuvant to Intact Virions for Vaccine Development
von: Alexandra A. Maalouf, et al.
Veröffentlicht: (2025)

Intact and core tetraether lipids in water column profiles of suspended particulate matter off Cape Blanc, NW Africa
von: Basse, Andreas, et al.
Veröffentlicht: (2013)

Differential Roles of Notch Receptors in Regulating Activation of Intact Adult Mouse Spinal Cord‐Derived NSCs
von: Juan Li, et al.
Veröffentlicht: (2026)

AnTKV: Anchor Token-Aware Sub-Bit Vector Quantization for KV Cache in Large Language Models
von: Li, Zeyu, et al.
Veröffentlicht: (2025)

The Binding of Concanavalin A to the Surface of Intact and Denuded Sea Urchin Eggs Affects the Fertilization Process by Altering the Structural Dynamics of Actin Filaments.
von: Limatola, Nunzia, et al.
Veröffentlicht: (2025)

Intact polar diacylglycerol (IP-DAG) lipids measured in cultures of four Antarctic diatom isolates
von: Collins, James R, et al.
Veröffentlicht: (2017)

Intact polar lipids of two sediment cores from the Orca Basin, northern Gulf of Mexico
von: Zhuang, Guang-Chao, et al.
Veröffentlicht: (2016)

Intact polar lipid (IPL) composition of selected soils and sediments from Bayelva drainage area
von: Rethemeyer, Janet, et al.
Veröffentlicht: (2021)