Buchumschlag

DeltaDQ: Ultra-High Delta Compression for Fine-Tuned LLMs via Group-wise Dropout and Separate Quantization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jiang, Yanfeng, Yang, Zelan, Chen, Bohua, Li, Shen, Li, Yong, Li, Tao
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Enhancing Delta Compression in LLMs via SVD-based Quantization Error Minimization
von: Xiong, Boya, et al.
Veröffentlicht: (2025)

Effectively Compress KV Heads for LLM
von: Yu, Hao, et al.
Veröffentlicht: (2024)

Delta Decompression for MoE-based LLMs Compression
von: Gu, Hao, et al.
Veröffentlicht: (2025)

DAQ: Delta-Aware Quantization for Post-Training LLM Weight Compression
von: Yu, Xiaoming, et al.
Veröffentlicht: (2026)

Breaking the Compression Ceiling: Data-Free Pipeline for Ultra-Efficient Delta Compression
von: Wang, Xiaohui, et al.
Veröffentlicht: (2025)

DARE the Extreme: Revisiting Delta-Parameter Pruning For Fine-Tuned Models
von: Deng, Wenlong, et al.
Veröffentlicht: (2024)

ImPart: Importance-Aware Delta-Sparsification for Improved Model Compression and Merging in LLMs
von: Yang, Yan, et al.
Veröffentlicht: (2025)

DeltaLLM: Compress LLMs with Low-Rank Deltas between Shared Weights
von: Mikaelyan, Liana, et al.
Veröffentlicht: (2025)

Safe Delta: Consistently Preserving Safety when Fine-Tuning LLMs on Diverse Datasets
von: Lu, Ning, et al.
Veröffentlicht: (2025)

D-QRELO: Training- and Data-Free Delta Compression for Large Language Models via Quantization and Residual Low-Rank Approximation
von: Li, Junlin, et al.
Veröffentlicht: (2026)

BitDelta: Your Fine-Tune May Only Be Worth One Bit
von: Liu, James, et al.
Veröffentlicht: (2024)

Dynamic Base model Shift for Delta Compression
von: Huang, Chenyu, et al.
Veröffentlicht: (2025)

Seeing Delta Parameters as JPEG Images: Data-Free Delta Compression with Discrete Cosine Transform
von: Huang, Chenyu, et al.
Veröffentlicht: (2025)

Beyond the Dirac Delta: Mitigating Diversity Collapse in Reinforcement Fine-Tuning for Versatile Image Generation
von: Liu, Jinmei, et al.
Veröffentlicht: (2026)

Keeping Code-Aware LLMs Fresh: Full Refresh, In-Context Deltas, and Incremental Fine-Tuning
von: Sharma, Pradeep Kumar, et al.
Veröffentlicht: (2025)

Layer-wise Regularized Dropout for Neural Language Models
von: Ni, Shiwen, et al.
Veröffentlicht: (2024)

CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning
von: Liu, Peiyuan, et al.
Veröffentlicht: (2024)

FedQuad: Adaptive Layer-wise LoRA Deployment and Activation Quantization for Federated Fine-Tuning
von: Li, Rukuo, et al.
Veröffentlicht: (2025)

A Layer-wise Analysis of Supervised Fine-Tuning
von: Zhao, Qinghua, et al.
Veröffentlicht: (2026)

Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs
von: Adhikari, Santosh Premi, et al.
Veröffentlicht: (2026)

Two-Stage Grid Optimization for Group-wise Quantization of LLMs
von: Kim, Junhan, et al.
Veröffentlicht: (2026)

TR-DQ: Time-Rotation Diffusion Quantization
von: Shao, Yihua, et al.
Veröffentlicht: (2025)

Delta-ICM: Entropy Modeling with Delta Function for Learned Image Compression
von: Shindo, Takahiro, et al.
Veröffentlicht: (2024)

Quantized Delta Weight Is Safety Keeper
von: Liu, Yule, et al.
Veröffentlicht: (2024)

GroupedMixer: An Entropy Model with Group-wise Token-Mixers for Learned Image Compression
von: Li, Daxin, et al.
Veröffentlicht: (2024)

SDQ-LLM: Sigma-Delta Quantization for 1-bit LLMs of any size
von: Xia, Junhao, et al.
Veröffentlicht: (2025)

DeltaZip: Efficient Serving of Multiple Full-Model-Tuned LLMs
von: Yao, Xiaozhe, et al.
Veröffentlicht: (2023)

QEFT: Quantization for Efficient Fine-Tuning of LLMs
von: Lee, Changhun, et al.
Veröffentlicht: (2024)

Topological Sequence Analysis of Genomes: Delta Complex approaches
von: Liu, Jian, et al.
Veröffentlicht: (2025)

Delta-Crosscoder: Robust Crosscoder Model Diffing in Narrow Fine-Tuning Regimes
von: Kassem, Aly, et al.
Veröffentlicht: (2026)

Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models
von: Ping, Bowen, et al.
Veröffentlicht: (2024)

GSQ-Tuning: Group-Shared Exponents Integer in Fully Quantized Training for LLMs On-Device Fine-tuning
von: Zhou, Sifan, et al.
Veröffentlicht: (2025)

Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2025)

SplitCom: Communication-efficient Split Federated Fine-tuning of LLMs via Temporal Compression
von: Li, Tao, et al.
Veröffentlicht: (2026)

ADFQ-ViT: Activation-Distribution-Friendly Post-Training Quantization for Vision Transformers
von: Jiang, Yanfeng, et al.
Veröffentlicht: (2024)

Accurate and Efficient Fine-Tuning of Quantized Large Language Models Through Optimal Balance
von: Shen, Ao, et al.
Veröffentlicht: (2024)

Delta-SVD: Efficient Compression for Personalized Text-to-Image Models
von: Zhang, Tangyuan, et al.
Veröffentlicht: (2025)

Fine-Tuning, Quantization, and LLMs: Navigating Unintended Outcomes
von: Kumar, Divyanshu, et al.
Veröffentlicht: (2024)

Targeted Vaccine: Safety Alignment for Large Language Models against Harmful Fine-Tuning via Layer-wise Perturbation
von: Liu, Guozhi, et al.
Veröffentlicht: (2024)

Delta-Influence: Unlearning Poisons via Influence Functions
von: Li, Wenjie, et al.
Veröffentlicht: (2024)