Buchumschlag

QUAD: Quantization and Parameter-Efficient Tuning of LLM with Activation Decomposition

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hu, Yuxuan, Chen, Xiaodong, Li, Cuiping, Chen, Hong, Zhang, Jing
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Computation and Language I.2.7
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LoRS: Efficient Low-Rank Adaptation for Sparse Large Language Model
von: Hu, Yuxuan, et al.
Veröffentlicht: (2025)

Streamlining Redundant Layers to Compress Large Language Models
von: Chen, Xiaodong, et al.
Veröffentlicht: (2024)

$\rm SP^3$: Enhancing Structured Pruning via PCA Projection
von: Hu, Yuxuan, et al.
Veröffentlicht: (2023)

SAM Decoding: Speculative Decoding via Suffix Automaton
von: Hu, Yuxuan, et al.
Veröffentlicht: (2024)

Quantization-Robust LLM Unlearning via Low-Rank Adaptation
von: Abitante, João Vitor Boer, et al.
Veröffentlicht: (2026)

PowLU: An Activation Function for Stable Pre-Training of LLMs
von: Jiang, Peijie, et al.
Veröffentlicht: (2026)

ConPET: Continual Parameter-Efficient Tuning for Large Language Models
von: Song, Chenyang, et al.
Veröffentlicht: (2023)

A Framework for Fine-Tuning LLMs using Heterogeneous Feedback
von: Aponte, Ryan, et al.
Veröffentlicht: (2024)

Sparsing Law: Towards Large Language Models with Greater Activation Sparsity
von: Luo, Yuqi, et al.
Veröffentlicht: (2024)

Linguistically-Informed Multilingual Instruction Tuning: Is There an Optimal Set of Languages to Tune?
von: Soykan, Gürkan, et al.
Veröffentlicht: (2024)

Kronecker Embeddings: Byte-Level Structured Token Representations for Parameter-Efficient Language Models
von: Shravan, Rohan
Veröffentlicht: (2026)

WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training
von: Tian, Changxin, et al.
Veröffentlicht: (2025)

ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models
von: Song, Chenyang, et al.
Veröffentlicht: (2024)

Are LLM Uncertainty and Correctness Encoded by the Same Features? A Functional Dissociation via Sparse Autoencoders
von: Patel, Het, et al.
Veröffentlicht: (2026)

Large Language Model (LLM) Bias Index -- LLMBI
von: Oketunji, Abiodun Finbarrs, et al.
Veröffentlicht: (2023)

AsyncTLS: Efficient Generative LLM Inference with Asynchronous Two-level Sparse Attention
von: Hu, Yuxuan, et al.
Veröffentlicht: (2026)

Scaling Laws for Forgetting When Fine-Tuning Large Language Models
von: Kalajdzievski, Damjan
Veröffentlicht: (2024)

Generalizable LLM Learning of Graph Synthetic Data with Post-training Alignment
von: Zhang, Yizhuo, et al.
Veröffentlicht: (2025)

Ambiguity in LLMs is a concept missing problem
von: Hu, Zhibo, et al.
Veröffentlicht: (2025)

Quantized Side Tuning: Fast and Memory-Efficient Tuning of Quantized Large Language Models
von: Zhang, Zhengxin, et al.
Veröffentlicht: (2024)

QiMeng-Attention: SOTA Attention Operator is generated by SOTA Attention Algorithm
von: Zhou, Qirui, et al.
Veröffentlicht: (2025)

Every Sample Matters: Leveraging Mixture-of-Experts and High-Quality Data for Efficient and Accurate Code LLM
von: Codefuse, et al.
Veröffentlicht: (2025)

Structure-Guided Entity Resolution: Fine-Tuning LLMs for Robust Name Matching in Complex Linguistic Contexts
von: Chourasia, Shivam, et al.
Veröffentlicht: (2026)

FlexQuant: A Flexible and Efficient Dynamic Precision Switching Framework for LLM Quantization
von: Liu, Fangxin, et al.
Veröffentlicht: (2025)

Enhancing Automated Essay Scoring with Three Techniques: Two-Stage Fine-Tuning, Score Alignment, and Self-Training
von: Choi, Hongseok, et al.
Veröffentlicht: (2026)

Lon-ea at SemEval-2023 Task 11: A Comparison of Activation Functions for Soft and Hard Label Prediction
von: Hosseini, Peyman, et al.
Veröffentlicht: (2023)

RAC: Efficient LLM Factuality Correction with Retrieval Augmentation
von: Li, Changmao, et al.
Veröffentlicht: (2024)

Improving the Capabilities of Large Language Model Based Marketing Analytics Copilots With Semantic Search And Fine-Tuning
von: Gao, Yilin, et al.
Veröffentlicht: (2024)

MMSciBench: Benchmarking Language Models on Chinese Multimodal Scientific Problems
von: Ye, Xinwu, et al.
Veröffentlicht: (2025)

PersonalLLM: Tailoring LLMs to Individual Preferences
von: Zollo, Thomas P., et al.
Veröffentlicht: (2024)

Resonant Context Anchoring: Decoupling Attention Routing and Signal Gain at Inference Time
von: Zhao, Mingkuan, et al.
Veröffentlicht: (2026)

Chain and Causal Attention for Efficient Entity Tracking
von: Fagnou, Erwan, et al.
Veröffentlicht: (2024)

Less Is More: Cognitive Load and the Single-Prompt Ceiling in LLM Mathematical Reasoning
von: Cazares, Manuel Israel
Veröffentlicht: (2026)

Evaluating the Efficacy of Hybrid Deep Learning Models in Distinguishing AI-Generated Text
von: Oketunji, Abiodun Finbarrs
Veröffentlicht: (2023)

HYPEROFA: Expanding LLM Vocabulary to New Languages via Hypernetwork-Based Embedding Initialization
von: Özeren, Enes, et al.
Veröffentlicht: (2025)

Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability
von: Du, Yucheng
Veröffentlicht: (2026)

Representation-Aware Unlearning via Activation Signatures: From Suppression to Entity-Signature Erasure
von: Mahmood, Syed Naveed, et al.
Veröffentlicht: (2026)

Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning
von: Steele, Brady
Veröffentlicht: (2026)

Integrating Expert Labels into LLM-based Emission Goal Detection: Example Selection vs Automatic Prompt Design
von: Wrzalik, Marco, et al.
Veröffentlicht: (2024)

Amulet: ReAlignment During Test Time for Personalized Preference Adaptation of LLMs
von: Zhang, Zhaowei, et al.
Veröffentlicht: (2025)