Buchumschlag

Enhancing In-Context Learning Performance with just SVD-Based Weight Pruning: A Theoretical Perspective

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yao, Xinhao, Hu, Xiaolin, Yang, Shenzhi, Liu, Yong
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Debate on RLVR Reasoning Capability Boundary: Shrinkage, Expansion, or Both? A Two-Stage Dynamic View
von: Yao, Xinhao, et al.
Veröffentlicht: (2025)

Compositional Generalization from Learned Skills via CoT Training: A Theoretical and Structural Analysis for Reasoning
von: Yao, Xinhao, et al.
Veröffentlicht: (2025)

Heterogeneous Graph Prompt Learning via Adaptive Weight Pruning
von: Wei, Chu-Yuan, et al.
Veröffentlicht: (2025)

In-Context Algorithm Emulation in Fixed-Weight Transformers
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2025)

SwiftPrune: Hessian-Free Weight Pruning for Large Language Models
von: Kang, Yuhan, et al.
Veröffentlicht: (2025)

DipSVD: Dual-importance Protected SVD for Efficient LLM Compression
von: Ding, Xuan, et al.
Veröffentlicht: (2025)

Bounded and Uniform Energy-based Out-of-distribution Detection for Graphs
von: Yang, Shenzhi, et al.
Veröffentlicht: (2025)

NodeReg: Mitigating the Imbalance and Distribution Shift Effects in Semi-Supervised Node Classification via Norm Consistency
von: Yang, Shenzhi, et al.
Veröffentlicht: (2025)

Enhancing Reinforcement Learning Fine-Tuning with an Online Refiner
von: Ma, Hao, et al.
Veröffentlicht: (2026)

Intrinsic Structure as a Proxy for Saliency: SVD-Based Weight Preservation for Mixed-Precision Quantization in Large Language Models
von: Landge, Shashank, et al.
Veröffentlicht: (2025)

Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA
von: Rahulamathavan, Yogachandran, et al.
Veröffentlicht: (2026)

SAFE-SVD: Sensitivity-Aware Fidelity-Enforcing SVD for Physics Foundation Models
von: Hong, Chengjie, et al.
Veröffentlicht: (2026)

Generalized Fisher-Weighted SVD: Scalable Kronecker-Factored Fisher Approximation for Compressing Large Language Models
von: Chekalina, Viktoriia, et al.
Veröffentlicht: (2025)

Theoretical Analysis of Sparse Optimization with Reparameterization, Weight Decay, and Adaptive Learning Rate
von: Xu, Huangyu, et al.
Veröffentlicht: (2026)

Scaling Laws and In-Context Learning: A Unified Theoretical Framework
von: Mehta, Sushant, et al.
Veröffentlicht: (2025)

Enhancing Stroke Diagnosis in the Brain Using a Weighted Deep Learning Approach
von: Zhiwan, Yao, et al.
Veröffentlicht: (2025)

SPGCL: Simple yet Powerful Graph Contrastive Learning via SVD-Guided Structural Perturbation
von: Deng, Hao, et al.
Veröffentlicht: (2026)

FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA
von: Lee, Seanie, et al.
Veröffentlicht: (2025)

Towards a Theoretical Understanding of Synthetic Data in LLM Post-Training: A Reverse-Bottleneck Perspective
von: Gan, Zeyu, et al.
Veröffentlicht: (2024)

EMP: Enhance Memory in Data Pruning
von: Xiao, Jinying, et al.
Veröffentlicht: (2024)

LLM-Rank: A Graph Theoretical Approach to Pruning Large Language Models
von: Hoffmann, David, et al.
Veröffentlicht: (2024)

Chemical knowledge-informed framework for privacy-aware retrosynthesis learning
von: Chen, Guikun, et al.
Veröffentlicht: (2025)

KBVQ-MoE: KLT-guided SVD with Bias-Corrected Vector Quantization for MoE Large Language Models
von: Xu, Zukang, et al.
Veröffentlicht: (2026)

Sparse Weight Averaging with Multiple Particles for Iterative Magnitude Pruning
von: Choi, Moonseok, et al.
Veröffentlicht: (2023)

SVDformer: Direction-Aware Spectral Graph Embedding Learning via SVD and Transformer
von: Fang, Jiayu, et al.
Veröffentlicht: (2025)

Theoretical and Empirical Advances in Forest Pruning
von: Dorador, Albert
Veröffentlicht: (2024)

A Generic Layer Pruning Method for Signal Modulation Recognition Deep Learning Models
von: Lu, Yao, et al.
Veröffentlicht: (2024)

Difficult Examples Hurt Unsupervised Contrastive Learning: A Theoretical Perspective
von: Zhang, Yi-Ge, et al.
Veröffentlicht: (2025)

An Optimal Discriminator Weighted Imitation Perspective for Reinforcement Learning
von: Xu, Haoran, et al.
Veröffentlicht: (2025)

Challenges in Deploying Long-Context Transformers: A Theoretical Peak Performance Analysis
von: Fu, Yao
Veröffentlicht: (2024)

Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective
von: Zhao, Lei, et al.
Veröffentlicht: (2023)

Lightweight Edge Learning via Dataset Pruning
von: Ale, Laha, et al.
Veröffentlicht: (2026)

Learning in Feature Spaces via Coupled Covariances: Asymmetric Kernel SVD and Nyström method
von: Tao, Qinghua, et al.
Veröffentlicht: (2024)

Weight Concentration Regularization for Improving Pruning Robustness Under High Sparsity
von: Yun, Vincent-Daniel, et al.
Veröffentlicht: (2025)

Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization
von: Zhu, Haodong, et al.
Veröffentlicht: (2026)

In-Context Learning can Perform Continual Learning Like Humans
von: Kang, Liuwang, et al.
Veröffentlicht: (2025)

Quantum-Enhanced Multi-Task Learning with Learnable Weighting for Pharmacokinetic and Toxicity Prediction
von: Zhang, Han, et al.
Veröffentlicht: (2025)

Post-processing for Fair Regression via Explainable SVD
von: Zuo, Zhiqun, et al.
Veröffentlicht: (2025)

An Effective Information Theoretic Framework for Channel Pruning
von: Chen, Yihao, et al.
Veröffentlicht: (2024)

From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning
von: Jiang, Xitai, et al.
Veröffentlicht: (2026)