Buchumschlag

Leveraging Submodule Linearity Enhances Task Arithmetic Performance in LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Dai, Rui, Hu, Sile, Shen, Xu, Zhang, Yonggang, Tian, Xinmei, Ye, Jieping
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Interpreting and Improving Large Language Models in Arithmetic Calculation
von: Zhang, Wei, et al.
Veröffentlicht: (2024)

Robust Training of Federated Models with Extremely Label Deficiency
von: Zhang, Yonggang, et al.
Veröffentlicht: (2024)

Fine-Tuning Attention Modules Only: Enhancing Weight Disentanglement in Task Arithmetic
von: Jin, Ruochen, et al.
Veröffentlicht: (2024)

TokenSqueeze: Performance-Preserving Compression for Reasoning LLMs
von: Zhang, Yuxiang, et al.
Veröffentlicht: (2025)

Distilling Linearized Behavior into Non-Linear Fine-Tuning for Effective Task Arithmetic
von: Sommariva, Thomas, et al.
Veröffentlicht: (2026)

Beyond Task Vectors: Selective Task Arithmetic Based on Importance Metrics
von: Bowen, Tian, et al.
Veröffentlicht: (2024)

Per-parameter Task Arithmetic for Unlearning in Large Language Models
von: Cai, Chengyi, et al.
Veröffentlicht: (2026)

On Fairness of Task Arithmetic: The Role of Task Vectors
von: Naganuma, Hiroki, et al.
Veröffentlicht: (2025)

Principled Understanding of Generalization for Generative Transformer Models in Arithmetic Reasoning Tasks
von: Xu, Xingcheng, et al.
Veröffentlicht: (2024)

CATA: Continual Machine Unlearning via Conflict-Averse Task Arithmetic
von: Lin, Shen, et al.
Veröffentlicht: (2026)

FedImpro: Measuring and Improving Client Update in Federated Learning
von: Tang, Zhenheng, et al.
Veröffentlicht: (2024)

Boosting Fair Classifier Generalization through Adaptive Priority Reweighing
von: Hu, Zhihao, et al.
Veröffentlicht: (2023)

Conformalized Interval Arithmetic with Symmetric Calibration
von: Luo, Rui, et al.
Veröffentlicht: (2024)

Latte: Transfering LLMs` Latent-level Knowledge for Few-shot Tabular Learning
von: Shi, Ruxue, et al.
Veröffentlicht: (2025)

Task Vector Bases: A Unified and Scalable Framework for Compressed Task Arithmetic
von: Zeng, Siqi, et al.
Veröffentlicht: (2025)

Enhancing One-Shot Federated Learning Through Data and Ensemble Co-Boosting
von: Dai, Rong, et al.
Veröffentlicht: (2024)

MOSS: Self-Evolution through Source-Level Rewriting in Autonomous Agent Systems
von: Cai, Qianshu, et al.
Veröffentlicht: (2026)

LPCD: Unified Framework from Layer-Wise to Submodule Quantization
von: Ichikawa, Yuma, et al.
Veröffentlicht: (2025)

RevOrder: A Novel Method for Enhanced Arithmetic in Language Models
von: Shen, Si, et al.
Veröffentlicht: (2024)

Language Models Do Hard Arithmetic Tasks Easily and Hardly Do Easy Arithmetic Tasks
von: Gambardella, Andrew, et al.
Veröffentlicht: (2024)

Task Arithmetic Through The Lens Of One-Shot Federated Learning
von: Tao, Zhixu Silvia, et al.
Veröffentlicht: (2024)

Differentiation of Multi-objective Data-driven Decision Pipeline
von: Li, Peng, et al.
Veröffentlicht: (2024)

HRP: High-Rank Preheating for Superior LoRA Initialization
von: Chen, Yuzhu, et al.
Veröffentlicht: (2025)

Provable In-Context Vector Arithmetic via Retrieving Task Concepts
von: Bu, Dake, et al.
Veröffentlicht: (2025)

Localize-and-Stitch: Efficient Model Merging via Sparse Task Arithmetic
von: He, Yifei, et al.
Veröffentlicht: (2024)

One Model for All Tasks: Leveraging Efficient World Models in Multi-Task Planning
von: Pu, Yuan, et al.
Veröffentlicht: (2025)

SAC-KG: Exploiting Large Language Models as Skilled Automatic Constructors for Domain Knowledge Graphs
von: Chen, Hanzhu, et al.
Veröffentlicht: (2024)

Leveraging Semi-Supervised Learning to Enhance Data Mining for Image Classification under Limited Labeled Data
von: Shen, Aoran, et al.
Veröffentlicht: (2024)

Towards Enhanced RAC Accessibility: Leveraging Datasets and LLMs
von: Sepulveda, Edison Jair Bejarano, et al.
Veröffentlicht: (2024)

Towards Theoretical Understandings of Self-Consuming Generative Models
von: Fu, Shi, et al.
Veröffentlicht: (2024)

Leveraging Auxiliary Task Relevance for Enhanced Bearing Fault Diagnosis through Curriculum Meta-learning
von: Wang, Jinze, et al.
Veröffentlicht: (2024)

Enhancing Bandit Algorithms with LLMs for Time-varying User Preferences in Streaming Recommendations
von: Shen, Chenglei, et al.
Veröffentlicht: (2026)

Cluster-Based Client Selection for Dependent Multi-Task Federated Learning in Edge Computing
von: Luo, Jieping, et al.
Veröffentlicht: (2025)

Layer-Aware Task Arithmetic: Disentangling Task-Specific and Instruction-Following Knowledge
von: Chen, Yan-Lun, et al.
Veröffentlicht: (2025)

Enhancing Target-unspecific Tasks through a Features Matrix
von: Cui, Fangming, et al.
Veröffentlicht: (2025)

Using GPUs And LLMs Can Be Satisfying for Nonlinear Real Arithmetic Problems
von: Brix, Christopher, et al.
Veröffentlicht: (2026)

MaskPro: Linear-Space Probabilistic Learning for Strict (N:M)-Sparsity on LLMs
von: Sun, Yan, et al.
Veröffentlicht: (2025)

SC2Arena and StarEvolve: Benchmark and Self-Improvement Framework for LLMs in Complex Decision-Making Tasks
von: Shen, Pengbo, et al.
Veröffentlicht: (2025)

TrajCogn: Leveraging LLMs for Cognizing Movement Patterns and Travel Purposes from Trajectories
von: Zhou, Zeyu, et al.
Veröffentlicht: (2024)

AutoTriton: Automatic Triton Programming with Reinforcement Learning in LLMs
von: Li, Shangzhan, et al.
Veröffentlicht: (2025)