Buchumschlag

On the Emergence of Cross-Task Linearity in the Pretraining-Finetuning Paradigm

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhou, Zhanpeng, Chen, Zijun, Chen, Yilan, Zhang, Bo, Yan, Junchi
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On the Learning Dynamics of Two-layer Linear Networks with Label Noise SGD
von: Zhang, Tongcheng, et al.
Veröffentlicht: (2026)

OLLIE: Imitation Learning from Offline Pretraining to Online Finetuning
von: Yue, Sheng, et al.
Veröffentlicht: (2024)

Finetune-Informed Pretraining Boosts Downstream Performance
von: Faysal, Atik, et al.
Veröffentlicht: (2026)

From Basic to Extra Features: Hypergraph Transformer Pretrain-then-Finetuning for Balanced Clinical Predictions on EHR
von: Xu, Ran, et al.
Veröffentlicht: (2024)

LLM-Inspired Pretrain-Then-Finetune for Small-Data, Large-Scale Optimization
von: Zhang, Zishi, et al.
Veröffentlicht: (2026)

The Sharpness Disparity Principle in Transformers for Accelerating Language Model Pre-Training
von: Wang, Jinbo, et al.
Veröffentlicht: (2025)

SE-Merging: A Self-Enhanced Approach for Dynamic Model Merging
von: Chen, Zijun, et al.
Veröffentlicht: (2025)

NTKMTL: Mitigating Task Imbalance in Multi-Task Learning from Neural Tangent Kernel Perspective
von: Qin, Xiaohan, et al.
Veröffentlicht: (2025)

SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity
von: Wu, Qitian, et al.
Veröffentlicht: (2024)

TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning
von: Hong, Matthew M., et al.
Veröffentlicht: (2026)

Generalizable and Stable Finetuning of Pretrained Language Models on Low-Resource Texts
von: Somayajula, Sai Ashish, et al.
Veröffentlicht: (2024)

Learning to Solve Combinatorial Optimization under Positive Linear Constraints via Non-Autoregressive Neural Networks
von: Wang, Runzhong, et al.
Veröffentlicht: (2024)

Posterior Behavioral Cloning: Pretraining BC Policies for Efficient RL Finetuning
von: Wagenmaker, Andrew, et al.
Veröffentlicht: (2025)

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less
von: Liu, Yuxing, et al.
Veröffentlicht: (2026)

Cross-Table Pretraining towards a Universal Function Space for Heterogeneous Tabular Data
von: Chen, Jintai, et al.
Veröffentlicht: (2024)

Cross-Modal Reconstruction Pretraining for Ramp Flow Prediction at Highway Interchanges
von: Li, Yongchao, et al.
Veröffentlicht: (2025)

Shared Parameter Subspaces and Cross-Task Linearity in Emergently Misaligned Behavior
von: Arturi, Daniel Aarao Reis, et al.
Veröffentlicht: (2025)

Representation Finetuning for Continual Learning
von: Luo, Haihua, et al.
Veröffentlicht: (2026)

CoPS: Empowering LLM Agents with Provable Cross-Task Experience Sharing
von: Yang, Chen, et al.
Veröffentlicht: (2024)

In-Context Curiosity: Distilling Exploration for Decision-Pretrained Transformers on Bandit Tasks
von: Yang, Huitao, et al.
Veröffentlicht: (2025)

Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs
von: Itzhak, Itay, et al.
Veröffentlicht: (2025)

Learning Dynamics of VLM Finetuning
von: Zhang, Jusheng, et al.
Veröffentlicht: (2025)

Transformers from Diffusion: A Unified Framework for Neural Message Passing
von: Wu, Qitian, et al.
Veröffentlicht: (2024)

CIMGEN: Controlled Image Manipulation by Finetuning Pretrained Generative Models on Limited Data
von: Gudavalli, Chandrakanth, et al.
Veröffentlicht: (2024)

Handling Distribution Shifts on Graphs: An Invariance Perspective
von: Wu, Qitian, et al.
Veröffentlicht: (2022)

Innovator: Scientific Continued Pretraining with Fine-grained MoE Upcycling
von: Liao, Ning, et al.
Veröffentlicht: (2025)

Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning
von: Yang, Puning, et al.
Veröffentlicht: (2026)

Towards Fast Safe Online Reinforcement Learning via Policy Finetuning
von: Chen, Keru, et al.
Veröffentlicht: (2024)

Grammar-Constrained Decoding for Structured NLP Tasks without Finetuning
von: Geng, Saibo, et al.
Veröffentlicht: (2023)

Reinforcement Learning Gradients as Vitamin for Online Finetuning Decision Transformers
von: Yan, Kai, et al.
Veröffentlicht: (2024)

One Model for One Graph: A New Perspective for Pretraining with Cross-domain Graphs
von: Liu, Jingzhe, et al.
Veröffentlicht: (2024)

Pretraining on Sleep Data Improves non-Sleep Biosignal Tasks
von: Lehn-Schiøler, William, et al.
Veröffentlicht: (2026)

PTSM: Physiology-aware and Task-invariant Spatio-temporal Modeling for Cross-Subject EEG Decoding
von: Jing, Changhong, et al.
Veröffentlicht: (2025)

Multitask Battery Management with Flexible Pretraining
von: Lu, Hong, et al.
Veröffentlicht: (2025)

VAO: Validation-Aligned Optimization for Cross-Task Generative Auto-Bidding
von: Lv, Yiqin, et al.
Veröffentlicht: (2025)

A Scalable Pretraining Framework for Link Prediction with Efficient Adaptation
von: Song, Yu, et al.
Veröffentlicht: (2025)

Weakly Supervised Pretraining and Multi-Annotator Supervised Finetuning for Facial Wrinkle Detection
von: Moon, Ik Jun, et al.
Veröffentlicht: (2024)

Robust Federated Finetuning of LLMs via Alternating Optimization of LoRA
von: Chen, Shuangyi, et al.
Veröffentlicht: (2025)

Cross-variable Linear Integrated ENhanced Transformer for Photovoltaic power forecasting
von: Gao, Jiaxin, et al.
Veröffentlicht: (2024)

Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights
von: Gan, Yulu, et al.
Veröffentlicht: (2026)