Buchumschlag

LLM-Inspired Pretrain-Then-Finetune for Small-Data, Large-Scale Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Zishi, Han, Jinhui, Hu, Ming, Peng, Yijie
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Sample-Efficient "Clustering and Conquer" Procedures for Parallel Large-Scale Ranking and Selection
von: Zhang, Zishi, et al.
Veröffentlicht: (2024)

FLOPS: Forward Learning with OPtimal Sampling
von: Ren, Tao, et al.
Veröffentlicht: (2024)

Closing the Loop: Coordinating Inventory and Recommendation via Deep Reinforcement Learning on Multiple Timescales
von: Jiang, Jinyang, et al.
Veröffentlicht: (2025)

RiskPO: Risk-based Policy Optimization via Verifiable Reward for LLM Post-Training
von: Ren, Tao, et al.
Veröffentlicht: (2025)

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less
von: Liu, Yuxing, et al.
Veröffentlicht: (2026)

On the Emergence of Cross-Task Linearity in the Pretraining-Finetuning Paradigm
von: Zhou, Zhanpeng, et al.
Veröffentlicht: (2024)

OLLIE: Imitation Learning from Offline Pretraining to Online Finetuning
von: Yue, Sheng, et al.
Veröffentlicht: (2024)

Finetune-Informed Pretraining Boosts Downstream Performance
von: Faysal, Atik, et al.
Veröffentlicht: (2026)

TrafficGPT: Towards Multi-Scale Traffic Analysis and Generation with Spatial-Temporal Agent Framework
von: Ouyang, Jinhui, et al.
Veröffentlicht: (2024)

Cold-Start Forecasting of New Product Life-Cycles via Conditional Diffusion Models
von: Zhou, Ruihan, et al.
Veröffentlicht: (2026)

Nonparametric Bayesian Optimization for General Rewards
von: Zhang, Zishi, et al.
Veröffentlicht: (2026)

From Basic to Extra Features: Hypergraph Transformer Pretrain-then-Finetuning for Balanced Clinical Predictions on EHR
von: Xu, Ran, et al.
Veröffentlicht: (2024)

Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning
von: Zhang, Ling, et al.
Veröffentlicht: (2025)

Scaling Agentic Capabilities, Not Context: Efficient Reinforcement Finetuning for Large Toolspaces
von: Gupta, Karan, et al.
Veröffentlicht: (2026)

TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning
von: Hong, Matthew M., et al.
Veröffentlicht: (2026)

Generalizable and Stable Finetuning of Pretrained Language Models on Low-Resource Texts
von: Somayajula, Sai Ashish, et al.
Veröffentlicht: (2024)

CIMGEN: Controlled Image Manipulation by Finetuning Pretrained Generative Models on Limited Data
von: Gudavalli, Chandrakanth, et al.
Veröffentlicht: (2024)

Posterior Behavioral Cloning: Pretraining BC Policies for Efficient RL Finetuning
von: Wagenmaker, Andrew, et al.
Veröffentlicht: (2025)

Memory-Efficient LLM Pretraining via Minimalist Optimizer Design
von: Glentis, Athanasios, et al.
Veröffentlicht: (2025)

PRDP: Proximal Reward Difference Prediction for Large-Scale Reward Finetuning of Diffusion Models
von: Deng, Fei, et al.
Veröffentlicht: (2024)

NuTime: Numerically Multi-Scaled Embedding for Large-Scale Time-Series Pretraining
von: Lin, Chenguo, et al.
Veröffentlicht: (2023)

Learning Dynamics of LLM Finetuning
von: Ren, Yi, et al.
Veröffentlicht: (2024)

A Small Math Model: Recasting Strategy Choice Theory in an LLM-Inspired Architecture
von: Rahman, Roussel, et al.
Veröffentlicht: (2025)

Probing the Limits of Compressive Memory: A Study of Infini-Attention in Small-Scale Pretraining
von: Huang, Ruizhe, et al.
Veröffentlicht: (2025)

Transfer Learning of Tabular Data by Finetuning Large Language Models
von: Rabbani, Shourav B., et al.
Veröffentlicht: (2025)

Deep Learning and Machine Learning, Advancing Big Data Analytics and Management: Tensorflow Pretrained Models
von: Chen, Keyu, et al.
Veröffentlicht: (2024)

Small or Large? Zero-Shot or Finetuned? Guiding Language Model Choice for Specialized Applications in Healthcare
von: Gondara, Lovedeep, et al.
Veröffentlicht: (2025)

Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs
von: Itzhak, Itay, et al.
Veröffentlicht: (2025)

Half-order Fine-Tuning for Diffusion Model: A Recursive Likelihood Ratio Optimizer
von: Ren, Tao, et al.
Veröffentlicht: (2025)

Learning Dynamics of VLM Finetuning
von: Zhang, Jusheng, et al.
Veröffentlicht: (2025)

Orthogonal Finetuning for Direct Preference Optimization
von: Yang, Chenxu, et al.
Veröffentlicht: (2024)

OPT-BENCH: Evaluating LLM Agent on Large-Scale Search Spaces Optimization Problems
von: Li, Xiaozhe, et al.
Veröffentlicht: (2025)

Scaling Offline Model-Based RL via Jointly-Optimized World-Action Model Pretraining
von: Cheng, Jie, et al.
Veröffentlicht: (2024)

Robust Federated Finetuning of LLMs via Alternating Optimization of LoRA
von: Chen, Shuangyi, et al.
Veröffentlicht: (2025)

InterCorpRel-LLM: Enhancing Financial Relational Understanding with Graph-Language Models
von: Sun, Qianyou, et al.
Veröffentlicht: (2025)

MPLite: Multi-Aspect Pretraining for Mining Clinical Health Records
von: Yang, Eric, et al.
Veröffentlicht: (2024)

Pretrain Value, Not Reward: Decoupled Value Policy Optimization
von: Huang, Chenghua, et al.
Veröffentlicht: (2025)

Performance of Small Language Model Pretraining on FABRIC: An Empirical Study
von: Rao, Praveen
Veröffentlicht: (2026)

Data Value in the Age of Scaling: Understanding LLM Scaling Dynamics Under Real-Synthetic Data Mixtures
von: Wang, Haohui, et al.
Veröffentlicht: (2025)

Large Language Models to Diffusion Finetuning
von: Cetin, Edoardo, et al.
Veröffentlicht: (2025)