Gespeichert in:
| 1. Verfasser: | Ferreira, Fabio |
|---|---|
| Format: | Preprint |
| Veröffentlicht: |
2025
|
| Schlagworte: | |
| Online-Zugang: | https://arxiv.org/abs/2506.12161 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Ähnliche Einträge
Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How
von: Arango, Sebastian Pineda, et al.
Veröffentlicht: (2023)
von: Arango, Sebastian Pineda, et al.
Veröffentlicht: (2023)
The Finetuner's Fallacy: When to Pretrain with Your Finetuning Data
von: Baek, Christina, et al.
Veröffentlicht: (2026)
von: Baek, Christina, et al.
Veröffentlicht: (2026)
Scaling Laws for Forgetting during Finetuning with Pretraining Data Injection
von: Bethune, Louis, et al.
Veröffentlicht: (2025)
von: Bethune, Louis, et al.
Veröffentlicht: (2025)
Transfer Learning for Finetuning Large Language Models
von: Strangmann, Tobias, et al.
Veröffentlicht: (2024)
von: Strangmann, Tobias, et al.
Veröffentlicht: (2024)
Extractive Structures Learned in Pretraining Enable Generalization on Finetuned Facts
von: Feng, Jiahai, et al.
Veröffentlicht: (2024)
von: Feng, Jiahai, et al.
Veröffentlicht: (2024)
OLLIE: Imitation Learning from Offline Pretraining to Online Finetuning
von: Yue, Sheng, et al.
Veröffentlicht: (2024)
von: Yue, Sheng, et al.
Veröffentlicht: (2024)
LLM-Inspired Pretrain-Then-Finetune for Small-Data, Large-Scale Optimization
von: Zhang, Zishi, et al.
Veröffentlicht: (2026)
von: Zhang, Zishi, et al.
Veröffentlicht: (2026)
TMI! Finetuned Models Leak Private Information from their Pretraining Data
von: Abascal, John, et al.
Veröffentlicht: (2023)
von: Abascal, John, et al.
Veröffentlicht: (2023)
Finetune-Informed Pretraining Boosts Downstream Performance
von: Faysal, Atik, et al.
Veröffentlicht: (2026)
von: Faysal, Atik, et al.
Veröffentlicht: (2026)
Chameleon: A Flexible Data-mixing Framework for Language Model Pretraining and Finetuning
von: Xie, Wanyun, et al.
Veröffentlicht: (2025)
von: Xie, Wanyun, et al.
Veröffentlicht: (2025)
Towards Active Synthetic Data Generation for Finetuning Language Models
von: Kessler, Samuel, et al.
Veröffentlicht: (2025)
von: Kessler, Samuel, et al.
Veröffentlicht: (2025)
On the Emergence of Cross-Task Linearity in the Pretraining-Finetuning Paradigm
von: Zhou, Zhanpeng, et al.
Veröffentlicht: (2024)
von: Zhou, Zhanpeng, et al.
Veröffentlicht: (2024)
Boosting Statistic Learning with Synthetic Data from Pretrained Large Models
von: Jiang, Jialong, et al.
Veröffentlicht: (2025)
von: Jiang, Jialong, et al.
Veröffentlicht: (2025)
CIMGEN: Controlled Image Manipulation by Finetuning Pretrained Generative Models on Limited Data
von: Gudavalli, Chandrakanth, et al.
Veröffentlicht: (2024)
von: Gudavalli, Chandrakanth, et al.
Veröffentlicht: (2024)
Hierarchical Retrieval: The Geometry and a Pretrain-Finetune Recipe
von: You, Chong, et al.
Veröffentlicht: (2025)
von: You, Chong, et al.
Veröffentlicht: (2025)
A Pretraining-Finetuning Computational Framework for Material Homogenization
von: Wang, Yizheng, et al.
Veröffentlicht: (2024)
von: Wang, Yizheng, et al.
Veröffentlicht: (2024)
Posterior Behavioral Cloning: Pretraining BC Policies for Efficient RL Finetuning
von: Wagenmaker, Andrew, et al.
Veröffentlicht: (2025)
von: Wagenmaker, Andrew, et al.
Veröffentlicht: (2025)
Data-Efficient Sleep Staging with Synthetic Time Series Pretraining
von: Grieger, Niklas, et al.
Veröffentlicht: (2024)
von: Grieger, Niklas, et al.
Veröffentlicht: (2024)
Generalizable and Stable Finetuning of Pretrained Language Models on Low-Resource Texts
von: Somayajula, Sai Ashish, et al.
Veröffentlicht: (2024)
von: Somayajula, Sai Ashish, et al.
Veröffentlicht: (2024)
TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning
von: Hong, Matthew M., et al.
Veröffentlicht: (2026)
von: Hong, Matthew M., et al.
Veröffentlicht: (2026)
RL-Finetuned LLMs for Privacy-Preserving Synthetic Rewriting
von: Shi, Zhan, et al.
Veröffentlicht: (2025)
von: Shi, Zhan, et al.
Veröffentlicht: (2025)
ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality
von: Longpre, Shayne, et al.
Veröffentlicht: (2025)
von: Longpre, Shayne, et al.
Veröffentlicht: (2025)
On Pretraining Data Diversity for Self-Supervised Learning
von: Hammoud, Hasan Abed Al Kader, et al.
Veröffentlicht: (2024)
von: Hammoud, Hasan Abed Al Kader, et al.
Veröffentlicht: (2024)
Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less
von: Liu, Yuxing, et al.
Veröffentlicht: (2026)
von: Liu, Yuxing, et al.
Veröffentlicht: (2026)
From Artificial Needles to Real Haystacks: Improving Retrieval Capabilities in LLMs by Finetuning on Synthetic Data
von: Xiong, Zheyang, et al.
Veröffentlicht: (2024)
von: Xiong, Zheyang, et al.
Veröffentlicht: (2024)
When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method
von: Zhang, Biao, et al.
Veröffentlicht: (2024)
von: Zhang, Biao, et al.
Veröffentlicht: (2024)
BeyondWeb: Lessons from Scaling Synthetic Data for Trillion-scale Pretraining
von: DatologyAI, et al.
Veröffentlicht: (2025)
von: DatologyAI, et al.
Veröffentlicht: (2025)
From Basic to Extra Features: Hypergraph Transformer Pretrain-then-Finetuning for Balanced Clinical Predictions on EHR
von: Xu, Ran, et al.
Veröffentlicht: (2024)
von: Xu, Ran, et al.
Veröffentlicht: (2024)
Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge
von: Vasudeva, Bhavya, et al.
Veröffentlicht: (2026)
von: Vasudeva, Bhavya, et al.
Veröffentlicht: (2026)
Less Finetuning, Better Retrieval: Rethinking LLM Adaptation for Biomedical Retrievers via Synthetic Data and Model Merging
von: Khattab, Sameh, et al.
Veröffentlicht: (2026)
von: Khattab, Sameh, et al.
Veröffentlicht: (2026)
Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs
von: Itzhak, Itay, et al.
Veröffentlicht: (2025)
von: Itzhak, Itay, et al.
Veröffentlicht: (2025)
Weakly Supervised Pretraining and Multi-Annotator Supervised Finetuning for Facial Wrinkle Detection
von: Moon, Ik Jun, et al.
Veröffentlicht: (2024)
von: Moon, Ik Jun, et al.
Veröffentlicht: (2024)
Learning Dynamics of VLM Finetuning
von: Zhang, Jusheng, et al.
Veröffentlicht: (2025)
von: Zhang, Jusheng, et al.
Veröffentlicht: (2025)
Representation Finetuning for Continual Learning
von: Luo, Haihua, et al.
Veröffentlicht: (2026)
von: Luo, Haihua, et al.
Veröffentlicht: (2026)
CauKer: Classification Time Series Foundation Models Can Be Pretrained on Synthetic Data
von: Xie, Shifeng, et al.
Veröffentlicht: (2025)
von: Xie, Shifeng, et al.
Veröffentlicht: (2025)
RL-Guided Data Selection for Language Model Finetuning
von: Jha, Animesh, et al.
Veröffentlicht: (2025)
von: Jha, Animesh, et al.
Veröffentlicht: (2025)
Transfer Learning of Tabular Data by Finetuning Large Language Models
von: Rabbani, Shourav B., et al.
Veröffentlicht: (2025)
von: Rabbani, Shourav B., et al.
Veröffentlicht: (2025)
Mining Hidden Thoughts from Texts: Evaluating Continual Pretraining with Synthetic Data for LLM Reasoning
von: Ishibashi, Yoichi, et al.
Veröffentlicht: (2025)
von: Ishibashi, Yoichi, et al.
Veröffentlicht: (2025)
Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning
von: Zhang, Ling, et al.
Veröffentlicht: (2025)
von: Zhang, Ling, et al.
Veröffentlicht: (2025)
Exact Unlearning of Finetuning Data via Model Merging at Scale
von: Kuo, Kevin, et al.
Veröffentlicht: (2025)
von: Kuo, Kevin, et al.
Veröffentlicht: (2025)
Ähnliche Einträge
-
Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How
von: Arango, Sebastian Pineda, et al.
Veröffentlicht: (2023) -
The Finetuner's Fallacy: When to Pretrain with Your Finetuning Data
von: Baek, Christina, et al.
Veröffentlicht: (2026) -
Scaling Laws for Forgetting during Finetuning with Pretraining Data Injection
von: Bethune, Louis, et al.
Veröffentlicht: (2025) -
Transfer Learning for Finetuning Large Language Models
von: Strangmann, Tobias, et al.
Veröffentlicht: (2024) -
Extractive Structures Learned in Pretraining Enable Generalization on Finetuned Facts
von: Feng, Jiahai, et al.
Veröffentlicht: (2024)