Buchumschlag

Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Soylu, Dilara, Potts, Christopher, Khattab, Omar
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs
von: Opsahl-Ong, Krista, et al.
Veröffentlicht: (2024)

Neural Parameter Search for Slimmer Fine-Tuned Models and Better Transfer
von: Du, Guodong, et al.
Veröffentlicht: (2025)

Instruction Fine-Tuning: Does Prompt Loss Matter?
von: Huerta-Enochian, Mathew, et al.
Veröffentlicht: (2024)

PEEK: Context Map as an Orientation Cache for Long-Context LLM Agents
von: Gu, Zhuohan, et al.
Veröffentlicht: (2026)

Teach Better or Show Smarter? On Instructions and Exemplars in Automatic Prompt Optimization
von: Wan, Xingchen, et al.
Veröffentlicht: (2024)

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning
von: Liu, Yong, et al.
Veröffentlicht: (2024)

Prompting and Fine-Tuning of Small LLMs for Length-Controllable Telephone Call Summarization
von: Thulke, David, et al.
Veröffentlicht: (2024)

Fine-Tune an SLM or Prompt an LLM? The Case of Generating Low-Code Workflows
von: Ayala, Orlando Marquez, et al.
Veröffentlicht: (2025)

Step Rejection Fine-Tuning: A Practical Distillation Recipe
von: Slinko, Igor, et al.
Veröffentlicht: (2026)

Optimizing Test-Time Compute via Meta Reinforcement Fine-Tuning
von: Qu, Yuxiao, et al.
Veröffentlicht: (2025)

Multi-Agent Design: Optimizing Agents with Better Prompts and Topologies
von: Zhou, Han, et al.
Veröffentlicht: (2025)

DynaPrompt: Dynamic Test-Time Prompt Tuning
von: Xiao, Zehao, et al.
Veröffentlicht: (2025)

Proximal Supervised Fine-Tuning
von: Zhu, Wenhong, et al.
Veröffentlicht: (2025)

R.I.P.: Better Models by Survival of the Fittest Prompts
von: Yu, Ping, et al.
Veröffentlicht: (2025)

Efficient Prompt Tuning by Multi-Space Projection and Prompt Fusion
von: Lan, Pengxiang, et al.
Veröffentlicht: (2024)

Building Efficient and Effective OpenQA Systems for Low-Resource Languages
von: Budur, Emrah, et al.
Veröffentlicht: (2024)

Linear Chain Transformation: Expanding Optimization Dynamics for Fine-Tuning Large Language Models
von: Wang, Yulong, et al.
Veröffentlicht: (2024)

Direct Alignment of Draft Model for Speculative Decoding with Chat-Fine-Tuned LLMs
von: Goel, Raghavv, et al.
Veröffentlicht: (2024)

Subgraph-level Universal Prompt Tuning
von: Lee, Junhyun, et al.
Veröffentlicht: (2024)

ATLaS: Agent Tuning via Learning Critical Steps
von: Chen, Zhixun, et al.
Veröffentlicht: (2025)

Order-Independence Without Fine Tuning
von: McIlroy-Young, Reid, et al.
Veröffentlicht: (2024)

Model Editing by Standard Fine-Tuning
von: Gangadhar, Govind, et al.
Veröffentlicht: (2024)

Checkpoint-GCG: Auditing and Attacking Fine-Tuning-Based Prompt Injection Defenses
von: Yang, Xiaoxue, et al.
Veröffentlicht: (2025)

Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation
von: Ajwani, Rohan Deepak, et al.
Veröffentlicht: (2024)

Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL
von: Choi, Yunseon, et al.
Veröffentlicht: (2024)

Selective Prompting Tuning for Personalized Conversations with LLMs
von: Huang, Qiushi, et al.
Veröffentlicht: (2024)

Automatic Prompt Optimization with Prompt Distillation
von: Dyagin, Ernest A., et al.
Veröffentlicht: (2025)

Supervised Fine-Tuning as Inverse Reinforcement Learning
von: Sun, Hao
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning for Foundation Models
von: Zhang, Dan, et al.
Veröffentlicht: (2025)

DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning
von: Shi, Zhengxiang, et al.
Veröffentlicht: (2023)

Local Prompt Optimization
von: Jain, Yash, et al.
Veröffentlicht: (2025)

Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs
von: Lai, Xin, et al.
Veröffentlicht: (2024)

PromptKD: Distilling Student-Friendly Knowledge for Generative Language Models via Prompt Tuning
von: Kim, Gyeongman, et al.
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning with Discrete Fourier Transform
von: Gao, Ziqi, et al.
Veröffentlicht: (2024)

ROSA: Random Subspace Adaptation for Efficient Fine-Tuning
von: Hameed, Marawan Gamal Abdel, et al.
Veröffentlicht: (2024)

Fine-Tuning Language Models with Reward Learning on Policy
von: Lang, Hao, et al.
Veröffentlicht: (2024)

Understanding the Performance and Estimating the Cost of LLM Fine-Tuning
von: Xia, Yuchen, et al.
Veröffentlicht: (2024)

Scaling Sparse Fine-Tuning to Large Language Models
von: Ansell, Alan, et al.
Veröffentlicht: (2024)

SVFT: Parameter-Efficient Fine-Tuning with Singular Vectors
von: Lingam, Vijay, et al.
Veröffentlicht: (2024)

In-Context Fine-Tuning for Time-Series Foundation Models
von: Das, Abhimanyu, et al.
Veröffentlicht: (2024)