Buchumschlag

From Parameters to Prompts: Understanding and Mitigating the Factuality Gap between Fine-Tuned LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gong, Xuan, Huang, Hanbo, Liang, Shiyu
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

VCORE: Variance-Controlled Optimization-based Reweighting for Chain-of-Thought Supervision
von: Gong, Xuan, et al.
Veröffentlicht: (2025)

How Long Reasoning Chains Influence LLMs' Judgment of Answer Factuality
von: Tu, Minzhu, et al.
Veröffentlicht: (2026)

Understanding New-Knowledge-Induced Factual Hallucinations in LLMs: Analysis and Interpretation
von: Dang, Renfei, et al.
Veröffentlicht: (2025)

Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction
von: Xu, Ziyang, et al.
Veröffentlicht: (2024)

Mask-DPO: Generalizable Fine-grained Factuality Alignment of LLMs
von: Gu, Yuzhe, et al.
Veröffentlicht: (2025)

ADePT: Adaptive Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning
von: Tang, Pengwei, et al.
Veröffentlicht: (2025)

Parameter-Efficient Fine-Tuning for Medical Text Summarization: A Comparative Study of Lora, Prompt Tuning, and Full Fine-Tuning
von: Shernazarov, Ulugbek, et al.
Veröffentlicht: (2026)

Mechanistic Understanding and Mitigation of Language Model Non-Factual Hallucinations
von: Yu, Lei, et al.
Veröffentlicht: (2024)

Is Factuality Enhancement a Free Lunch For LLMs? Better Factuality Can Lead to Worse Context-Faithfulness
von: Bi, Baolong, et al.
Veröffentlicht: (2024)

Towards Better Understanding of Cybercrime: The Role of Fine-Tuned LLMs in Translation
von: Valeros, Veronica, et al.
Veröffentlicht: (2024)

Instruction Tuning and CoT Prompting for Contextual Medical QA with LLMs
von: Le, Chenqian, et al.
Veröffentlicht: (2025)

Simplify-This: A Comparative Analysis of Prompt-Based and Fine-Tuned LLMs
von: Cohen, Eilam, et al.
Veröffentlicht: (2026)

Parameter Importance is Not Static: Evolving Parameter Isolation for Supervised Fine-Tuning
von: Lin, Zekai, et al.
Veröffentlicht: (2026)

Multitask Mayhem: Unveiling and Mitigating Safety Gaps in LLMs Fine-tuning
von: Jan, Essa, et al.
Veröffentlicht: (2024)

Med42 -- Evaluating Fine-Tuning Strategies for Medical LLMs: Full-Parameter vs. Parameter-Efficient Approaches
von: Christophe, Clément, et al.
Veröffentlicht: (2024)

Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation
von: Zhang, Xiaoying, et al.
Veröffentlicht: (2024)

Structure-Learnable Adapter Fine-Tuning for Parameter-Efficient Large Language Models
von: Gong, Ming, et al.
Veröffentlicht: (2025)

Parameter-Efficient Fine-Tuning of LLMs with Mixture of Space Experts
von: Zhang, Buze, et al.
Veröffentlicht: (2026)

Not All Parameters Are Created Equal: Smart Isolation Boosts Fine-Tuning Performance
von: Wang, Yao, et al.
Veröffentlicht: (2025)

Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
von: Zhang, Zheng, et al.
Veröffentlicht: (2024)

Prompt, Translate, Fine-Tune, Re-Initialize, or Instruction-Tune? Adapting LLMs for In-Context Learning in Low-Resource Languages
von: Toukmaji, Christopher, et al.
Veröffentlicht: (2025)

DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning
von: Shi, Zhengxiang, et al.
Veröffentlicht: (2023)

LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models
von: Wu, Yichao, et al.
Veröffentlicht: (2024)

Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting
von: Diao, Muxi, et al.
Veröffentlicht: (2026)

Fine-Tuned LLMs Know They Don't Know: A Parameter-Efficient Approach to Recovering Honesty
von: Shi, Zeyu, et al.
Veröffentlicht: (2025)

Mitigating Training Imbalance in LLM Fine-Tuning via Selective Parameter Merging
von: Ju, Yiming, et al.
Veröffentlicht: (2024)

DPI: Exploiting Parameter Heterogeneity for Interference-Free Fine-Tuning
von: Liu, Xiaoyu, et al.
Veröffentlicht: (2026)

From Misleading Queries to Accurate Answers: A Three-Stage Fine-Tuning Method for LLMs
von: Li, Guocong, et al.
Veröffentlicht: (2025)

Beware of Your Po! Measuring and Mitigating AI Safety Risks in Role-Play Fine-Tuning of LLMs
von: Zhao, Weixiang, et al.
Veröffentlicht: (2025)

Comparing LLM and Fine-Tuned Model Performance on NVDRS Circumstance Extraction with Varying Prompt Complexity
von: Martin, Geoffrey, et al.
Veröffentlicht: (2026)

When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation
von: Ni, Shiyu, et al.
Veröffentlicht: (2024)

DiVA: Fine-grained Factuality Verification with Agentic-Discriminative Verifier
von: Huang, Hui, et al.
Veröffentlicht: (2026)

Using LLMs for Automated Privacy Policy Analysis: Prompt Engineering, Fine-Tuning and Explainability
von: Chen, Yuxin, et al.
Veröffentlicht: (2025)

Are Smarter LLMs Safer? Exploring Safety-Reasoning Trade-offs in Prompting and Fine-Tuning
von: Li, Ang, et al.
Veröffentlicht: (2025)

Beyond QA Pairs: Assessing Parameter-Efficient Fine-Tuning for Fact Embedding in LLMs
von: Ratnakar, Shivam, et al.
Veröffentlicht: (2025)

PAFT: Prompt-Agnostic Fine-Tuning
von: Wei, Chenxing, et al.
Veröffentlicht: (2025)

Parameter-Efficient Fine-Tuning With Adapters
von: Chen, Keyu, et al.
Veröffentlicht: (2024)

Understanding and Mitigating Language Confusion in LLMs
von: Marchisio, Kelly, et al.
Veröffentlicht: (2024)

Unmasking the Factual-Conceptual Gap in Persian Language Models
von: Sakhaeirad, Alireza, et al.
Veröffentlicht: (2026)

Toward Secure Tuning: Mitigating Security Risks from Instruction Fine-Tuning
von: Du, Yanrui, et al.
Veröffentlicht: (2024)