Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance
Fuente:
arXiv
Salvato in:
| Autori principali: | Alajrami, Ahmed, Tan, Xingwei, Aletras, Nikolaos |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2025
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift
di: Karouzos, Constantinos, et al.
Pubblicazione: (2026)
di: Karouzos, Constantinos, et al.
Pubblicazione: (2026)
Where does output diversity collapse in post-training?
di: Karouzos, Constantinos, et al.
Pubblicazione: (2026)
di: Karouzos, Constantinos, et al.
Pubblicazione: (2026)
Can Confidence Estimates Decide When Chain-of-Thought Is Necessary for LLMs?
di: Lewis-Lim, Samuel, et al.
Pubblicazione: (2025)
di: Lewis-Lim, Samuel, et al.
Pubblicazione: (2025)
Vocabulary-level Memory Efficiency for Language Model Fine-tuning
di: Williams, Miles, et al.
Pubblicazione: (2023)
di: Williams, Miles, et al.
Pubblicazione: (2023)
Analysing Chain of Thought Dynamics: Active Guidance or Unfaithful Post-hoc Rationalisation?
di: Lewis-Lim, Samuel, et al.
Pubblicazione: (2025)
di: Lewis-Lim, Samuel, et al.
Pubblicazione: (2025)
Enhancing Logical Reasoning in Language Models via Symbolically-Guided Monte Carlo Process Supervision
di: Tan, Xingwei, et al.
Pubblicazione: (2025)
di: Tan, Xingwei, et al.
Pubblicazione: (2025)
Comparing Explanation Faithfulness between Multilingual and Monolingual Fine-tuned Language Models
di: Zhao, Zhixue, et al.
Pubblicazione: (2024)
di: Zhao, Zhixue, et al.
Pubblicazione: (2024)
Fundamental Reasoning Paradigms Induce Out-of-Domain Generalization in Language Models
di: Cao, Mingzi, et al.
Pubblicazione: (2026)
di: Cao, Mingzi, et al.
Pubblicazione: (2026)
On the Impact of Calibration Data in Post-training Quantization and Pruning
di: Williams, Miles, et al.
Pubblicazione: (2023)
di: Williams, Miles, et al.
Pubblicazione: (2023)
Compliance versus Sensibility: On the Reasoning Controllability in Large Language Models
di: Tan, Xingwei, et al.
Pubblicazione: (2026)
di: Tan, Xingwei, et al.
Pubblicazione: (2026)
No Shortcuts to Culture: Indonesian Multi-hop Question Answering for Complex Cultural Understanding
di: Permadi, Vynska Amalia, et al.
Pubblicazione: (2026)
di: Permadi, Vynska Amalia, et al.
Pubblicazione: (2026)
Incorporating Attribution Importance for Improving Faithfulness Metrics
di: Zhao, Zhixue, et al.
Pubblicazione: (2023)
di: Zhao, Zhixue, et al.
Pubblicazione: (2023)
Progressive Depth Up-scaling via Optimal Transport
di: Cao, Mingzi, et al.
Pubblicazione: (2025)
di: Cao, Mingzi, et al.
Pubblicazione: (2025)
Self-calibration for Language Model Quantization and Pruning
di: Williams, Miles, et al.
Pubblicazione: (2024)
di: Williams, Miles, et al.
Pubblicazione: (2024)
Enhancing Linguistic Competence of Language Models through Pre-training with Language Learning Tasks
di: Yamaguchi, Atsuki, et al.
Pubblicazione: (2026)
di: Yamaguchi, Atsuki, et al.
Pubblicazione: (2026)
How Private are Language Models in Abstractive Summarization?
di: Hughes, Anthony, et al.
Pubblicazione: (2024)
di: Hughes, Anthony, et al.
Pubblicazione: (2024)
How Can We Effectively Expand the Vocabulary of LLMs with 0.01GB of Target Language Text?
di: Yamaguchi, Atsuki, et al.
Pubblicazione: (2024)
di: Yamaguchi, Atsuki, et al.
Pubblicazione: (2024)
An Empirical Study on Cross-lingual Vocabulary Adaptation for Efficient Language Model Inference
di: Yamaguchi, Atsuki, et al.
Pubblicazione: (2024)
di: Yamaguchi, Atsuki, et al.
Pubblicazione: (2024)
GreekBarBench: A Challenging Benchmark for Free-Text Legal Reasoning and Citations
di: Chlapanis, Odysseas S., et al.
Pubblicazione: (2025)
di: Chlapanis, Odysseas S., et al.
Pubblicazione: (2025)
Compressing Language Models for Specialized Domains
di: Williams, Miles, et al.
Pubblicazione: (2025)
di: Williams, Miles, et al.
Pubblicazione: (2025)
Examining the Limitations of Computational Rumor Detection Models Trained on Static Datasets
di: Mu, Yida, et al.
Pubblicazione: (2023)
di: Mu, Yida, et al.
Pubblicazione: (2023)
Enhancing Data Quality through Simple De-duplication: Navigating Responsible Computational Social Science Research
di: Mu, Yida, et al.
Pubblicazione: (2024)
di: Mu, Yida, et al.
Pubblicazione: (2024)
Deconstructing Attention: Investigating Design Principles for Effective Language Modeling
di: Xue, Huiyin, et al.
Pubblicazione: (2025)
di: Xue, Huiyin, et al.
Pubblicazione: (2025)
Instructive Decoding: Instruction-Tuned Large Language Models are Self-Refiner from Noisy Instructions
di: Kim, Taehyeon, et al.
Pubblicazione: (2023)
di: Kim, Taehyeon, et al.
Pubblicazione: (2023)
Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates
di: Yamaguchi, Atsuki, et al.
Pubblicazione: (2025)
di: Yamaguchi, Atsuki, et al.
Pubblicazione: (2025)
We Need to Talk About Classification Evaluation Metrics in NLP
di: Vickers, Peter, et al.
Pubblicazione: (2024)
di: Vickers, Peter, et al.
Pubblicazione: (2024)
Investigating Hallucinations in Pruned Large Language Models for Abstractive Summarization
di: Chrysostomou, George, et al.
Pubblicazione: (2023)
di: Chrysostomou, George, et al.
Pubblicazione: (2023)
Adapting Chat Language Models Using Only Target Unlabeled Language Data
di: Yamaguchi, Atsuki, et al.
Pubblicazione: (2024)
di: Yamaguchi, Atsuki, et al.
Pubblicazione: (2024)
Toward Secure Tuning: Mitigating Security Risks from Instruction Fine-Tuning
di: Du, Yanrui, et al.
Pubblicazione: (2024)
di: Du, Yanrui, et al.
Pubblicazione: (2024)
GIFT: Guided Fine-Tuning and Transfer for Enhancing Instruction-Tuned Language Models
di: Ruan, Zhiwen, et al.
Pubblicazione: (2026)
di: Ruan, Zhiwen, et al.
Pubblicazione: (2026)
Improving Multimodal Classification of Social Media Posts by Leveraging Image-Text Auxiliary Tasks
di: Villegas, Danae Sánchez, et al.
Pubblicazione: (2023)
di: Villegas, Danae Sánchez, et al.
Pubblicazione: (2023)
On the Effect of Instruction Tuning Loss on Generalization
di: Chatterjee, Anwoy, et al.
Pubblicazione: (2025)
di: Chatterjee, Anwoy, et al.
Pubblicazione: (2025)
Balancing Continuous Pre-Training and Instruction Fine-Tuning: Optimizing Instruction-Following in LLMs
di: Jindal, Ishan, et al.
Pubblicazione: (2024)
di: Jindal, Ishan, et al.
Pubblicazione: (2024)
PATCH: Mitigating PII Leakage in Language Models with Privacy-Aware Targeted Circuit PatcHing
di: Hughes, Anthony, et al.
Pubblicazione: (2025)
di: Hughes, Anthony, et al.
Pubblicazione: (2025)
ArgInstruct: Specialized Instruction Fine-Tuning for Computational Argumentation
di: Stahl, Maja, et al.
Pubblicazione: (2025)
di: Stahl, Maja, et al.
Pubblicazione: (2025)
DELIFT: Data Efficient Language model Instruction Fine Tuning
di: Agarwal, Ishika, et al.
Pubblicazione: (2024)
di: Agarwal, Ishika, et al.
Pubblicazione: (2024)
Dynamics of Instruction Fine-Tuning for Chinese Large Language Models
di: Song, Chiyu, et al.
Pubblicazione: (2023)
di: Song, Chiyu, et al.
Pubblicazione: (2023)
Who is bragging more online? A large scale analysis of bragging in social media
di: Jin, Mali, et al.
Pubblicazione: (2024)
di: Jin, Mali, et al.
Pubblicazione: (2024)
Phased Instruction Fine-Tuning for Large Language Models
di: Pang, Wei, et al.
Pubblicazione: (2024)
di: Pang, Wei, et al.
Pubblicazione: (2024)
A New Pipeline For Generating Instruction Dataset via RAG and Self Fine-Tuning
di: Song, Chih-Wei, et al.
Pubblicazione: (2024)
di: Song, Chih-Wei, et al.
Pubblicazione: (2024)
Documenti analoghi
-
An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift
di: Karouzos, Constantinos, et al.
Pubblicazione: (2026) -
Where does output diversity collapse in post-training?
di: Karouzos, Constantinos, et al.
Pubblicazione: (2026) -
Can Confidence Estimates Decide When Chain-of-Thought Is Necessary for LLMs?
di: Lewis-Lim, Samuel, et al.
Pubblicazione: (2025) -
Vocabulary-level Memory Efficiency for Language Model Fine-tuning
di: Williams, Miles, et al.
Pubblicazione: (2023) -
Analysing Chain of Thought Dynamics: Active Guidance or Unfaithful Post-hoc Rationalisation?
di: Lewis-Lim, Samuel, et al.
Pubblicazione: (2025)