Buchumschlag

Refining Salience-Aware Sparse Fine-Tuning Strategies for Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Xinxin, Thomas, Aaron, Zhang, Cheng, Cheng, Jianyi, Zhao, Yiren, Gao, Xitong
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Study of Large Language Models for Patient Information Extraction: Model Architecture, Fine-Tuning Strategy, and Multi-task Instruction Tuning
von: Peng, Cheng, et al.
Veröffentlicht: (2025)

Safety-Aware Fine-Tuning of Large Language Models
von: Choi, Hyeong Kyu, et al.
Veröffentlicht: (2024)

Legal Documents Drafting with Fine-Tuned Pre-Trained Large Language Model
von: Lin, Chun-Hsien, et al.
Veröffentlicht: (2024)

Scaling Sparse Fine-Tuning to Large Language Models
von: Ansell, Alan, et al.
Veröffentlicht: (2024)

Fine-Tuning Improves Information Conveyance in Language Models
von: Cheng, Yuwei, et al.
Veröffentlicht: (2026)

CommonIT: Commonality-Aware Instruction Tuning for Large Language Models via Data Partitions
von: Rao, Jun, et al.
Veröffentlicht: (2024)

TokenSeek: Memory Efficient Fine Tuning via Instance-Aware Token Ditching
von: Zeng, Runjia, et al.
Veröffentlicht: (2026)

Improving Large Language Models with Concept-Aware Fine-Tuning
von: Chen, Michael K., et al.
Veröffentlicht: (2025)

Efficient Fine-Tuning of Large Language Models for Automated Medical Documentation
von: Leong, Hui Yi, et al.
Veröffentlicht: (2024)

RoSA: Enhancing Parameter-Efficient Fine-Tuning via RoPE-aware Selective Adaptation in Large Language Models
von: Pan, Dayan, et al.
Veröffentlicht: (2025)

Low-Resource Fine-Tuning for Multi-Task Structured Information Extraction with a Billion-Parameter Instruction-Tuned Model
von: Chih, Yu Cheng, et al.
Veröffentlicht: (2025)

Crafting Efficient Fine-Tuning Strategies for Large Language Models
von: Oliver, Michael, et al.
Veröffentlicht: (2024)

Preventing Catastrophic Forgetting: Behavior-Aware Sampling for Safer Language Model Fine-Tuning
von: Pham, Anh, et al.
Veröffentlicht: (2025)

Natural Language Fine-Tuning
von: Liu, Jia, et al.
Veröffentlicht: (2024)

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning
von: Liu, Yong, et al.
Veröffentlicht: (2024)

Beyond Fine-Tuning: Effective Strategies for Mitigating Hallucinations in Large Language Models for Data Analytics
von: Rumiantsau, Mikhail, et al.
Veröffentlicht: (2024)

Multimodal Forecasting of Sparse Intraoperative Hypotension Events Powered by Language Model
von: Zhang, Jintao, et al.
Veröffentlicht: (2025)

ROSAQ: Rotation-based Saliency-Aware Weight Quantization for Efficiently Compressing Large Language Models
von: Yoon, Junho, et al.
Veröffentlicht: (2025)

LFTF: Locating First and Then Fine-Tuning for Mitigating Gender Bias in Large Language Models
von: Qin, Zhanyue, et al.
Veröffentlicht: (2025)

Token Cleaning: Fine-Grained Data Selection for LLM Supervised Fine-Tuning
von: Pang, Jinlong, et al.
Veröffentlicht: (2025)

Overtrained Language Models Are Harder to Fine-Tune
von: Springer, Jacob Mitchell, et al.
Veröffentlicht: (2025)

Memorization in Fine-Tuned Large Language Models
von: Savine, Danil
Veröffentlicht: (2025)

Can Fine-Tuning Erase Your Edits? On the Fragile Coexistence of Knowledge Editing and Adaptation
von: Cheng, Yinjie, et al.
Veröffentlicht: (2025)

LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models
von: Zheng, Yaowei, et al.
Veröffentlicht: (2024)

Direct Alignment of Language Models via Quality-Aware Self-Refinement
von: Yu, Runsheng, et al.
Veröffentlicht: (2024)

MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
von: Li, Dengchun, et al.
Veröffentlicht: (2024)

Conversation Forests: The Key to Fine Tuning Large Language Models for Multi-Turn Medical Conversations is Branching
von: Savage, Thomas
Veröffentlicht: (2025)

Sparse is Enough in Fine-tuning Pre-trained Large Language Models
von: Song, Weixi, et al.
Veröffentlicht: (2023)

TACOS: Open Tagging and Comparative Scoring for Instruction Fine-Tuning Data Selection
von: He, Xixiang, et al.
Veröffentlicht: (2025)

Phased Instruction Fine-Tuning for Large Language Models
von: Pang, Wei, et al.
Veröffentlicht: (2024)

Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models
von: Barnett, Scott, et al.
Veröffentlicht: (2024)

Inference-Aware Fine-Tuning for Best-of-N Sampling in Large Language Models
von: Chow, Yinlam, et al.
Veröffentlicht: (2024)

Balancing Truthfulness and Informativeness with Uncertainty-Aware Instruction Fine-Tuning
von: Wu, Tianyi, et al.
Veröffentlicht: (2025)

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models
von: Han, Kairong, et al.
Veröffentlicht: (2025)

Language Lives in Sparse Dimensions: Toward Interpretable and Efficient Multilingual Control for Large Language Models
von: Zhong, Chengzhi, et al.
Veröffentlicht: (2025)

EBFT: Effective and Block-Wise Fine-Tuning for Sparse LLMs
von: Guo, Song, et al.
Veröffentlicht: (2024)

GRIP: In-Parameter Graph Reasoning through Fine-Tuning Large Language Models
von: Feng, Jiarui, et al.
Veröffentlicht: (2025)

LLMs for Explainable Business Decision-Making: A Reinforcement Learning Fine-Tuning Approach
von: Cheng, Xiang, et al.
Veröffentlicht: (2025)

Model Fusion through Bayesian Optimization in Language Model Fine-Tuning
von: Jang, Chaeyun, et al.
Veröffentlicht: (2024)

DA-Cramming: Enhancing Cost-Effective Language Model Pretraining with Dependency Agreement Integration
von: Kuo, Martin, et al.
Veröffentlicht: (2023)