Buchumschlag

Full Parameter Fine-tuning for Large Language Models with Limited Resources

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lv, Kai, Yang, Yuqing, Liu, Tengxiao, Gao, Qinghui, Guo, Qipeng, Qiu, Xipeng
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Can Language Models Learn to Skip Steps?
von: Liu, Tengxiao, et al.
Veröffentlicht: (2024)

DuoDecoding: Hardware-aware Heterogeneous Speculative Decoding with Dynamic Multi-Sequence Drafting
von: Lv, Kai, et al.
Veröffentlicht: (2025)

AdaLomo: Low-memory Optimization with Adaptive Learning Rate
von: Lv, Kai, et al.
Veröffentlicht: (2023)

Data-free Weight Compress and Denoise for Large Language Models
von: Peng, Runyu, et al.
Veröffentlicht: (2024)

Explicit Multi-head Attention for Inter-head Interaction in Large Language Models
von: Peng, Runyu, et al.
Veröffentlicht: (2026)

Benchmarking Hallucination in Large Language Models based on Unanswerable Math Word Problem
von: Sun, Yuhong, et al.
Veröffentlicht: (2024)

Inference-Time Decontamination: Reusing Leaked Benchmarks for Large Language Model Evaluation
von: Zhu, Qin, et al.
Veröffentlicht: (2024)

How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective
von: Peng, Runyu, et al.
Veröffentlicht: (2026)

LongWanjuan: Towards Systematic Measurement for Long Text Quality
von: Lv, Kai, et al.
Veröffentlicht: (2024)

Efficient End-to-end Language Model Fine-tuning on Graphs
von: Xue, Rui, et al.
Veröffentlicht: (2023)

Democratizing Large Language Models via Personalized Parameter-Efficient Fine-tuning
von: Tan, Zhaoxuan, et al.
Veröffentlicht: (2024)

Making Large Language Models Better Reasoners with Orchestrated Streaming Experiences
von: Liu, Xiangyang, et al.
Veröffentlicht: (2025)

Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models
von: Agarwal, Aradhye, et al.
Veröffentlicht: (2024)

FastMCTS: A Simple Sampling Strategy for Data Synthesis
von: Li, Peiji, et al.
Veröffentlicht: (2025)

Resource-Efficient Adaptation of Large Language Models for Text Embeddings via Prompt Engineering and Contrastive Fine-tuning
von: Roth, Benedikt, et al.
Veröffentlicht: (2025)

Layer-wise Importance Matters: Less Memory for Better Performance in Parameter-efficient Fine-tuning of Large Language Models
von: Yao, Kai, et al.
Veröffentlicht: (2024)

RefChecker: Reference-based Fine-grained Hallucination Checker and Benchmark for Large Language Models
von: Hu, Xiangkun, et al.
Veröffentlicht: (2024)

Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning
von: Zhang, Yechen, et al.
Veröffentlicht: (2026)

Thus Spake Long-Context Large Language Model
von: Liu, Xiaoran, et al.
Veröffentlicht: (2025)

Scaling Laws for Fact Memorization of Large Language Models
von: Lu, Xingyu, et al.
Veröffentlicht: (2024)

TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models
von: Cao, Yarui, et al.
Veröffentlicht: (2026)

CritiQ: Mining Data Quality Criteria from Human Preferences
von: Guo, Honglin, et al.
Veröffentlicht: (2025)

PeFoMed: Parameter Efficient Fine-tuning of Multimodal Large Language Models for Medical Imaging
von: He, Jinlong, et al.
Veröffentlicht: (2024)

Fine-tuning Large Language Models with Sequential Instructions
von: Hu, Hanxu, et al.
Veröffentlicht: (2024)

Sparse Matrix in Large Language Model Fine-tuning
von: He, Haoze, et al.
Veröffentlicht: (2024)

LongLLaDA: Unlocking Long Context Capabilities in Diffusion LLMs
von: Liu, Xiaoran, et al.
Veröffentlicht: (2025)

Federated Fine-tuning of Large Language Models under Heterogeneous Tasks and Client Resources
von: Bai, Jiamu, et al.
Veröffentlicht: (2024)

FocusMed: A Large Language Model-based Framework for Enhancing Medical Question Summarization with Focus Identification
von: Liu, Chao, et al.
Veröffentlicht: (2025)

ReAttention: Training-Free Infinite Context with Finite Attention Scope
von: Liu, Xiaoran, et al.
Veröffentlicht: (2024)

Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models
von: Yin, Zhangyue, et al.
Veröffentlicht: (2024)

Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification
von: Meng, Tao, et al.
Veröffentlicht: (2024)

Fine-tuning Large Language Models with Limited Data: A Survey and Practical Guide
von: Szep, Marton, et al.
Veröffentlicht: (2024)

Advancing Parameter Efficiency in Fine-tuning via Representation Editing
von: Wu, Muling, et al.
Veröffentlicht: (2024)

Semi-supervised Fine-tuning for Large Language Models
von: Luo, Junyu, et al.
Veröffentlicht: (2024)

Unearthing Large Scale Domain-Specific Knowledge from Public Corpora
von: Fei, Zhaoye, et al.
Veröffentlicht: (2024)

Self-Evolving LLM Memory Extraction Across Heterogeneous Tasks
von: Yang, Yuqing, et al.
Veröffentlicht: (2026)

Alignment for Honesty
von: Yang, Yuqing, et al.
Veröffentlicht: (2023)

Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction
von: Song, Yuerong, et al.
Veröffentlicht: (2025)

Systematic Analysis for Pretrained Language Model Priming for Parameter-Efficient Fine-tuning
von: Huang, Shih-Cheng, et al.
Veröffentlicht: (2022)

Parameter-Efficient Fine-Tuning with Differential Privacy for Robust Instruction Adaptation in Large Language Models
von: Huang, Yulin, et al.
Veröffentlicht: (2025)