Buchumschlag

Memory-Efficient Fine-Tuning of Transformers via Token Selection

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Simoulin, Antoine, Park, Namyong, Liu, Xiaoyi, Yang, Grey
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DocAgent: A Multi-Agent System for Automated Code Documentation Generation
von: Yang, Dayu, et al.
Veröffentlicht: (2025)

LCSB: Layer-Cyclic Selective Backpropagation for Memory-Efficient On-Device LLM Fine-Tuning
von: Park, Juneyoung, et al.
Veröffentlicht: (2026)

Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
von: Park, Juneyoung, et al.
Veröffentlicht: (2026)

GLEMOS: Benchmark for Instantaneous Graph Learning Model Selection
von: Park, Namyong, et al.
Veröffentlicht: (2024)

Forward Learning of Graph Neural Networks
von: Park, Namyong, et al.
Veröffentlicht: (2024)

Code to Think, Think to Code: A Survey on Code-Enhanced Reasoning and Reasoning-Driven Code Intelligence in LLMs
von: Yang, Dayu, et al.
Veröffentlicht: (2025)

QEFT: Quantization for Efficient Fine-Tuning of LLMs
von: Lee, Changhun, et al.
Veröffentlicht: (2024)

ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning
von: Liu, Yongkang, et al.
Veröffentlicht: (2026)

Parameter-Efficient Fine-Tuning via Circular Convolution
von: Chen, Aochuan, et al.
Veröffentlicht: (2024)

Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models
von: Son, Hyegang, et al.
Veröffentlicht: (2024)

Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
von: Zhang, Yihua, et al.
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning with Discrete Fourier Transform
von: Gao, Ziqi, et al.
Veröffentlicht: (2024)

Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models
von: Wang, Fei, et al.
Veröffentlicht: (2024)

LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples
von: Liu, Yezi, et al.
Veröffentlicht: (2025)

Hallucination Detection in LLMs: Fast and Memory-Efficient Fine-Tuned Models
von: Arteaga, Gabriel Y., et al.
Veröffentlicht: (2024)

Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning
von: Jin, Feihu, et al.
Veröffentlicht: (2026)

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization
von: Katti, Prabodh, et al.
Veröffentlicht: (2025)

Parameter Efficient Quasi-Orthogonal Fine-Tuning via Givens Rotation
von: Ma, Xinyu, et al.
Veröffentlicht: (2024)

Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures
von: Saket, Abdulmalek
Veröffentlicht: (2026)

Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning
von: Jie, Shibo, et al.
Veröffentlicht: (2024)

Token Buncher: Shielding LLMs from Harmful Reinforcement Learning Fine-Tuning
von: Feng, Weitao, et al.
Veröffentlicht: (2025)

ClusterUCB: Efficient Gradient-Based Data Selection for Targeted Fine-Tuning of LLMs
von: Wang, Zige, et al.
Veröffentlicht: (2025)

Solo Connection: A Parameter Efficient Fine-Tuning Technique for Transformers
von: Pathak, Harsh Nilesh, et al.
Veröffentlicht: (2025)

Ignore the KL Penalty! Boosting Exploration on Critical Tokens to Enhance RL Fine-Tuning
von: Vassoyan, Jean, et al.
Veröffentlicht: (2025)

Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection
von: Jo, Dongwon, et al.
Veröffentlicht: (2026)

Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models
von: Ghiasvand, Sajjad, et al.
Veröffentlicht: (2024)

Supervised Fine-Tuning Needs to Unlock the Potential of Token Priority
von: Shen, Zhanming, et al.
Veröffentlicht: (2026)

Parameter-Efficient Fine-Tuning of State Space Models
von: Galim, Kevin, et al.
Veröffentlicht: (2024)

Ladder Up, Memory Down: Low-Cost Fine-Tuning With Side Nets
von: Zheng, Estelle, et al.
Veröffentlicht: (2025)

SENTRA: Selected-Next-Token Transformer for LLM Text Detection
von: Plyler, Mitchell, et al.
Veröffentlicht: (2025)

OrthoRank: Token Selection via Sink Token Orthogonality for Efficient LLM inference
von: Shin, Seungjun, et al.
Veröffentlicht: (2025)

SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning
von: Liu, Yongkang, et al.
Veröffentlicht: (2026)

AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

One-Pass to Reason: Token Duplication and Block-Sparse Mask for Efficient Fine-Tuning on Multi-Turn Reasoning
von: Goru, Ritesh, et al.
Veröffentlicht: (2025)

LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning
von: Pan, Rui, et al.
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning of LLaMA for the Clinical Domain
von: Gema, Aryo Pradipta, et al.
Veröffentlicht: (2023)

FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics
von: Du, Yupei, et al.
Veröffentlicht: (2023)

Anchored Supervised Fine-Tuning
von: Zhu, He, et al.
Veröffentlicht: (2025)

TPP-LLM: Modeling Temporal Point Processes by Efficiently Fine-Tuning Large Language Models
von: Liu, Zefang, et al.
Veröffentlicht: (2024)

TRIM: Token-wise Attention-Derived Saliency for Data-Efficient Instruction Tuning
von: Nagaraj, Manish, et al.
Veröffentlicht: (2025)