Ladder Up, Memory Down: Low-Cost Fine-Tuning With Side Nets
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Zheng, Estelle, Cerisara, Nathan, Warichet, Sébastien, Helbert, Emmanuel, Cerisara, Christophe |
|---|---|
| Format: | Preprint |
| Publié: |
2025
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Novel-WD: Exploring acquisition of Novel World Knowledge in LLMs Using Prefix-Tuning
par: Méloux, Maxime, et autres
Publié: (2024)
par: Méloux, Maxime, et autres
Publié: (2024)
Lillama: Large Language Models Compression via Low-Rank Feature Distillation
par: Sy, Yaya, et autres
Publié: (2024)
par: Sy, Yaya, et autres
Publié: (2024)
BaldWhisper: Faster Whisper with Head Shearing and Layer Merging
par: Sy, Yaya, et autres
Publié: (2025)
par: Sy, Yaya, et autres
Publié: (2025)
Cross-lingual Matryoshka Representation Learning across Speech and Text
par: Sy, Yaya, et autres
Publié: (2026)
par: Sy, Yaya, et autres
Publié: (2026)
Computational Narrative Understanding for Expressive Text-to-Speech
par: Michel, Gaspard, et autres
Publié: (2025)
par: Michel, Gaspard, et autres
Publié: (2025)
Distinguishing Fictional Voices: a Study of Authorship Verification Models for Quotation Attribution
par: Michel, Gaspard, et autres
Publié: (2024)
par: Michel, Gaspard, et autres
Publié: (2024)
Improving Quotation Attribution with Fictional Character Embeddings
par: Michel, Gaspard, et autres
Publié: (2024)
par: Michel, Gaspard, et autres
Publié: (2024)
Evaluating LLMs for Quotation Attribution in Literary Texts: A Case Study of LLaMa3
par: Michel, Gaspard, et autres
Publié: (2024)
par: Michel, Gaspard, et autres
Publié: (2024)
Speech Language Models for Under-Represented Languages: Insights from Wolof
par: Sy, Yaya, et autres
Publié: (2025)
par: Sy, Yaya, et autres
Publié: (2025)
S-VoCAL: A Dataset and Evaluation Framework for Inferring Speaking Voice Character Attributes in Literature
par: Berthe-Pardo, Abigail, et autres
Publié: (2026)
par: Berthe-Pardo, Abigail, et autres
Publié: (2026)
Fine Tuning Methods for Low-resource Languages
par: Bakkenes, Tim, et autres
Publié: (2025)
par: Bakkenes, Tim, et autres
Publié: (2025)
GraphLit: Learning Text-Enriched Dynamic Character Network Representations for Literary Study
par: Michel, Gaspard, et autres
Publié: (2026)
par: Michel, Gaspard, et autres
Publié: (2026)
Memory-Efficient Fine-Tuning of Transformers via Token Selection
par: Simoulin, Antoine, et autres
Publié: (2025)
par: Simoulin, Antoine, et autres
Publié: (2025)
Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
par: Park, Juneyoung, et autres
Publié: (2026)
par: Park, Juneyoung, et autres
Publié: (2026)
Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
par: Zhang, Yihua, et autres
Publié: (2024)
par: Zhang, Yihua, et autres
Publié: (2024)
Understanding the Performance and Estimating the Cost of LLM Fine-Tuning
par: Xia, Yuchen, et autres
Publié: (2024)
par: Xia, Yuchen, et autres
Publié: (2024)
Reviving Your MNEME: Predicting The Side Effects of LLM Unlearning and Fine-Tuning via Sparse Model Diffing
par: Kassem, Aly M., et autres
Publié: (2025)
par: Kassem, Aly M., et autres
Publié: (2025)
ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning
par: Liu, Yongkang, et autres
Publié: (2026)
par: Liu, Yongkang, et autres
Publié: (2026)
LCSB: Layer-Cyclic Selective Backpropagation for Memory-Efficient On-Device LLM Fine-Tuning
par: Park, Juneyoung, et autres
Publié: (2026)
par: Park, Juneyoung, et autres
Publié: (2026)
Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation
par: Collins, Katherine M., et autres
Publié: (2024)
par: Collins, Katherine M., et autres
Publié: (2024)
Optimizing Fine-Tuning through Advanced Initialization Strategies for Low-Rank Adaptation
par: Xue, Yongfu
Publié: (2025)
par: Xue, Yongfu
Publié: (2025)
Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models
par: Wang, Fei, et autres
Publié: (2024)
par: Wang, Fei, et autres
Publié: (2024)
Get more for less: Principled Data Selection for Warming Up Fine-Tuning in LLMs
par: Kang, Feiyang, et autres
Publié: (2024)
par: Kang, Feiyang, et autres
Publié: (2024)
The Dark Side of the Language: Pre-trained Transformers in the DarkNet
par: Ranaldi, Leonardo, et autres
Publié: (2022)
par: Ranaldi, Leonardo, et autres
Publié: (2022)
DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
par: Zhang, Haojie
Publié: (2025)
par: Zhang, Haojie
Publié: (2025)
Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning
par: Jin, Feihu, et autres
Publié: (2026)
par: Jin, Feihu, et autres
Publié: (2026)
LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models
par: Yang, Yifan, et autres
Publié: (2024)
par: Yang, Yifan, et autres
Publié: (2024)
MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
par: Lu, Yiyang, et autres
Publié: (2026)
par: Lu, Yiyang, et autres
Publié: (2026)
Hallucination Detection in LLMs: Fast and Memory-Efficient Fine-Tuned Models
par: Arteaga, Gabriel Y., et autres
Publié: (2024)
par: Arteaga, Gabriel Y., et autres
Publié: (2024)
Anchored Supervised Fine-Tuning
par: Zhu, He, et autres
Publié: (2025)
par: Zhu, He, et autres
Publié: (2025)
Synthetic Data Generation in Low-Resource Settings via Fine-Tuning of Large Language Models
par: Kaddour, Jean, et autres
Publié: (2023)
par: Kaddour, Jean, et autres
Publié: (2023)
Addax: Utilizing Zeroth-Order Gradients to Improve Memory Efficiency and Performance of SGD for Fine-Tuning Language Models
par: Li, Zeman, et autres
Publié: (2024)
par: Li, Zeman, et autres
Publié: (2024)
Joint Localization and Activation Editing for Low-Resource Fine-Tuning
par: Lai, Wen, et autres
Publié: (2025)
par: Lai, Wen, et autres
Publié: (2025)
AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning
par: Yang, Yifan, et autres
Publié: (2024)
par: Yang, Yifan, et autres
Publié: (2024)
Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models
par: Ghiasvand, Sajjad, et autres
Publié: (2024)
par: Ghiasvand, Sajjad, et autres
Publié: (2024)
Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning
par: Jie, Shibo, et autres
Publié: (2024)
par: Jie, Shibo, et autres
Publié: (2024)
LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs
par: Kim, Taeho, et autres
Publié: (2024)
par: Kim, Taeho, et autres
Publié: (2024)
Prompt Tuning for Natural Language to SQL with Embedding Fine-Tuning and RAG
par: Jang, Jisoo, et autres
Publié: (2025)
par: Jang, Jisoo, et autres
Publié: (2025)
Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting
par: Srinivasan, Krishna Prasad Varadarajan, et autres
Publié: (2024)
par: Srinivasan, Krishna Prasad Varadarajan, et autres
Publié: (2024)
UFT: Unifying Supervised and Reinforcement Fine-Tuning
par: Liu, Mingyang, et autres
Publié: (2025)
par: Liu, Mingyang, et autres
Publié: (2025)
Documents similaires
-
Novel-WD: Exploring acquisition of Novel World Knowledge in LLMs Using Prefix-Tuning
par: Méloux, Maxime, et autres
Publié: (2024) -
Lillama: Large Language Models Compression via Low-Rank Feature Distillation
par: Sy, Yaya, et autres
Publié: (2024) -
BaldWhisper: Faster Whisper with Head Shearing and Layer Merging
par: Sy, Yaya, et autres
Publié: (2025) -
Cross-lingual Matryoshka Representation Learning across Speech and Text
par: Sy, Yaya, et autres
Publié: (2026) -
Computational Narrative Understanding for Expressive Text-to-Speech
par: Michel, Gaspard, et autres
Publié: (2025)