Ladder Up, Memory Down: Low-Cost Fine-Tuning With Side Nets
Fuente:
arXiv
Salvato in:
| Autori principali: | Zheng, Estelle, Cerisara, Nathan, Warichet, Sébastien, Helbert, Emmanuel, Cerisara, Christophe |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2025
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Novel-WD: Exploring acquisition of Novel World Knowledge in LLMs Using Prefix-Tuning
di: Méloux, Maxime, et al.
Pubblicazione: (2024)
di: Méloux, Maxime, et al.
Pubblicazione: (2024)
Lillama: Large Language Models Compression via Low-Rank Feature Distillation
di: Sy, Yaya, et al.
Pubblicazione: (2024)
di: Sy, Yaya, et al.
Pubblicazione: (2024)
BaldWhisper: Faster Whisper with Head Shearing and Layer Merging
di: Sy, Yaya, et al.
Pubblicazione: (2025)
di: Sy, Yaya, et al.
Pubblicazione: (2025)
Cross-lingual Matryoshka Representation Learning across Speech and Text
di: Sy, Yaya, et al.
Pubblicazione: (2026)
di: Sy, Yaya, et al.
Pubblicazione: (2026)
Computational Narrative Understanding for Expressive Text-to-Speech
di: Michel, Gaspard, et al.
Pubblicazione: (2025)
di: Michel, Gaspard, et al.
Pubblicazione: (2025)
Distinguishing Fictional Voices: a Study of Authorship Verification Models for Quotation Attribution
di: Michel, Gaspard, et al.
Pubblicazione: (2024)
di: Michel, Gaspard, et al.
Pubblicazione: (2024)
Improving Quotation Attribution with Fictional Character Embeddings
di: Michel, Gaspard, et al.
Pubblicazione: (2024)
di: Michel, Gaspard, et al.
Pubblicazione: (2024)
Evaluating LLMs for Quotation Attribution in Literary Texts: A Case Study of LLaMa3
di: Michel, Gaspard, et al.
Pubblicazione: (2024)
di: Michel, Gaspard, et al.
Pubblicazione: (2024)
Speech Language Models for Under-Represented Languages: Insights from Wolof
di: Sy, Yaya, et al.
Pubblicazione: (2025)
di: Sy, Yaya, et al.
Pubblicazione: (2025)
S-VoCAL: A Dataset and Evaluation Framework for Inferring Speaking Voice Character Attributes in Literature
di: Berthe-Pardo, Abigail, et al.
Pubblicazione: (2026)
di: Berthe-Pardo, Abigail, et al.
Pubblicazione: (2026)
Fine Tuning Methods for Low-resource Languages
di: Bakkenes, Tim, et al.
Pubblicazione: (2025)
di: Bakkenes, Tim, et al.
Pubblicazione: (2025)
GraphLit: Learning Text-Enriched Dynamic Character Network Representations for Literary Study
di: Michel, Gaspard, et al.
Pubblicazione: (2026)
di: Michel, Gaspard, et al.
Pubblicazione: (2026)
Memory-Efficient Fine-Tuning of Transformers via Token Selection
di: Simoulin, Antoine, et al.
Pubblicazione: (2025)
di: Simoulin, Antoine, et al.
Pubblicazione: (2025)
Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
di: Park, Juneyoung, et al.
Pubblicazione: (2026)
di: Park, Juneyoung, et al.
Pubblicazione: (2026)
Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
di: Zhang, Yihua, et al.
Pubblicazione: (2024)
di: Zhang, Yihua, et al.
Pubblicazione: (2024)
Understanding the Performance and Estimating the Cost of LLM Fine-Tuning
di: Xia, Yuchen, et al.
Pubblicazione: (2024)
di: Xia, Yuchen, et al.
Pubblicazione: (2024)
Reviving Your MNEME: Predicting The Side Effects of LLM Unlearning and Fine-Tuning via Sparse Model Diffing
di: Kassem, Aly M., et al.
Pubblicazione: (2025)
di: Kassem, Aly M., et al.
Pubblicazione: (2025)
ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning
di: Liu, Yongkang, et al.
Pubblicazione: (2026)
di: Liu, Yongkang, et al.
Pubblicazione: (2026)
LCSB: Layer-Cyclic Selective Backpropagation for Memory-Efficient On-Device LLM Fine-Tuning
di: Park, Juneyoung, et al.
Pubblicazione: (2026)
di: Park, Juneyoung, et al.
Pubblicazione: (2026)
Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation
di: Collins, Katherine M., et al.
Pubblicazione: (2024)
di: Collins, Katherine M., et al.
Pubblicazione: (2024)
Optimizing Fine-Tuning through Advanced Initialization Strategies for Low-Rank Adaptation
di: Xue, Yongfu
Pubblicazione: (2025)
di: Xue, Yongfu
Pubblicazione: (2025)
Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models
di: Wang, Fei, et al.
Pubblicazione: (2024)
di: Wang, Fei, et al.
Pubblicazione: (2024)
Get more for less: Principled Data Selection for Warming Up Fine-Tuning in LLMs
di: Kang, Feiyang, et al.
Pubblicazione: (2024)
di: Kang, Feiyang, et al.
Pubblicazione: (2024)
The Dark Side of the Language: Pre-trained Transformers in the DarkNet
di: Ranaldi, Leonardo, et al.
Pubblicazione: (2022)
di: Ranaldi, Leonardo, et al.
Pubblicazione: (2022)
DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
di: Zhang, Haojie
Pubblicazione: (2025)
di: Zhang, Haojie
Pubblicazione: (2025)
Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning
di: Jin, Feihu, et al.
Pubblicazione: (2026)
di: Jin, Feihu, et al.
Pubblicazione: (2026)
LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models
di: Yang, Yifan, et al.
Pubblicazione: (2024)
di: Yang, Yifan, et al.
Pubblicazione: (2024)
MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
di: Lu, Yiyang, et al.
Pubblicazione: (2026)
di: Lu, Yiyang, et al.
Pubblicazione: (2026)
Hallucination Detection in LLMs: Fast and Memory-Efficient Fine-Tuned Models
di: Arteaga, Gabriel Y., et al.
Pubblicazione: (2024)
di: Arteaga, Gabriel Y., et al.
Pubblicazione: (2024)
Anchored Supervised Fine-Tuning
di: Zhu, He, et al.
Pubblicazione: (2025)
di: Zhu, He, et al.
Pubblicazione: (2025)
Synthetic Data Generation in Low-Resource Settings via Fine-Tuning of Large Language Models
di: Kaddour, Jean, et al.
Pubblicazione: (2023)
di: Kaddour, Jean, et al.
Pubblicazione: (2023)
Addax: Utilizing Zeroth-Order Gradients to Improve Memory Efficiency and Performance of SGD for Fine-Tuning Language Models
di: Li, Zeman, et al.
Pubblicazione: (2024)
di: Li, Zeman, et al.
Pubblicazione: (2024)
Joint Localization and Activation Editing for Low-Resource Fine-Tuning
di: Lai, Wen, et al.
Pubblicazione: (2025)
di: Lai, Wen, et al.
Pubblicazione: (2025)
AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning
di: Yang, Yifan, et al.
Pubblicazione: (2024)
di: Yang, Yifan, et al.
Pubblicazione: (2024)
Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models
di: Ghiasvand, Sajjad, et al.
Pubblicazione: (2024)
di: Ghiasvand, Sajjad, et al.
Pubblicazione: (2024)
Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning
di: Jie, Shibo, et al.
Pubblicazione: (2024)
di: Jie, Shibo, et al.
Pubblicazione: (2024)
LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs
di: Kim, Taeho, et al.
Pubblicazione: (2024)
di: Kim, Taeho, et al.
Pubblicazione: (2024)
Prompt Tuning for Natural Language to SQL with Embedding Fine-Tuning and RAG
di: Jang, Jisoo, et al.
Pubblicazione: (2025)
di: Jang, Jisoo, et al.
Pubblicazione: (2025)
Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting
di: Srinivasan, Krishna Prasad Varadarajan, et al.
Pubblicazione: (2024)
di: Srinivasan, Krishna Prasad Varadarajan, et al.
Pubblicazione: (2024)
UFT: Unifying Supervised and Reinforcement Fine-Tuning
di: Liu, Mingyang, et al.
Pubblicazione: (2025)
di: Liu, Mingyang, et al.
Pubblicazione: (2025)
Documenti analoghi
-
Novel-WD: Exploring acquisition of Novel World Knowledge in LLMs Using Prefix-Tuning
di: Méloux, Maxime, et al.
Pubblicazione: (2024) -
Lillama: Large Language Models Compression via Low-Rank Feature Distillation
di: Sy, Yaya, et al.
Pubblicazione: (2024) -
BaldWhisper: Faster Whisper with Head Shearing and Layer Merging
di: Sy, Yaya, et al.
Pubblicazione: (2025) -
Cross-lingual Matryoshka Representation Learning across Speech and Text
di: Sy, Yaya, et al.
Pubblicazione: (2026) -
Computational Narrative Understanding for Expressive Text-to-Speech
di: Michel, Gaspard, et al.
Pubblicazione: (2025)