Buchumschlag

Study of Training Dynamics for Memory-Constrained Fine-Tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Quélennec, Aël, Hezbri, Nour, Mozharovskyi, Pavlo, Nguyen, Van-Tam, Tartaglione, Enzo
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Memory Constrained Dynamic Subnetwork Update for Transfer Learning
von: Quélennec, Aël, et al.
Veröffentlicht: (2025)

Beyond Low-rank Decomposition: A Shortcut Approach for Efficient On-Device Learning
von: Nguyen, Le-Trung, et al.
Veröffentlicht: (2025)

Activation Map Compression through Tensor Decomposition for Deep Learning
von: Nguyen, Le-Trung, et al.
Veröffentlicht: (2024)

Till the Layers Collapse: Compressing a Deep Neural Network through the Lenses of Batch Normalization Layers
von: Liao, Zhu, et al.
Veröffentlicht: (2024)

Layer Collapse Can be Induced by Unstructured Pruning
von: Liao, Zhu, et al.
Veröffentlicht: (2024)

Efficient Resource-Constrained Training of Transformers via Subspace Optimization
von: Nguyen, Le-Trung, et al.
Veröffentlicht: (2025)

LaCoOT: Layer Collapse through Optimal Transport
von: Quétu, Victor, et al.
Veröffentlicht: (2024)

AI-Driven Intrusion Detection Systems (IDS) on the ROAD Dataset: A Comparative Analysis for Automotive Controller Area Network (CAN)
von: Guerra, Lorenzo, et al.
Veröffentlicht: (2024)

Tailoring Mixup to Data for Calibration
von: Bouniot, Quentin, et al.
Veröffentlicht: (2023)

Debiasing surgeon: fantastic weights and how to find them
von: Nahon, Rémi, et al.
Veröffentlicht: (2024)

Reducing Fine-Tuning Memory Overhead by Approximate and Memory-Sharing Backpropagation
von: Yang, Yuchen, et al.
Veröffentlicht: (2024)

Self-Supervised Learning of Graph Representations for Network Intrusion Detection
von: Guerra, Lorenzo, et al.
Veröffentlicht: (2025)

LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs
von: Kim, Taeho, et al.
Veröffentlicht: (2024)

Memory-Optimized Once-For-All Network
von: Girard, Maxime, et al.
Veröffentlicht: (2024)

Alignment Dynamics in LLM Fine-Tuning
von: Huang, Yuhan, et al.
Veröffentlicht: (2026)

Restyling Unsupervised Concept Based Interpretable Networks with Generative Models
von: Parekh, Jayneel, et al.
Veröffentlicht: (2024)

Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2025)

Data Depth as a Risk
von: Castellanos, Arturo, et al.
Veröffentlicht: (2025)

Weighted Ensemble Models Are Strong Continual Learners
von: Marouf, Imad Eddine, et al.
Veröffentlicht: (2023)

Parameter Efficiency Is Not Memory Efficiency: Rethinking Fine-Tuning for On-Device LLM Adaptation
von: Tenison, Irene, et al.
Veröffentlicht: (2026)

MELINOE: Fine-Tuning Enables Memory-Efficient Inference for Mixture-of-Experts Models
von: Raje, Arian, et al.
Veröffentlicht: (2026)

Hard-Constrained Neural Networks with Physics-Embedded Architecture for Residual Dynamics Learning and Invariant Enforcement in Cyber-Physical Systems
von: Spotorno, Enzo Nicolás, et al.
Veröffentlicht: (2025)

LENSLLM: Unveiling Fine-Tuning Dynamics for LLM Selection
von: Zeng, Xinyue, et al.
Veröffentlicht: (2025)

Anomaly detection using data depth: multivariate case
von: Mozharovskyi, Pavlo, et al.
Veröffentlicht: (2022)

Physics-Constrained Fine-Tuning of Flow-Matching Models for Generation and Inverse Problems
von: Tauberschmidt, Jan, et al.
Veröffentlicht: (2025)

FedKRSO: Communication and Memory Efficient Federated Fine-Tuning of Large Language Models
von: Yang, Guohao, et al.
Veröffentlicht: (2026)

On the Entropy Dynamics in Reinforcement Fine-Tuning of Large Language Models
von: Wang, Shumin, et al.
Veröffentlicht: (2026)

FedMomentum: Preserving LoRA Training Momentum in Federated Fine-Tuning
von: Yan, Peishen, et al.
Veröffentlicht: (2026)

AutoMixQ: Self-Adjusting Quantization for High Performance Memory-Efficient Fine-Tuning
von: Zhou, Changhai, et al.
Veröffentlicht: (2024)

AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

Rethinking Cross-Modal Fine-Tuning: Optimizing the Interaction Between Feature Alignment and Target Fitting
von: Tran, Trong Khiem, et al.
Veröffentlicht: (2026)

Task-Aware Parameter-Efficient Fine-Tuning of Large Pre-Trained Models at the Edge
von: Hu, Senkang, et al.
Veröffentlicht: (2025)

Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning
von: Nakamoto, Mitsuhiko, et al.
Veröffentlicht: (2023)

RevFFN: Memory-Efficient Full-Parameter Fine-Tuning of Mixture-of-Experts LLMs with Reversible Blocks
von: Liu, Ningyuan, et al.
Veröffentlicht: (2025)

Convergence Analysis of Aggregation-Broadcast in LoRA-enabled Distributed Fine-Tuning
von: Chen, Xin, et al.
Veröffentlicht: (2025)

Orthrus: Memory-Efficient Parallel Token Generation via Dual-View Diffusion
von: Van Nguyen, Chien, et al.
Veröffentlicht: (2026)

MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
von: Lu, Yiyang, et al.
Veröffentlicht: (2026)

Hallucination Detection in LLMs: Fast and Memory-Efficient Fine-Tuned Models
von: Arteaga, Gabriel Y., et al.
Veröffentlicht: (2024)

How Transformers Learn In-Context Recall Tasks? Optimality, Training Dynamics and Generalization
von: Nguyen, Quan, et al.
Veröffentlicht: (2025)

SplitFrozen: Split Learning with Device-side Model Frozen for Fine-Tuning LLM on Heterogeneous Resource-Constrained Devices
von: Ma, Jian, et al.
Veröffentlicht: (2025)