Buchumschlag

Bilevel ZOFO: Efficient LLM Fine-Tuning and Meta-Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Shirkavand, Reza, Yu, Peiran, He, Qi, Huang, Heng
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Efficient Fine-Tuning and Concept Suppression for Pruned Diffusion Models
von: Shirkavand, Reza, et al.
Veröffentlicht: (2024)

Cost-Aware Contrastive Routing for LLMs
von: Shirkavand, Reza, et al.
Veröffentlicht: (2025)

New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework
von: Ma, Shaocong, et al.
Veröffentlicht: (2026)

Not All Prompts Are Made Equal: Prompt-based Pruning of Text-to-Image Diffusion Models
von: Ganjdanesh, Alireza, et al.
Veröffentlicht: (2024)

Catalog-Native LLM: Speaking Item-ID Dialect with Less Entanglement for Recommendation
von: Shirkavand, Reza, et al.
Veröffentlicht: (2025)

Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness
von: He, Qi, et al.
Veröffentlicht: (2025)

Meta-Learning Hyperparameters for Parameter Efficient Fine-Tuning
von: Tian, Zichen, et al.
Veröffentlicht: (2026)

Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
von: Chen, Ziyi, et al.
Veröffentlicht: (2025)

MetaTT: A Global Tensor-Train Adapter for Parameter-Efficient Fine-Tuning
von: Lopez-Piqueres, Javier, et al.
Veröffentlicht: (2025)

Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems
von: Li, Junyi, et al.
Veröffentlicht: (2023)

LoRA Fine-Tuning Without GPUs: A CPU-Efficient Meta-Generation Framework for LLMs
von: Arabpour, Reza, et al.
Veröffentlicht: (2025)

Fed MobiLLM: Efficient Federated LLM Fine-Tuning over Heterogeneous Mobile Devices via Server Assisted Side-Tuning
von: Yang, Xingke, et al.
Veröffentlicht: (2025)

Tuning-Free Bilevel Optimization: New Algorithms and Convergence Analysis
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling
von: Li, Junyi, et al.
Veröffentlicht: (2024)

PAE MobiLLM: Privacy-Aware and Efficient LLM Fine-Tuning on the Mobile Device via Additive Side-Tuning
von: Yang, Xingke, et al.
Veröffentlicht: (2025)

Alignment Dynamics in LLM Fine-Tuning
von: Huang, Yuhan, et al.
Veröffentlicht: (2026)

Efficient Bilevel Optimization with KFAC-Based Hypergradients
von: Liao, Disen, et al.
Veröffentlicht: (2026)

Hyperparameter Tuning Through Pessimistic Bilevel Optimization
von: Ustun, Meltem Apaydin, et al.
Veröffentlicht: (2024)

Provably Mitigating Corruption, Overoptimization, and Verbosity Simultaneously in Offline and Online RLHF/DPO Alignment
von: Chen, Ziyi, et al.
Veröffentlicht: (2025)

Efficient Bilevel Optimization for Meta Label Correction in Noisy Label Learning
von: Nguyen, Ba Hoang Anh, et al.
Veröffentlicht: (2026)

SEAL: Safety-enhanced Aligned LLM Fine-tuning via Bilevel Data Selection
von: Shen, Han, et al.
Veröffentlicht: (2024)

FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics
von: Du, Yupei, et al.
Veröffentlicht: (2023)

Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer
von: Feng, Jian, et al.
Veröffentlicht: (2026)

Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning
von: Cheng, Yifei, et al.
Veröffentlicht: (2026)

Parameter-Efficient Fine-Tuning for Pre-Trained Vision Models: A Survey and Benchmark
von: Xin, Yi, et al.
Veröffentlicht: (2024)

Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
von: Park, Juneyoung, et al.
Veröffentlicht: (2026)

LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples
von: Liu, Yezi, et al.
Veröffentlicht: (2025)

OAT-Rephrase: Optimization-Aware Training Data Rephrasing for Zeroth-Order LLM Fine-Tuning
von: Long, Jikai, et al.
Veröffentlicht: (2025)

RoRA: Efficient Fine-Tuning of LLM with Reliability Optimization for Rank Adaptation
von: Liu, Jun, et al.
Veröffentlicht: (2025)

SVFit: Parameter-Efficient Fine-Tuning of Large Pre-Trained Models Using Singular Values
von: Sun, Chengwei, et al.
Veröffentlicht: (2024)

MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
von: Lu, Yiyang, et al.
Veröffentlicht: (2026)

Semiparametric Efficient Bilevel Gradient Estimation
von: Khoury, Fares El, et al.
Veröffentlicht: (2026)

Fine-Tuned In-Context Learners for Efficient Adaptation
von: Bornschein, Jorg, et al.
Veröffentlicht: (2025)

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning
von: Jiang, Ting, et al.
Veröffentlicht: (2024)

BiSSL: Enhancing the Alignment Between Self-Supervised Pretraining and Downstream Fine-Tuning via Bilevel Optimization
von: Zakarias, Gustav Wagner, et al.
Veröffentlicht: (2024)

Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2025)

Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
von: Zhang, Yihua, et al.
Veröffentlicht: (2024)

From Parameters to Data: A Task-Parameter-Guided Fine-Tuning Pipeline for Efficient LLM Alignment
von: Chen, Hao, et al.
Veröffentlicht: (2026)

Towards Anomaly-Aware Pre-Training and Fine-Tuning for Graph Anomaly Detection
von: Liu, Yunhui, et al.
Veröffentlicht: (2025)

Filter-then-Weight: Online Data Selection and Reweighting for LLM Fine-Tuning
von: Wang, Fangxin, et al.
Veröffentlicht: (2026)