Buchumschlag

ScaleBiO: Scalable Bilevel Optimization for LLM Data Reweighting

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Pan, Rui, Zhang, Dylan, Zhang, Hanning, Pan, Xingyuan, Xu, Minrui, Zhang, Jipeng, Pi, Renjie, Wang, Xiaoyu, Zhang, Tong
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Effective Bilevel Optimization via Minimax Reformulation
von: Wang, Xiaoyu, et al.
Veröffentlicht: (2023)

LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning
von: Pan, Rui, et al.
Veröffentlicht: (2024)

Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise
von: Pan, Rui, et al.
Veröffentlicht: (2023)

Second-Order Optimality Conditions for Nonsmooth Constrained Optimization with Applications to Bilevel Programming
von: Liu, Xiang, et al.
Veröffentlicht: (2025)

Reducing Contextual Stochastic Bilevel Optimization via Structured Function Approximation
von: Bouscary, Maxime, et al.
Veröffentlicht: (2025)

Augmenting Iterative Trajectory for Bilevel Optimization: Methodology, Analysis and Extensions
von: Liu, Risheng, et al.
Veröffentlicht: (2023)

AdaGrad under Anisotropic Smoothness
von: Liu, Yuxing, et al.
Veröffentlicht: (2024)

Fully First-Order Methods for Decentralized Bilevel Optimization
von: Wang, Xiaoyu, et al.
Veröffentlicht: (2024)

On the Nature of Regularity Assumptions in Bilevel Optimization with Constrained Lower-level Problem
von: Jiang, Xiaotian, et al.
Veröffentlicht: (2026)

Hessian-Free Distributed Bilevel Optimization via Penalization with Time-Scale Separation
von: Niu, Youcheng, et al.
Veröffentlicht: (2024)

A Single-Loop Gradient Algorithm for Pessimistic Bilevel Optimization via Smooth Approximation
von: Cao, Qichao, et al.
Veröffentlicht: (2025)

A Doubly Stochastically Perturbed Algorithm for Linearly Constrained Bilevel Optimization
von: Khanduri, Prashant, et al.
Veröffentlicht: (2025)

On the Condition Number Dependency in Bilevel Optimization
von: Chen, Lesi, et al.
Veröffentlicht: (2025)

Problem-Parameter-Free Decentralized Bilevel Optimization
von: Zhai, Zhiwei, et al.
Veröffentlicht: (2025)

Reweighted Quasi Norm Regularized Low-Rank Factorization for Matrix Robust PCA
von: Qin, Zhenzhi, et al.
Veröffentlicht: (2024)

SUN-DSBO: A Structured Unified Framework for Nonconvex Decentralized Stochastic Bilevel Optimization
von: Ma, Yaoshuai, et al.
Veröffentlicht: (2026)

A Provably Convergent Plug-and-Play Framework for Stochastic Bilevel Optimization
von: Chu, Tianshu, et al.
Veröffentlicht: (2025)

An Adaptive Algorithm for Bilevel Optimization on Riemannian Manifolds
von: Shi, Xu, et al.
Veröffentlicht: (2025)

Functionally Constrained Algorithm Solves Convex Simple Bilevel Problems
von: Zhang, Huaqing, et al.
Veröffentlicht: (2024)

Efficient Curvature-Aware Hypergradient Approximation for Bilevel Optimization
von: Dong, Youran, et al.
Veröffentlicht: (2025)

Overcoming Lower-Level Constraints in Bilevel Optimization: A Novel Approach with Regularized Gap Functions
von: Yao, Wei, et al.
Veröffentlicht: (2024)

First-Order Methods for Linearly Constrained Bilevel Optimization
von: Kornowski, Guy, et al.
Veröffentlicht: (2024)

ASGO: Adaptive Structured Gradient Optimization
von: An, Kang, et al.
Veröffentlicht: (2025)

qNBO: quasi-Newton Meets Bilevel Optimization
von: Fang, Sheng, et al.
Veröffentlicht: (2025)

Neur2BiLO: Neural Bilevel Optimization
von: Dumouchelle, Justin, et al.
Veröffentlicht: (2024)

Faster Gradient Methods for Highly-Smooth Stochastic Bilevel Optimization
von: Chen, Lesi, et al.
Veröffentlicht: (2025)

On Finding Small Hyper-Gradients in Bilevel Optimization: Hardness Results and Improved Analysis
von: Chen, Lesi, et al.
Veröffentlicht: (2023)

Scalable Derivative-Free Optimization Algorithms with Low-Dimensional Subspace Techniques
von: Zhang, Zaikun
Veröffentlicht: (2025)

Efficient Computation of the Non-convex Quasi-norm Ball Projection with Iterative Reweighted Approach
von: An, Qi, et al.
Veröffentlicht: (2024)

Distributed Stochastic Bilevel Optimization: Improved Complexity and Heterogeneity Analysis
von: Niu, Youcheng, et al.
Veröffentlicht: (2023)

Adaptive Algorithms for Nonconvex Bilevel Optimization under PŁ Conditions
von: Shi, Xu, et al.
Veröffentlicht: (2025)

Distributed Bilevel Optimization with Communication Compression
von: He, Yutong, et al.
Veröffentlicht: (2024)

Optimal Zeroth-Order Bilevel Optimization
von: Aghasi, Alireza, et al.
Veröffentlicht: (2025)

Theoretical Analysis on how Learning Rate Warmup Accelerates Convergence
von: Liu, Yuxing, et al.
Veröffentlicht: (2025)

Scalable Bi-causal Optimal Transport via KL Relaxation and Policy Gradients
von: Cao, Haoyang, et al.
Veröffentlicht: (2026)

FAB: A First-Order AB-based Gradient Algorithm for Distributed Bilevel Optimization over Time-Varying Directed Graphs
von: Ma, Yaoshuai, et al.
Veröffentlicht: (2026)

Enhanced Barrier-Smoothing Technique for Bilevel Optimization with Nonsmooth Mappings
von: Xu, Mengwei, et al.
Veröffentlicht: (2024)

Near-Optimal Convex Simple Bilevel Optimization with a Bisection Method
von: Wang, Jiulin, et al.
Veröffentlicht: (2024)

Bilevel Optimization and Heuristic Algorithms for Integrating Latent Demand into the Design of Large-Scale Transit Systems
von: Guan, Hongzhao, et al.
Veröffentlicht: (2022)

A Bilevel Optimization Framework for Imbalanced Data Classification
von: Medlin, Karen, et al.
Veröffentlicht: (2024)