Buchumschlag

Understanding the Generalization of Bilevel Programming in Hyperparameter Optimization: A Tale of Bias-Variance Decomposition

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhou, Yubo, Shu, Jun, Liu, Junmin, Meng, Deyu
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Hyperparameter Tuning Through Pessimistic Bilevel Optimization
von: Ustun, Meltem Apaydin, et al.
Veröffentlicht: (2024)

A Generalized Bias-Variance Decomposition for Bregman Divergences
von: Pfau, David
Veröffentlicht: (2025)

A Bias-Variance-Covariance Decomposition of Kernel Scores for Generative Models
von: Gruber, Sebastian G., et al.
Veröffentlicht: (2023)

On the Convergence of Single-Loop Stochastic Bilevel Optimization with Approximate Implicit Differentiation
von: Zhou, Yubo, et al.
Veröffentlicht: (2026)

A Limit Theory of Foundation Models: A Mathematical Approach to Understanding Emergent Intelligence and Scaling Laws
von: Shu, Jun, et al.
Veröffentlicht: (2026)

KoopGen: Koopman Generator Networks for Representing and Predicting Dynamical Systems with Continuous Spectra
von: Su, Liangyu, et al.
Veröffentlicht: (2026)

A Bias-Variance Decomposition for Ensembles over Multiple Synthetic Datasets
von: Räisä, Ossi, et al.
Veröffentlicht: (2024)

A Tale of Two Problems: Multi-Task Bilevel Learning Meets Equality Constrained Multi-Objective Optimization
von: Zhang, Zhiyao, et al.
Veröffentlicht: (2026)

On the Emergence of Weak-to-Strong Generalization: A Bias-Variance Perspective
von: Xu, Gengze, et al.
Veröffentlicht: (2025)

Rethinking Semi-Supervised Imbalanced Node Classification from Bias-Variance Decomposition
von: Yan, Liang, et al.
Veröffentlicht: (2023)

Improving Memory Efficiency for Training KANs via Meta Learning
von: Zhao, Zhangchi, et al.
Veröffentlicht: (2025)

FairTree: Subgroup Fairness Auditing of Machine Learning Models with Bias-Variance Decomposition
von: Debelak, Rudolf
Veröffentlicht: (2026)

Beyond Explained Variance: A Cautionary Tale of PCA
von: Marchetti, Gionni
Veröffentlicht: (2026)

Long N-step Surrogate Stage Reward to Reduce Variances of Deep Reinforcement Learning in Complex Problems
von: Zhong, Junmin, et al.
Veröffentlicht: (2022)

Learning Non-Vacuous Generalization Bounds from Optimization
von: Tan, Chengli, et al.
Veröffentlicht: (2022)

Dual-CBA: Improving Online Continual Learning via Dual Continual Bias Adaptors from a Bi-level Optimization Perspective
von: Wang, Quanziang, et al.
Veröffentlicht: (2024)

A Tale of Two Variances: When Single-Seed Benchmarks Fail in Bayesian Deep Learning
von: Zhan, Qishi, et al.
Veröffentlicht: (2026)

Overtuning in Hyperparameter Optimization
von: Schneider, Lennart, et al.
Veröffentlicht: (2025)

The Bias-Variance Tradeoff in Data-Driven Optimization: A Local Misspecification Perspective
von: Lan, Haixiang, et al.
Veröffentlicht: (2025)

Stochastic Bilevel Optimization with Heavy-Tailed Noise
von: Liu, Zhuanghua, et al.
Veröffentlicht: (2025)

Understanding Optimal Feature Transfer via a Fine-Grained Bias-Variance Analysis
von: Li, Yufan, et al.
Veröffentlicht: (2024)

Problem-Parameter-Free Decentralized Bilevel Optimization
von: Zhai, Zhiwei, et al.
Veröffentlicht: (2025)

Hyperparameter Optimization in Machine Learning
von: Franceschi, Luca, et al.
Veröffentlicht: (2024)

Reshuffling Resampling Splits Can Improve Generalization of Hyperparameter Optimization
von: Nagler, Thomas, et al.
Veröffentlicht: (2024)

Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits
von: Kang, Yue, et al.
Veröffentlicht: (2023)

A First-order Generative Bilevel Optimization Framework for Diffusion Models
von: Xiao, Quan, et al.
Veröffentlicht: (2025)

Towards Understanding The Calibration Benefits of Sharpness-Aware Minimization
von: Tan, Chengli, et al.
Veröffentlicht: (2025)

Dynamic Priors in Bayesian Optimization for Hyperparameter Optimization
von: Fehring, Lukas, et al.
Veröffentlicht: (2025)

An End-to-End Framework for Molecular Conformation Generation via Bilevel Programming
von: Xu, Minkai, et al.
Veröffentlicht: (2021)

Understanding the Mechanisms of Fast Hyperparameter Transfer
von: Ghosh, Nikhil, et al.
Veröffentlicht: (2025)

Fine-Grained Dynamic Framework for Bias-Variance Joint Optimization on Data Missing Not at Random
von: Ha, Mingming, et al.
Veröffentlicht: (2024)

On the Stability and Generalization of First-order Bilevel Minimax Optimization
von: Zhang, Xuelin, et al.
Veröffentlicht: (2026)

Non-Stationary Functional Bilevel Optimization
von: Bohne, Jason, et al.
Veröffentlicht: (2026)

Functional Bilevel Optimization for Machine Learning
von: Petrulionyte, Ieva, et al.
Veröffentlicht: (2024)

Learning Theory for Kernel Bilevel Optimization
von: Khoury, Fares El, et al.
Veröffentlicht: (2025)

Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of Conjugate Variables in System Attacks
von: Zhang, Jun-Jie, et al.
Veröffentlicht: (2024)

Decoding Decoded: Understanding Hyperparameter Effects in Open-Ended Text Generation
von: Arias, Esteban Garces, et al.
Veröffentlicht: (2024)

Exact Finite-Sample Variance Decomposition of Subagging: A Spectral Filtering Perspective
von: Su, Ye, et al.
Veröffentlicht: (2026)

Gradient Descent, Stochastic Optimization, and Other Tales
von: Lu, Jun
Veröffentlicht: (2022)

In-Context Freeze-Thaw Bayesian Optimization for Hyperparameter Optimization
von: Rakotoarison, Herilalaina, et al.
Veröffentlicht: (2024)