Buchumschlag

Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Kevin, Li, Fulu
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Nature of Mathematical Modeling and Probabilistic Optimization Engineering in Generative AI
von: Li, Fulu
Veröffentlicht: (2024)

Analysis on Riemann Hypothesis with Cross Entropy Optimization and Reasoning
von: Li, Kevin, et al.
Veröffentlicht: (2024)

Sequential Policy Gradient for Adaptive Hyperparameter Optimization
von: Li, Zheng, et al.
Veröffentlicht: (2025)

Enhancing Deep Learning with Optimized Gradient Descent: Bridging Numerical Methods and Neural Network Training
von: Ma, Yuhan, et al.
Veröffentlicht: (2024)

Bayesian Optimization for Hyperparameters Tuning in Neural Networks
von: Onorato, Gabriele
Veröffentlicht: (2024)

Reconstructing Deep Neural Networks: Unleashing the Optimization Potential of Natural Gradient Descent
von: Liu, Weihua, et al.
Veröffentlicht: (2024)

Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis
von: Silva, Gustavo, et al.
Veröffentlicht: (2023)

ULTHO: Ultra-Lightweight yet Efficient Hyperparameter Optimization in Deep Reinforcement Learning
von: Yuan, Mingqi, et al.
Veröffentlicht: (2025)

Entropy-Gated Selective Policy Optimization:Token-Level Gradient Allocation for Hybrid Training of Large Language Models
von: Hu, Yuelin, et al.
Veröffentlicht: (2026)

ORTHOBO: Orthogonal Bayesian Hyperparameter Optimization
von: Schröder, Maresa, et al.
Veröffentlicht: (2026)

Signal-Adaptive Trust Regions for Gradient-Free Optimization of Recurrent Spiking Neural Networks
von: Li, Jinhao, et al.
Veröffentlicht: (2026)

Differentiable Entropy Regularization: A Complexity-Aware Approach for Neural Optimization
von: Shihab, Ibne Farabi, et al.
Veröffentlicht: (2025)

Using Large Language Models for Hyperparameter Optimization
von: Zhang, Michael R., et al.
Veröffentlicht: (2023)

Hyperparameter Optimization via Interacting with Probabilistic Circuits
von: Seng, Jonas, et al.
Veröffentlicht: (2025)

Generalized Population-Based Training for Hyperparameter Optimization in Reinforcement Learning
von: Bai, Hui, et al.
Veröffentlicht: (2024)

ROOT: Robust Orthogonalized Optimizer for Neural Network Training
von: He, Wei, et al.
Veröffentlicht: (2025)

Mitigating Gradient Overlap in Deep Residual Networks with Gradient Normalization for Improved Non-Convex Optimization
von: Yun, Juyoung
Veröffentlicht: (2024)

Hierarchical Zero-Order Optimization for Deep Neural Networks
von: Cao, Sansheng, et al.
Veröffentlicht: (2026)

Gradient-Free Training of Quantized Neural Networks
von: Cohen, Noa, et al.
Veröffentlicht: (2024)

A Unified Hyperparameter Optimization Pipeline for Transformer-Based Time Series Forecasting Models
von: Xu, Jingjing, et al.
Veröffentlicht: (2025)

Feed-Forward Optimization With Delayed Feedback for Neural Network Training
von: Flügel, Katharina, et al.
Veröffentlicht: (2023)

Dimer-Enhanced Optimization: A First-Order Approach to Escaping Saddle Points in Neural Network Training
von: Hu, Yue, et al.
Veröffentlicht: (2025)

A Unified Gaussian Process for Branching and Nested Hyperparameter Optimization
von: Zhang, Jiazhao, et al.
Veröffentlicht: (2024)

HyperSHAP: Shapley Values and Interactions for Explaining Hyperparameter Optimization
von: Wever, Marcel, et al.
Veröffentlicht: (2025)

Frozen Layers: Memory-efficient Many-fidelity Hyperparameter Optimization
von: Carstensen, Timur, et al.
Veröffentlicht: (2025)

Understanding the Generalization of Stochastic Gradient Adam in Learning Neural Networks
von: Tang, Xuan, et al.
Veröffentlicht: (2025)

LION-DG: Layer-Informed Initialization with Deep Gradient Protocols for Accelerated Neural Network Training
von: Kim, Hyunjun
Veröffentlicht: (2026)

GIO: Gradient Information Optimization for Training Dataset Selection
von: Everaert, Dante, et al.
Veröffentlicht: (2023)

Gradient Alignment in Physics-informed Neural Networks: A Second-Order Optimization Perspective
von: Wang, Sifan, et al.
Veröffentlicht: (2025)

Stochastic Re-weighted Gradient Descent via Distributionally Robust Optimization
von: Kumar, Ramnath, et al.
Veröffentlicht: (2023)

Quantum Optimization for Training Quantum Neural Networks
von: Liao, Yidong, et al.
Veröffentlicht: (2021)

Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning
von: Giovanelli, Joseph, et al.
Veröffentlicht: (2023)

Combinatorial Optimization with Automated Graph Neural Networks
von: Liu, Yang, et al.
Veröffentlicht: (2024)

Dispelling the Curse of Singularities in Neural Network Optimizations
von: Cao, Hengjie, et al.
Veröffentlicht: (2026)

Optimizing Deep Neural Networks using Safety-Guided Self Compression
von: Zbeeb, Mohammad, et al.
Veröffentlicht: (2025)

PSMGD: Periodic Stochastic Multi-Gradient Descent for Fast Multi-Objective Optimization
von: Xu, Mingjing, et al.
Veröffentlicht: (2024)

Default Machine Learning Hyperparameters Do Not Provide Informative Initialization for Bayesian Optimization
von: Prieto, Nicolás Villagrán, et al.
Veröffentlicht: (2026)

Self-Tuning Sparse Attention: Multi-Fidelity Hyperparameter Optimization for Transformer Acceleration
von: Dev, Arundhathi, et al.
Veröffentlicht: (2026)

Interactive Training: Feedback-Driven Neural Network Optimization
von: Zhang, Wentao, et al.
Veröffentlicht: (2025)

Large Language Model Enhanced Particle Swarm Optimization for Hyperparameter Tuning for Deep Learning Models
von: Hameed, Saad, et al.
Veröffentlicht: (2025)