Buchumschlag

Information-Theoretic Perspectives on Optimizers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tan, Zhiquan, Huang, Weiran
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Understanding Grokking Through A Robustness Viewpoint
von: Tan, Zhiquan, et al.
Veröffentlicht: (2023)

Exploring Information-Theoretic Metrics Associated with Neural Collapse in Supervised Training
von: Song, Kun, et al.
Veröffentlicht: (2024)

The Information of Large Language Model Geometry
von: Tan, Zhiquan, et al.
Veröffentlicht: (2024)

Unveiling the Dynamics of Information Interplay in Supervised Learning
von: Song, Kun, et al.
Veröffentlicht: (2024)

A Theoretical Lens for RL-Tuned Language Models via Energy-Based Models
von: Tan, Zhiquan, et al.
Veröffentlicht: (2025)

Matrix Information Theory for Self-Supervised Learning
von: Zhang, Yifan, et al.
Veröffentlicht: (2023)

ATLAS: Adapter-Based Multi-Modal Continual Learning with a Two-Stage Learning Strategy
von: Li, Hong, et al.
Veröffentlicht: (2024)

Can I understand what I create? Self-Knowledge Evaluation of Large Language Models
von: Tan, Zhiquan, et al.
Veröffentlicht: (2024)

Diff-eRank: A Novel Rank-Based Metric for Evaluating Large Language Models
von: Wei, Lai, et al.
Veröffentlicht: (2024)

Provable Contrastive Continual Learning
von: Wen, Yichen, et al.
Veröffentlicht: (2024)

PAINT: Partial-Solution Adaptive Interpolated Training for Self-Distilled Reasoners
von: Tan, Zhiquan, et al.
Veröffentlicht: (2026)

Self-Supervised On-Policy Distillation for Reasoning Language Models
von: Tan, Zhiquan, et al.
Veröffentlicht: (2026)

Information Theoretic Perspective on Representation Learning
von: Pereg, Deborah, et al.
Veröffentlicht: (2026)

An Information Theoretic Perspective on Conformal Prediction
von: Correia, Alvaro H. C., et al.
Veröffentlicht: (2024)

Inference-Cost-Aware Dynamic Tree Construction for Efficient Inference in Large Language Models
von: Hong, Yinrong, et al.
Veröffentlicht: (2025)

Information-Theoretic Bayesian Optimization for Bilevel Optimization Problems
von: Kanayama, Takuya, et al.
Veröffentlicht: (2025)

Information Theoretic Bayesian Optimization over the Probability Simplex
von: Pavesi, Federico, et al.
Veröffentlicht: (2026)

Information-Theoretic Safe Bayesian Optimization
von: Bottero, Alessandro G., et al.
Veröffentlicht: (2024)

Operator Learning of Lipschitz Operators: An Information-Theoretic Perspective
von: Lanthaler, Samuel
Veröffentlicht: (2024)

Investigating the Impact of Model Complexity in Large Language Models
von: Luo, Jing, et al.
Veröffentlicht: (2024)

Generation Order and Parallel Decoding in Masked Diffusion Models: An Information-Theoretic Perspective
von: Zhang, Shaorong, et al.
Veröffentlicht: (2026)

Error Bounds of Supervised Classification from Information-Theoretic Perspective
von: Qi, Binchuan
Veröffentlicht: (2024)

On the Learnability of Offline Model-Based Optimization: A Ranking Perspective
von: Lyu, Shen-Huan, et al.
Veröffentlicht: (2026)

Information Theoretic Lower Bounds for Information Theoretic Upper Bounds
von: Livni, Roi
Veröffentlicht: (2023)

Fairness Overfitting in Machine Learning: An Information-Theoretic Perspective
von: Laakom, Firas, et al.
Veröffentlicht: (2025)

On the Hardness of Unsupervised Domain Adaptation: Optimal Learners and Information-Theoretic Perspective
von: Dong, Zhiyi, et al.
Veröffentlicht: (2025)

Analyzing Multimodal Integration in the Variational Autoencoder from an Information-Theoretic Perspective
von: Langer, Carlotta, et al.
Veröffentlicht: (2024)

Directed Information $γ$-covering: An Information-Theoretic Framework for Context Engineering
von: Huang, Hai
Veröffentlicht: (2025)

An Information Theoretic Perspective on Agentic System Design
von: He, Shizhe, et al.
Veröffentlicht: (2025)

Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective
von: Huang, Weizhong, et al.
Veröffentlicht: (2025)

A Theoretical Perspective for Speculative Decoding Algorithm
von: Yin, Ming, et al.
Veröffentlicht: (2024)

RelationMatch: Matching In-batch Relationships for Semi-supervised Learning
von: Zhang, Yifan, et al.
Veröffentlicht: (2023)

Why Code, Why Now: An Information-Theoretic Perspective on the Limits of Machine Learning
von: Zhao, Zhimin
Veröffentlicht: (2026)

Uncertainty Quantification and Data Efficiency in AI: An Information-Theoretic Perspective
von: Simeone, Osvaldo, et al.
Veröffentlicht: (2025)

Step-Size Stability in Stochastic Optimization: A Theoretical Perspective
von: Schaipp, Fabian, et al.
Veröffentlicht: (2026)

Polybasic Speculative Decoding Through a Theoretical Perspective
von: Wang, Ruilin, et al.
Veröffentlicht: (2025)

On the Mechanisms of Weak-to-Strong Generalization: A Theoretical Perspective
von: Moniri, Behrad, et al.
Veröffentlicht: (2025)

Towards Analyzing and Understanding the Limitations of VAPO: A Theoretical Perspective
von: Shao, Jintian, et al.
Veröffentlicht: (2025)

Penalty-Based First-Order Methods for Bilevel Optimization with Minimax and Constrained Lower-Level Problems
von: Shen, Yiyang, et al.
Veröffentlicht: (2026)

OTMatch: Improving Semi-Supervised Learning with Optimal Transport
von: Tan, Zhiquan, et al.
Veröffentlicht: (2023)