Buchumschlag

Entropy, concentration, and learning: a statistical mechanics primer

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Balsubramani, Akshay
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Statistical Mechanics Artificial Intelligence Information Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Laws of thermodynamics for exponential families
von: Balsubramani, Akshay
Veröffentlicht: (2025)

On the Separability of Information in Diffusion Models
von: Premkumar, Akhil
Veröffentlicht: (2025)

Neural Entropy
von: Premkumar, Akhil
Veröffentlicht: (2024)

Machine learning and optimization-based approaches to duality in statistical physics
von: Ferrari, Andrea E. V., et al.
Veröffentlicht: (2024)

Coupled Entropy: A Goldilocks Generalization for Complex Systems
von: Nelson, Kenric P.
Veröffentlicht: (2025)

Quantum Neural Estimation of Entropies
von: Goldfeld, Ziv, et al.
Veröffentlicht: (2023)

Typicality, entropy and the generalization of statistical mechanics
von: Corominas-Murtra, Bernat, et al.
Veröffentlicht: (2024)

Information-Geometric Decomposition of Generalization Error in Unsupervised Learning
von: Kim, Gilhan
Veröffentlicht: (2026)

MESSY Estimation: Maximum-Entropy based Stochastic and Symbolic densitY Estimation
von: Tohme, Tony, et al.
Veröffentlicht: (2023)

Growth-Optimal E-Variables and an extension to the multivariate Csiszár-Sanov-Chernoff Theorem
von: Grünwald, Peter, et al.
Veröffentlicht: (2024)

A new pathway to generative artificial intelligence by minimizing the maximum entropy
von: Miotto, Mattia, et al.
Veröffentlicht: (2025)

The Thermodynamic Costs of Simple Linear Regression
von: D'Ambrosia, Samuel H., et al.
Veröffentlicht: (2026)

Prior-dependent analysis of posterior sampling reinforcement learning with function approximation
von: Li, Yingru, et al.
Veröffentlicht: (2024)

Maximum diffusion reinforcement learning
von: Berrueta, Thomas A., et al.
Veröffentlicht: (2023)

Statistical physics of deep learning: Optimal learning of a multi-layer perceptron near interpolation
von: Barbier, Jean, et al.
Veröffentlicht: (2025)

Generalising realisability in statistical learning theory under epistemic uncertainty
von: Cuzzolin, Fabio
Veröffentlicht: (2024)

Grokking as a Falsifiable Finite-Size Transition
von: Bi, Yuda, et al.
Veröffentlicht: (2026)

Statistical mechanics of extensive-width Bayesian neural networks near interpolation
von: Barbier, Jean, et al.
Veröffentlicht: (2025)

Understanding Diffusion Models by Feynman's Path Integral
von: Hirono, Yuji, et al.
Veröffentlicht: (2024)

Entropy production in communication channels
von: Tasnim, Farita, et al.
Veröffentlicht: (2023)

Higher-order Graph Convolutional Network with Flower-Petals Laplacians on Simplicial Complexes
von: Huang, Yiming, et al.
Veröffentlicht: (2023)

Stochastic Resetting Mitigates Latent Gradient Bias of SGD from Label Noise
von: Bae, Youngkyoung, et al.
Veröffentlicht: (2024)

Trees to Flows and Back: Unifying Decision Trees and Diffusion Models
von: Ramachandran, Sai Niranjan, et al.
Veröffentlicht: (2026)

Symmetry and Generalisation in Neural Approximations of Renormalisation Transformations
von: Ashworth, Cassidy, et al.
Veröffentlicht: (2025)

Spontaneous symmetry breaking and Goldstone modes for deep information propagation
von: Iqbal, Nabil, et al.
Veröffentlicht: (2026)

On Distinguishing Capability Elicitation from Capability Creation in Post-Training: A Free-Energy Perspective
von: Li, Yuhao, et al.
Veröffentlicht: (2026)

Thermodynamic Irreversibility of Training Algorithms
von: Ziyin, Liu, et al.
Veröffentlicht: (2026)

Reinforcement Learning for Microcanonical Graph Ensemble with Assortativity Constraints
von: Choi, Hoyun, et al.
Veröffentlicht: (2026)

Cross-fluctuation phase transitions reveal sampling dynamics in diffusion models
von: Ramachandran, Sai Niranjan, et al.
Veröffentlicht: (2025)

Learning to erase quantum states: thermodynamic implications of quantum learning theory
von: Zhao, Haimeng, et al.
Veröffentlicht: (2025)

Tensor tree learns hidden relational structures in data to construct generative models
von: Harada, Kenji, et al.
Veröffentlicht: (2024)

Gaussian mixtures and non-parametric likelihoods through the lens of statistical mechanics
von: Ghosh, Subhroshekhar, et al.
Veröffentlicht: (2026)

Data efficiency, dimensionality reduction, and the generalized symmetric information bottleneck
von: Martini, K. Michael, et al.
Veröffentlicht: (2023)

Deep Variational Multivariate Information Bottleneck -- A Framework for Variational Losses
von: Abdelaleem, Eslam, et al.
Veröffentlicht: (2023)

Demonstration of Robust and Efficient Quantum Property Learning with Shallow Shadows
von: Hu, Hong-Ye, et al.
Veröffentlicht: (2024)

On the Exponential Convergence for Offline RLHF with Pairwise Comparisons
von: Chen, Zhirui, et al.
Veröffentlicht: (2024)

Fixed-Budget Differentially Private Best Arm Identification
von: Chen, Zhirui, et al.
Veröffentlicht: (2024)

Universal time-series forecasting with mixture predictors
von: Ryabko, Daniil
Veröffentlicht: (2020)

Fast Rates for Offline Contextual Bandits with Forward-KL Regularization under Single-Policy Concentrability
von: Zhao, Qingyue, et al.
Veröffentlicht: (2026)

Generalization Bounds: Perspectives from Information Theory and PAC-Bayes
von: Hellström, Fredrik, et al.
Veröffentlicht: (2023)