Buchumschlag

Improved Information Theoretic Generalization Bounds for Distributed and Federated Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Barnes, L. P., Dytso, Alex, Poor, H. V.
Format:	Preprint
Veröffentlicht:	2022
Schlagworte:	Information Theory Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

$L^1$ Estimation: On the Optimality of Linear Estimators
von: Barnes, Leighton P., et al.
Veröffentlicht: (2023)

Linearity-Inducing Priors for Poisson Parameter Estimation Under $L^{1}$ Loss
von: Barnes, Leighton P., et al.
Veröffentlicht: (2025)

Multivariate Priors and the Linearity of Optimal Bayesian Estimators under Gaussian Noise
von: Barnes, Leighton P., et al.
Veröffentlicht: (2024)

Data-Driven Estimation of the False Positive Rate of the Bayes Binary Classifier via Soft Labels
von: Jeong, Minoh, et al.
Veröffentlicht: (2024)

Information-Theoretic Generalization Bounds for Deep Neural Networks
von: He, Haiyun, et al.
Veröffentlicht: (2024)

On the Generalization for Transfer Learning: An Information-Theoretic Analysis
von: Wu, Xuetong, et al.
Veröffentlicht: (2022)

Functional Properties of the Focal-Entropy
von: Shah, Jaimin, et al.
Veröffentlicht: (2026)

An Improved Lower Bound on Cardinality of Support of the Amplitude-Constrained AWGN Channel
von: Wang, Haiyang, et al.
Veröffentlicht: (2025)

Information-Theoretic Minimax Regret Bounds for Reinforcement Learning based on Duality
von: Bongole, Raghav, et al.
Veröffentlicht: (2024)

Improved Bounds on the Number of Support Points of the Capacity-Achieving Input for Amplitude Constrained Poisson Channels
von: Barletta, Luca, et al.
Veröffentlicht: (2024)

An Improved Lower Bound on Support Size of Capacity-Achieving Inputs for the Binomial Channel: Extended version
von: Baniasadi, Mohammadamin, et al.
Veröffentlicht: (2026)

An Elementary Approach to Scheduling in Generative Diffusion Models
von: Sun, Qiang, et al.
Veröffentlicht: (2026)

Tighter Information-Theoretic Generalization Bounds via a Novel Class of Change of Measure Inequalities
von: Liu, Yanxiao, et al.
Veröffentlicht: (2026)

Binomial Channel: On the Capacity-Achieving Distribution and Bounds on the Capacity
von: Zieder, Ian, et al.
Veröffentlicht: (2024)

Learning Algorithm Generalization Error Bounds via Auxiliary Distributions
von: Aminian, Gholamali, et al.
Veröffentlicht: (2022)

An Information-Theoretic Framework for Out-of-Distribution Generalization with Applications to Stochastic Gradient Langevin Dynamics
von: Liu, Wenliang, et al.
Veröffentlicht: (2024)

Adaptive Federated Learning Over the Air
von: Wang, Chenhao, et al.
Veröffentlicht: (2024)

Fast Rate Information-theoretic Bounds on Generalization Errors
von: Wu, Xuetong, et al.
Veröffentlicht: (2023)

Semi-Supervised Learning with Noisy Proxy Covariates: Generalization Bounds and Distribution Regression
von: Kim, Kwangho, et al.
Veröffentlicht: (2026)

Uniform Distribution on $(n-1)$-Sphere: Rate-Distortion under Squared Error Distortion
von: Dytso, Alex, et al.
Veröffentlicht: (2024)

A Memory-Based Reinforcement Learning Approach to Integrated Sensing and Communication
von: Nikbakht, Homa, et al.
Veröffentlicht: (2024)

Information Theoretic Perspective on Representation Learning
von: Pereg, Deborah, et al.
Veröffentlicht: (2026)

An Information-Theoretic Analysis of In-Context Learning
von: Jeon, Hong Jun, et al.
Veröffentlicht: (2024)

On the Generalization of Knowledge Distillation: An Information-Theoretic View
von: Li, Bingying, et al.
Veröffentlicht: (2026)

Generalization in Federated Learning: A Conditional Mutual Information Framework
von: Wang, Ziqiao, et al.
Veröffentlicht: (2025)

Digital versus Analog Transmissions for Federated Learning over Wireless Networks
von: Yao, Jiacheng, et al.
Veröffentlicht: (2024)

Generalization Bounds via Conditional $f$-Information
von: Wang, Ziqiao, et al.
Veröffentlicht: (2024)

An Information Theoretic Perspective on Conformal Prediction
von: Correia, Alvaro H. C., et al.
Veröffentlicht: (2024)

Information-Theoretic Framework for Understanding Modern Machine-Learning
von: Feder, Meir, et al.
Veröffentlicht: (2025)

Information Theoretic Learning for Diffusion Models with Warm Start
von: Shen, Yirong, et al.
Veröffentlicht: (2025)

On Causality in Domain Adaptation and Semi-Supervised Learning: an Information-Theoretic Analysis for Parametric Models
von: Wu, Xuetong, et al.
Veröffentlicht: (2022)

Decentralized Federated Learning Over Imperfect Communication Channels
von: Li, Weicai, et al.
Veröffentlicht: (2024)

Estimation Error: Distribution and Pointwise Limits
von: Barletta, Luca, et al.
Veröffentlicht: (2025)

Information-Theoretic Generative Clustering of Documents
von: Du, Xin, et al.
Veröffentlicht: (2024)

Information-Theoretic Measures on Lattices for High-Order Interactions
von: Liu, Zhaolu, et al.
Veröffentlicht: (2024)

Information-Theoretic Discrete Diffusion
von: Jeon, Moongyu, et al.
Veröffentlicht: (2025)

Bounds on the Excess Minimum Risk via Generalized Information Divergence Measures
von: Omanwar, Ananya, et al.
Veröffentlicht: (2025)

A Comprehensive Study on Ziv-Zakai Lower Bounds on the MMSE
von: Jeong, Minoh, et al.
Veröffentlicht: (2024)

Asymmetry of the Relative Entropy in the Regularization of Empirical Risk Minimization
von: Daunas, Francisco, et al.
Veröffentlicht: (2024)

Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences
von: Daunas, Francisco, et al.
Veröffentlicht: (2024)