Copertina

Memory Complexity of Estimating Entropy and Mutual Information

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Berg, Tomer, Ordentlich, Or, Shayevitz, Ofer
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Information Theory
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Statistical Inference with Limited Memory: A Survey
di: Berg, Tomer, et al.
Pubblicazione: (2023)

Lower Bounds on Mutual Information for Linear Codes Transmitted over Binary Input Channels, and for Information Combining
di: Erez, Uri, et al.
Pubblicazione: (2024)

Planted Bipartite Graph Detection
di: Rotenberg, Asaf, et al.
Pubblicazione: (2023)

Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression
di: Ioushua, Shahar Stein, et al.
Pubblicazione: (2023)

The Voronoi Spherical CDF for Lattices and Linear Codes: New Bounds for Quantization and Coding
di: Ordentlich, Or
Pubblicazione: (2025)

High-Rate Nested-Lattice Quantized Matrix Multiplication with Small Lookup Tables
di: Kaplan, Iris, et al.
Pubblicazione: (2025)

A Neural Difference-of-Entropies Estimator for Mutual Information
di: Ni, Haoran, et al.
Pubblicazione: (2025)

High-Rate Quantized Matrix Multiplication I
di: Ordentlich, Or, et al.
Pubblicazione: (2026)

The strong data processing inequality under the heat flow
di: Klartag, Bo'az, et al.
Pubblicazione: (2024)

High-Rate Quantized Matrix Multiplication II
di: Ordentlich, Or, et al.
Pubblicazione: (2026)

Generalizing Geometric Partition Entropy for the Estimation of Mutual Information in the Presence of Informative Outliers
di: Diggans, C. Tyler, et al.
Pubblicazione: (2024)

Nearest-Neighbours Estimators for Conditional Mutual Information
di: Witter, Jake, et al.
Pubblicazione: (2024)

Mutual Information Multinomial Estimation
di: Chen, Yanzhi, et al.
Pubblicazione: (2024)

Price of universality in vector quantization is at most 0.11 bit
di: Harbuzova, Alina, et al.
Pubblicazione: (2026)

Optimal Quantization for Matrix Multiplication
di: Ordentlich, Or, et al.
Pubblicazione: (2024)

Ribbons from Independence Structure: Hypercontractivity, $Φ$-Mutual Information, and Matrix $Φ$-Entropy
di: Wang, Chenyu, et al.
Pubblicazione: (2026)

Mutual Information Estimation via Normalizing Flows
di: Butakov, Ivan, et al.
Pubblicazione: (2024)

Optimal Online Bookmaking for Binary Games
di: Bhatt, Alankrita, et al.
Pubblicazione: (2025)

Parameter Estimation of Mutual Information Maximized Channels
di: Tavakoli, Hassan, et al.
Pubblicazione: (2026)

On the Properties and Estimation of Pointwise Mutual Information Profiles
di: Czyż, Paweł, et al.
Pubblicazione: (2023)

WaterSIC: information-theoretically (near) optimal linear layer quantization
di: Lifar, Egor, et al.
Pubblicazione: (2026)

Estimating Conditional Mutual Information for Dynamic Feature Selection
di: Gadgil, Soham, et al.
Pubblicazione: (2023)

MIST: Mutual Information Estimation Via Supervised Training
di: Gritsai, German, et al.
Pubblicazione: (2025)

Cross Mutual Information
di: Gohil, Chetan, et al.
Pubblicazione: (2025)

Estimation and Confidence Intervals for Mutual Information: Issues in Convergence for Non-Normal Distributions
di: Grigorenko, Theo, et al.
Pubblicazione: (2024)

InfoNet: Neural Estimation of Mutual Information without Test-Time Optimization
di: Hu, Zhengyang, et al.
Pubblicazione: (2024)

Maximum Achievable Rate of Resistive Random-Access Memory Channels by Mutual Information Spectrum Analysis
di: Song, Guanghui, et al.
Pubblicazione: (2024)

Contrastive Predictive Coding Done Right for Mutual Information Estimation
di: Ryu, J. Jon, et al.
Pubblicazione: (2025)

Mutual Information Estimation via Score-to-Fisher Bridge for Nonlinear Gaussian Noise Channels
di: Wadayama, Tadashi
Pubblicazione: (2025)

On Local Mutual-Information Privacy
di: Ngo, Khac-Hoang, et al.
Pubblicazione: (2024)

Progress on the Courtade-Kumar Conjecture: Optimal High-Noise Entropy Bounds and Generalized Coordinate-wise Mutual Information
di: Javanmard, Adel, et al.
Pubblicazione: (2026)

NestQuant: Nested Lattice Quantization for Matrix Products and LLMs
di: Savkin, Semyon, et al.
Pubblicazione: (2025)

$α$-Mutual Information for the Gaussian Noise Channel
di: Milanian, Mohammad, et al.
Pubblicazione: (2026)

Mutual Information Estimation via $f$-Divergence and Data Derangements
di: Letizia, Nunzio A., et al.
Pubblicazione: (2023)

Vendi Information Gain: An Alternative To Mutual Information For Science And Machine Learning
di: Nguyen, Quan, et al.
Pubblicazione: (2025)

$α$-leakage by Rényi Divergence and Sibson Mutual Information
di: Ding, Ni, et al.
Pubblicazione: (2024)

Convexity of Mutual Information along the Fokker-Planck Flow
di: Zou, Jiayang, et al.
Pubblicazione: (2025)

A Generalized Leakage Interpretation of Alpha-Mutual Information
di: Kamatsuka, Akira, et al.
Pubblicazione: (2026)

Learning to Bid Optimally and Efficiently in Adversarial First-price Auctions
di: Han, Yanjun, et al.
Pubblicazione: (2020)

Neural Estimation of Pairwise Mutual Information in Masked Discrete Sequence Models
di: Sharma, Jai, et al.
Pubblicazione: (2026)