Buchumschlag

Neural Estimation of Pairwise Mutual Information in Masked Discrete Sequence Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sharma, Jai, Wang, Yifan, Li, Bryan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence Information Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Estimating Mutual Information between Time Series and Temporal Event Sequences Across Diverse Analysis Tasks
von: Hu, Haoji, et al.
Veröffentlicht: (2026)

Route Experts by Sequence, not by Token
von: Wen, Tiansheng, et al.
Veröffentlicht: (2025)

On the Exponential Convergence for Offline RLHF with Pairwise Comparisons
von: Chen, Zhirui, et al.
Veröffentlicht: (2024)

Trust Region Masking for Long-Horizon LLM Reinforcement Learning
von: Li, Yingru, et al.
Veröffentlicht: (2025)

Does Privacy Always Harm Fairness? Data-Dependent Trade-offs via Chernoff Information Neural Estimation
von: Nichani, Arjun, et al.
Veröffentlicht: (2026)

Normalized Conditional Mutual Information Surrogate Loss for Deep Neural Classifiers
von: Ye, Linfeng, et al.
Veröffentlicht: (2026)

MIFair: A Mutual-Information Framework for Intersectionality and Multiclass Fairness
von: Monnier, Jeanne, et al.
Veröffentlicht: (2026)

A General Deep Learning Framework for Wireless Resource Allocation under Discrete Constraints
von: Wang, Yikun, et al.
Veröffentlicht: (2026)

Neural Networks Learn Generic Multi-Index Models Near Information-Theoretic Limit
von: Zhang, Bohan, et al.
Veröffentlicht: (2025)

End-to-End Learning of Geometrical Shaping Maximizing Generalized Mutual Information
von: Gümüs, Kadir, et al.
Veröffentlicht: (2019)

In-Context Learning for MIMO Equalization Using Transformer-Based Sequence Models
von: Zecchin, Matteo, et al.
Veröffentlicht: (2023)

A Neural Difference-of-Entropies Estimator for Mutual Information
von: Ni, Haoran, et al.
Veröffentlicht: (2025)

Mutual Information Multinomial Estimation
von: Chen, Yanzhi, et al.
Veröffentlicht: (2024)

General Information Metrics for Improving AI Model Training Efficiency
von: Xu, Jianfeng, et al.
Veröffentlicht: (2025)

Toward Optimal ANC: Establishing Mutual Information Lower Bound
von: Derrida, François, et al.
Veröffentlicht: (2025)

Compressing Chemistry Reveals Functional Groups
von: Sharma, Ruben, et al.
Veröffentlicht: (2025)

An Effective Information Theoretic Framework for Channel Pruning
von: Chen, Yihao, et al.
Veröffentlicht: (2024)

An Information-Theoretic Criterion for Efficient Data Synthesis
von: Li, Hanyu, et al.
Veröffentlicht: (2026)

Interpretable Diffusion via Information Decomposition
von: Kong, Xianghao, et al.
Veröffentlicht: (2023)

CSRv2: Unlocking Ultra-Sparse Embeddings
von: Guo, Lixuan, et al.
Veröffentlicht: (2026)

Neural Polar Decoders for Deletion Channels
von: Aharoni, Ziv, et al.
Veröffentlicht: (2025)

Tackling Federated Unlearning as a Parameter Estimation Problem
von: Balordi, Antonio, et al.
Veröffentlicht: (2025)

An Information Criterion for Controlled Disentanglement of Multimodal Data
von: Wang, Chenyu, et al.
Veröffentlicht: (2024)

A Rational Account of Categorization Based on Information Theory
von: MacLellan, Christopher J., et al.
Veröffentlicht: (2026)

MESSY Estimation: Maximum-Entropy based Stochastic and Symbolic densitY Estimation
von: Tohme, Tony, et al.
Veröffentlicht: (2023)

GeoIB: Geometry-Aware Information Bottleneck via Statistical-Manifold Compression
von: Wang, Weiqi, et al.
Veröffentlicht: (2026)

Neural Beam Field for Spatial Beam RSRP Prediction
von: Guo, Keqiang, et al.
Veröffentlicht: (2025)

Learning in Convolutional Neural Networks Accelerated by Transfer Entropy
von: Moldovan, Adrian, et al.
Veröffentlicht: (2024)

A Wireless Foundation Model for Multi-Task Prediction
von: Sheng, Yucheng, et al.
Veröffentlicht: (2025)

Laplace Sample Information: Data Informativeness Through a Bayesian Lens
von: Kaiser, Johannes, et al.
Veröffentlicht: (2025)

The Information of Large Language Model Geometry
von: Tan, Zhiquan, et al.
Veröffentlicht: (2024)

Lost and Found in Translation: Variational Diagnostics for Neural Codebook Channels
von: Hayashi, Yusuke
Veröffentlicht: (2026)

AlphaZip: Neural Network-Enhanced Lossless Text Compression
von: Narashiman, Swathi Shree, et al.
Veröffentlicht: (2024)

Can Kernel Methods Explain How the Data Affects Neural Collapse?
von: Kothapalli, Vignesh, et al.
Veröffentlicht: (2024)

Interpretability as Compression: Reconsidering SAE Explanations of Neural Activations with MDL-SAEs
von: Ayonrinde, Kola, et al.
Veröffentlicht: (2024)

Confidence-Based Decoding is Provably Efficient for Diffusion Language Models
von: Cai, Changxiao, et al.
Veröffentlicht: (2026)

Generalization and Informativeness of Conformal Prediction
von: Zecchin, Matteo, et al.
Veröffentlicht: (2024)

Learning During Detection: Continual Learning for Neural OFDM Receivers via DMRS
von: Obeed, Mohanad, et al.
Veröffentlicht: (2026)

Enhancing Explainability of Graph Neural Networks Through Conceptual and Structural Analyses and Their Extensions
von: Bui, Tien Cuong
Veröffentlicht: (2025)

Mutual Information Estimation via Normalizing Flows
von: Butakov, Ivan, et al.
Veröffentlicht: (2024)