High-dimensional Asymptotics of VAEs: Threshold of Posterior Collapse and Dataset-Size Dependence of Rate-Distortion Curve

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ichikawa, Yuma, Hukushima, Koji
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Statistical Mechanics of Min-Max Problems
von: Ichikawa, Yuma, et al.
Veröffentlicht: (2024)

Ratio Divergence Learning Using Target Energy in Restricted Boltzmann Machines: Beyond Kullback--Leibler Divergence Learning
von: Ishida, Yuichi, et al.
Veröffentlicht: (2024)

Toward Architecture-Agnostic Local Control of Posterior Collapse in VAEs
von: Song, Hyunsoo, et al.
Veröffentlicht: (2025)

Adaptive Flip Graph Algorithm for Matrix Multiplication
von: Arai, Yamato, et al.
Veröffentlicht: (2023)

Tensor-Network Population Annealing
von: Oshima, Takumi, et al.
Veröffentlicht: (2026)

Controlling Continuous Relaxation for Combinatorial Optimization
von: Ichikawa, Yuma
Veröffentlicht: (2023)

Training-Free Time-Series Anomaly Detection: Leveraging Image Foundation Models
von: Namura, Nobuo, et al.
Veröffentlicht: (2024)

Mutual Information Collapse Explains Disentanglement Failure in $β$-VAEs
von: Vu, Minh, et al.
Veröffentlicht: (2026)

Continuous First, Discrete Later: VQ-VAEs Without Dimensional Collapse
von: Zhao, Xinyu, et al.
Veröffentlicht: (2026)

Quantization Error Propagation: Revisiting Layer-Wise Post-Training Quantization
von: Arai, Yamato, et al.
Veröffentlicht: (2025)

Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling
von: Ichikawa, Yuma, et al.
Veröffentlicht: (2024)

Continuous Parallel Relaxation for Finding Diverse Solutions in Combinatorial Optimization Problems
von: Ichikawa, Yuma, et al.
Veröffentlicht: (2024)

Critical Phase Transition in Large Language Models
von: Nakaishi, Kai, et al.
Veröffentlicht: (2024)

A Testable Certificate for Constant Collapse in Teacher-Guided VAEs
von: Zhang, Zegu, et al.
Veröffentlicht: (2026)

Beyond Diagonal Covariance: Flexible Posterior VAEs via Free-Form Injective Flows
von: Sorrenson, Peter, et al.
Veröffentlicht: (2025)

High-Dimensional Learning Dynamics of Quantized Models with Straight-Through Estimator
von: Ichikawa, Yuma, et al.
Veröffentlicht: (2025)

Sign Lock-In: Randomly Initialized Weight Signs Persist and Bottleneck Sub-Bit Model Compression
von: Sakai, Akira, et al.
Veröffentlicht: (2026)

Semantic Rate Distortion and Posterior Design: Compute Constraints, Multimodality, and Strategic Inference
von: Akyol, Emrah
Veröffentlicht: (2026)

LPCD: Unified Framework from Layer-Wise to Submodule Quantization
von: Ichikawa, Yuma, et al.
Veröffentlicht: (2025)

Prior Learning in Introspective VAEs
von: Athanasiadis, Ioannis, et al.
Veröffentlicht: (2024)

Posterior Collapse as Automatic Spectral Pruning
von: Hirn, Johannes
Veröffentlicht: (2026)

Posterior Collapse as a Phase Transition in Variational Autoencoders
von: Li, Zhen, et al.
Veröffentlicht: (2025)

A Constrained BA Algorithm for Rate-Distortion and Distortion-Rate Functions
von: Chen, Lingyi, et al.
Veröffentlicht: (2023)

Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network
von: Kinoshita, Yuri, et al.
Veröffentlicht: (2023)

Improving the Generation of VAEs with High Dimensional Latent Spaces by the use of Hyperspherical Coordinates
von: Ascarate, Alejandro, et al.
Veröffentlicht: (2025)

The Rate-Distortion-Polysemanticity Tradeoff in SAEs
von: Mencattini, Tommaso, et al.
Veröffentlicht: (2026)

Deep Generative Clustering with VAEs and Expectation-Maximization
von: Adipoetra, Michael, et al.
Veröffentlicht: (2025)

Symmetric Equilibrium Learning of VAEs
von: Flach, Boris, et al.
Veröffentlicht: (2023)

Posterior Inference with Diffusion Models for High-dimensional Black-box Optimization
von: Yun, Taeyoung, et al.
Veröffentlicht: (2025)

Manifold Learning by Mixture Models of VAEs for Inverse Problems
von: Alberti, Giovanni S., et al.
Veröffentlicht: (2023)

Neural Collapse Dynamics: Depth, Activation, Regularisation, and Feature Norm Threshold
von: Rupa, Anamika Paul
Veröffentlicht: (2026)

Sharp Rates in Dependent Learning Theory: Avoiding Sample Size Deflation for the Square Loss
von: Ziemann, Ingvar, et al.
Veröffentlicht: (2024)

Variational Inference: Posterior Threshold Improves Network Clustering Accuracy in Sparse Regimes
von: Li, Xuezhen, et al.
Veröffentlicht: (2023)

Signs Beat Floats: Low-Rank Double-Binary Adaptation for On-Device Fine-Tuning
von: Fujisawa, Yoshihiko, et al.
Veröffentlicht: (2026)

Rate-Distortion Optimization for Transformer Inference
von: de Andrade, Anderson, et al.
Veröffentlicht: (2026)

Adversarial Robustness of VAEs across Intersectional Subgroups
von: Ramanaik, Chethan Krishnamurthy, et al.
Veröffentlicht: (2024)

Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders
von: Dang, Hien, et al.
Veröffentlicht: (2023)

Robust VAEs via Generating Process of Noise Augmented Data
von: Irobe, Hiroo, et al.
Veröffentlicht: (2024)

An Efficient Algorithm for Thresholding Monte Carlo Tree Search
von: Nameki, Shoma, et al.
Veröffentlicht: (2026)

Training VAEs Under Structured Residuals
von: Dorta, Gara, et al.
Veröffentlicht: (2018)