Buchumschlag

Critical Phase Transition in Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Nakaishi, Kai, Nishikawa, Yoshihiko, Hukushima, Koji
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Disordered Systems and Neural Networks Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Statistical properties of probabilistic context-sensitive grammars
von: Nakaishi, Kai, et al.
Veröffentlicht: (2024)

Phase Transitions in a Modified Ising Spin Glass Model: A Tensor-Network-based Sampling Approach
von: Oshima, Takumi, et al.
Veröffentlicht: (2026)

Statistical Mechanics of Min-Max Problems
von: Ichikawa, Yuma, et al.
Veröffentlicht: (2024)

Effect of global shrinkage parameter of horseshoe prior in compressed sensing
von: Nagano, Yasushi, et al.
Veröffentlicht: (2023)

Damage spreading and coupling in spin glasses and hard spheres
von: Hukushima, Koji, et al.
Veröffentlicht: (2024)

Ratio Divergence Learning Using Target Energy in Restricted Boltzmann Machines: Beyond Kullback--Leibler Divergence Learning
von: Ishida, Yuichi, et al.
Veröffentlicht: (2024)

Grokking as a First Order Phase Transition in Two Layer Networks
von: Rubin, Noa, et al.
Veröffentlicht: (2023)

Geometric Entropy and Retrieval Phase Transitions in Continuous Thermal Dense Associative Memory
von: Petrova, Tatiana, et al.
Veröffentlicht: (2026)

Optimal Spectral Transitions in High-Dimensional Multi-Index Models
von: Defilippis, Leonardo, et al.
Veröffentlicht: (2025)

Theory of Speciation Transitions in Diffusion Models with General Class Structure
von: Achilli, Beatrice, et al.
Veröffentlicht: (2026)

Tensor-Network Population Annealing
von: Oshima, Takumi, et al.
Veröffentlicht: (2026)

A Generative Diffusion Model for Amorphous Materials
von: Yang, Kai, et al.
Veröffentlicht: (2025)

Siamese Neural Network for Label-Efficient Critical Phenomena Prediction in 3D Percolation Models
von: Wang, Shanshan, et al.
Veröffentlicht: (2025)

Grokking as the Transition from Lazy to Rich Training Dynamics
von: Kumar, Tanishq, et al.
Veröffentlicht: (2023)

Proof of avoidability of the quantum first-order transition in transverse magnetization in quantum annealing of finite-dimensional spin glasses
von: Yamaguchi, Mizuki, et al.
Veröffentlicht: (2023)

Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks
von: Tamai, Keiichi, et al.
Veröffentlicht: (2023)

Rare Event Analysis of Large Language Models
von: Dorman, Jake McAllister, et al.
Veröffentlicht: (2026)

Phases and Phase Transitions of the Disordered Quantum Clock Model
von: Kuttanikkad, Vishnu Pulloor, et al.
Veröffentlicht: (2024)

Dynamical Decoupling of Generalization and Overfitting in Large Two-Layer Networks
von: Montanari, Andrea, et al.
Veröffentlicht: (2025)

Berezinskii-Kosterlitz-Thouless Transition and Multifractal Critical Phase in Two-Dimensional Quantum Percolation
von: Oliveira, W. S., et al.
Veröffentlicht: (2025)

From Classical to Quantum: Extending Prometheus for Unsupervised Discovery of Phase Transitions in Three Dimensions and Quantum Systems
von: Yee, Brandon, et al.
Veröffentlicht: (2026)

Collective relaxation dynamics in a three-dimensional lattice glass model
von: Nishikawa, Yoshihiko, et al.
Veröffentlicht: (2023)

Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures
von: Cagnetta, Francesco, et al.
Veröffentlicht: (2025)

The Quantization Model of Neural Scaling
von: Michaud, Eric J., et al.
Veröffentlicht: (2023)

Dynamical Regimes of Multimodal Diffusion Models
von: Albrychiewicz, Emil, et al.
Veröffentlicht: (2026)

A Dynamical Model of Neural Scaling Laws
von: Bordelon, Blake, et al.
Veröffentlicht: (2024)

Emergence of Distortions in High-Dimensional Guided Diffusion Models
von: Ventura, Enrico, et al.
Veröffentlicht: (2026)

Soft Quantization: Model Compression Via Weight Coupling
von: Bernstein, Daniel T., et al.
Veröffentlicht: (2026)

Spectral Phase Transition and Optimal PCA in Block-Structured Spiked models
von: Mergny, Pierre, et al.
Veröffentlicht: (2024)

Probing the Latent Hierarchical Structure of Data via Diffusion Models
von: Sclocchi, Antonio, et al.
Veröffentlicht: (2024)

The Interplay of Data Structure and Imbalance in the Learning Dynamics of Diffusion Models
von: Nicoletti, Flavio, et al.
Veröffentlicht: (2026)

The Rules-and-Facts Model for Simultaneous Generalization and Memorization in Neural Networks
von: Farné, Gabriele, et al.
Veröffentlicht: (2026)

The Effect of Optimal Self-Distillation in Noisy Gaussian Mixture Model
von: Takanami, Kaito, et al.
Veröffentlicht: (2025)

Training Dynamics of Nonlinear Contrastive Learning Model in the High Dimensional Limit
von: Meng, Lineghuan, et al.
Veröffentlicht: (2024)

Class Imbalance in Anomaly Detection: Learning from an Exactly Solvable Model
von: Pezzicoli, F. S., et al.
Veröffentlicht: (2025)

Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models
von: Atanasov, Alexander, et al.
Veröffentlicht: (2025)

EB-RANSAC: Random Sample Consensus based on Energy-Based Model
von: Yasuda, Muneki, et al.
Veröffentlicht: (2026)

A High Dimensional Statistical Model for Adversarial Training: Geometry and Trade-Offs
von: Tanner, Kasimir, et al.
Veröffentlicht: (2024)

Modeling Structured Data Learning with Restricted Boltzmann Machines in the Teacher-Student Setting
von: Thériault, Robin, et al.
Veröffentlicht: (2024)

Small Singular Values Matter: A Random Matrix Analysis of Transformer Models
von: Staats, Max, et al.
Veröffentlicht: (2024)