Buchumschlag

Local to Global: Learning Dynamics and Effect of Initialization for Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Makkuva, Ashok Vardhan, Bondaschi, Marco, Ekbote, Chanakya, Girish, Adway, Nagle, Alliot, Kim, Hyeji, Gastpar, Michael
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Information Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models
von: Nagle, Alliot, et al.
Veröffentlicht: (2024)

Attention with Markov: A Framework for Principled Analysis of Transformers via Markov Chains
von: Makkuva, Ashok Vardhan, et al.
Veröffentlicht: (2024)

Transformers on Markov Data: Constant Depth Suffices
von: Rajaraman, Nived, et al.
Veröffentlicht: (2024)

LASER: Linear Compression in Wireless Distributed Optimization
von: Makkuva, Ashok Vardhan, et al.
Veröffentlicht: (2023)

TERMINATOR: Learning Optimal Exit Points for Early Stopping in Chain-of-Thought Reasoning
von: Nagle, Alliot, et al.
Veröffentlicht: (2026)

What One Cannot, Two Can: Two-Layer Transformers Provably Represent Induction Heads on Any-Order Markov Chains
von: Ekbote, Chanakya, et al.
Veröffentlicht: (2025)

From Markov to Laplace: How Mamba In-Context Learns Markov Chains
von: Bondaschi, Marco, et al.
Veröffentlicht: (2025)

Batch Universal Prediction
von: Bondaschi, Marco, et al.
Veröffentlicht: (2024)

The Conditional Regret-Capacity Theorem for Batch Universal Prediction
von: Bondaschi, Marco, et al.
Veröffentlicht: (2025)

Neural Distributed Source Coding
von: Whang, Jay, et al.
Veröffentlicht: (2021)

Alpha-NML Universal Predictors
von: Bondaschi, Marco, et al.
Veröffentlicht: (2022)

Locally Private Parametric Methods for Change-Point Detection
von: Yadav, Anuj Kumar, et al.
Veröffentlicht: (2026)

On entropy-constrained Gaussian channel capacity via the moment problem
von: Girish, Adway, et al.
Veröffentlicht: (2025)

High signal-to-noise ratio asymptotics of entropy-constrained Gaussian channel capacity
von: Girish, Adway, et al.
Veröffentlicht: (2026)

Block-Sample MAC-Bayes Generalization Bounds
von: Frey, Matthias, et al.
Veröffentlicht: (2026)

DeepPolar: Inventing Nonlinear Large-Kernel Polar Codes via Deep Learning
von: Hebbar, S Ashwin, et al.
Veröffentlicht: (2024)

On the suboptimality of linear codes for binary distributed hypothesis testing
von: Girish, Adway, et al.
Veröffentlicht: (2026)

Model non-collapse: Minimax bounds for recursive discrete distribution estimation
von: Kanabar, Millen, et al.
Veröffentlicht: (2025)

Converse for Multi-Server Single-Message PIR with Side Information
von: Li, Su, et al.
Veröffentlicht: (2018)

Shannon Bounds for Quadratic Rate-Distortion Problems
von: Gastpar, Michael, et al.
Veröffentlicht: (2024)

Collaborative Compressors in Distributed Mean Estimation with Limited Communication Budget
von: Vardhan, Harsh, et al.
Veröffentlicht: (2026)

Batch Normalization Decomposed
von: Nachum, Ido, et al.
Veröffentlicht: (2024)

Generating High Dimensional User-Specific Wireless Channels using Diffusion Models
von: Lee, Taekyun, et al.
Veröffentlicht: (2024)

Generalized regenerating codes and node repair on graphs
von: Patra, Adway, et al.
Veröffentlicht: (2024)

Properties of the Strong Data Processing Constant for Rényi Divergence
von: Jin, Lifu, et al.
Veröffentlicht: (2024)

Rank-1 Matrix Completion with Gradient Descent and Small Random Initialization
von: Kim, Daesung, et al.
Veröffentlicht: (2022)

Residual Diffusion Models for Variable-Rate Joint Source Channel Coding of MIMO CSI
von: Ankireddy, Sravan Kumar, et al.
Veröffentlicht: (2025)

Sibson $α$-Mutual Information and Its Variational Representations
von: Esposito, Amedeo Roberto, et al.
Veröffentlicht: (2024)

Contraction of Rényi Divergences for Discrete Channels: Properties and Applications
von: Vandenbroucque, Adrien, et al.
Veröffentlicht: (2026)

Single-Period Portfolio Selection via Information Projection
von: Yang, Bo-Yu, et al.
Veröffentlicht: (2026)

Targeted Clifford logical gates for hypergraph product codes
von: Patra, Adway, et al.
Veröffentlicht: (2024)

LightCode: Light Analytical and Neural Codes for Channels with Feedback
von: Ankireddy, Sravan Kumar, et al.
Veröffentlicht: (2024)

An Algorithm for Streaming Differentially Private Data
von: Kumar, Girish, et al.
Veröffentlicht: (2024)

Simultaneous Computation and Communication over MAC
von: Frey, Matthias, et al.
Veröffentlicht: (2024)

Characterising directed and undirected metrics of high-order interdependence
von: Rosas, Fernando E., et al.
Veröffentlicht: (2024)

Optimal Estimation in Orthogonally Invariant Generalized Linear Models: Spectral Initialization and Approximate Message Passing
von: Zhang, Yihan, et al.
Veröffentlicht: (2026)

Deep Learning and Matrix Completion-aided IoT Network Localization in the Outlier Scenarios
von: Kim, Sunwoo
Veröffentlicht: (2025)

Differentially Private Synthetic High-dimensional Tabular Stream
von: Kumar, Girish, et al.
Veröffentlicht: (2024)

Understanding the Emergence of Multimodal Representation Alignment
von: Tjandrasuwita, Megan, et al.
Veröffentlicht: (2025)

Demystifying Local and Global Fairness Trade-offs in Federated Learning Using Partial Information Decomposition
von: Hamman, Faisal, et al.
Veröffentlicht: (2023)