Buchumschlag

An Information Theory of Compute-Optimal Size Scaling, Emergence, and Plateaus in Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Nayak, Anuj K., Varshney, Lav R.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Information Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Reliable Quantum Memories with Unreliable Components
von: Nayak, Anuj K., et al.
Veröffentlicht: (2024)

Semantic Compression with Information Lattice Learning
von: Yu, Haizi, et al.
Veröffentlicht: (2024)

Compute-Update Federated Learning: A Lattice Coding Approach Over-the-Air
von: Azimi-Abarghouyi, Seyed Mohammad, et al.
Veröffentlicht: (2024)

A Theory of Inference Compute Scaling: Reasoning through Directed Stochastic Skill Search
von: Ellis-Mohr, Austin R., et al.
Veröffentlicht: (2025)

Optimal Guarantees for Auditing Rényi Differentially Private Machine Learning
von: Kim, Benjamin D., et al.
Veröffentlicht: (2026)

On Simultaneous Information and Energy Transmission through Quantum Channels
von: Das, Bishal Kumar, et al.
Veröffentlicht: (2023)

Federated Learning via Lattice Joint Source-Channel Coding
von: Azimi-Abarghouyi, Seyed Mohammad, et al.
Veröffentlicht: (2024)

Iterative Decoding of Stabilizer Codes under Radiation-Induced Correlated Noise
von: Nayak, Anuj K., et al.
Veröffentlicht: (2026)

Energy-Aware Routing to Large Reasoning Models
von: Ellis-Mohr, Austin R., et al.
Veröffentlicht: (2025)

Scalable Multiterminal Key Agreement via Error-Correcting Codes
von: Kim, Benjamin D., et al.
Veröffentlicht: (2025)

Formal Verification of Digital Twins with TLA and Information Leakage Control
von: Huang, Luwen, et al.
Veröffentlicht: (2024)

Skip-It? Theoretical Conditions for Layer Skipping in Vision-Language Models
von: Hartman, Max, et al.
Veröffentlicht: (2025)

Optimal lower bounds for Quantum Learning via Information Theory
von: Hadiashar, Shima Bab, et al.
Veröffentlicht: (2023)

On Optimal Batch Size in Coded Computing
von: Saha, Swapnil, et al.
Veröffentlicht: (2025)

On Low Field Size Constructions of Access-Optimal Convertible Codes
von: Chopra, Saransh, et al.
Veröffentlicht: (2024)

Achievable Rates for Information Extraction from a Strategic Sender
von: Vora, Anuj S., et al.
Veröffentlicht: (2023)

Optimal binary codes from $\mathcal{C}_{D}$-codes over a non-chain ring
von: Yadav, Ankit, et al.
Veröffentlicht: (2025)

On the Optimal Message Size in PIR Under Arbitrary Collusion Patterns
von: Dornadula, Guru S., et al.
Veröffentlicht: (2026)

Universal and Asymptotically Optimal Data and Task Allocation in Distributed Computing
von: Maheri, Javad, et al.
Veröffentlicht: (2026)

On the Optimal Source Key Size of Secure Gradient Coding
von: Zhou, Yang, et al.
Veröffentlicht: (2025)

Order Optimal Task Allocation in Distributed Computing via Interweaved Cliques
von: Maheri, Javad, et al.
Veröffentlicht: (2026)

Efficient List-decoding of Polynomial Ideal Codes with Optimal List Size
von: Ron-Zewi, Noga, et al.
Veröffentlicht: (2024)

Overcoming Barren Plateaus in Variational Quantum Circuits using a Two-Step Least Squares Approach
von: Boabang, Francis, et al.
Veröffentlicht: (2026)

On the Euclidean duals of the cyclic codes generated via cyclotomic polynomials
von: Bhagat, Anuj Kumar, et al.
Veröffentlicht: (2026)

Distributed Compression for Computation and Bounds on the Optimal Rate
von: Salehi, Mohammad Reza Deylam, et al.
Veröffentlicht: (2025)

On the Optimality of Coded Distributed Computing for Ring Networks
von: Huang, Zhenhao, et al.
Veröffentlicht: (2025)

General Information Theory: Time and Information
von: Liu, Yilun, et al.
Veröffentlicht: (2019)

Electromagnetic Signal and Information Theory -- Electromagnetically Consistent Communication Models for the Transmission and Processing of Information
von: Di Renzo, Marco, et al.
Veröffentlicht: (2023)

An Exact Theory of Causal Emergence for Linear Stochastic Iteration Systems
von: Liu, Kaiwei, et al.
Veröffentlicht: (2024)

Optimal Service Placement, Request Routing and CPU Sizing in Cooperative Mobile Edge Computing Networks for Delay-Sensitive Applications
von: Omidvar, Naeimeh, et al.
Veröffentlicht: (2024)

Taming Barren Plateaus in Arbitrary Parameterized Quantum Circuits without Sacrificing Expressibility
von: Chen, Zhenyu, et al.
Veröffentlicht: (2025)

Finite-Blocklength Information Theory
von: Gao, Junyuan, et al.
Veröffentlicht: (2025)

Optimal Computational Secret Sharing
von: Aureliano, Igor L., et al.
Veröffentlicht: (2025)

A Revisit to Rate-distortion Theory via Optimal Weak Transport
von: Zou, Jiayang, et al.
Veröffentlicht: (2025)

Scale-Sensitive Shattering: Learnability and Evaluability at Optimal Scale
von: Aiyer, Shashaank, et al.
Veröffentlicht: (2026)

Impact of the Cybernetic Law of Requisite Variety on a Theory of Information Science.
von: Heilprin, Laurence B.
Veröffentlicht: (1973)

Subfield codes of $C_D$-codes over $\mathbb{F}_2[x]/\langle x^3-x \rangle$ are really nice!
von: Bhagat, Anuj Kumar, et al.
Veröffentlicht: (2024)

Row-Column Twisted Reed-Solomon codes
von: Bhagat, Anuj Kumar, et al.
Veröffentlicht: (2025)

Engineering Emergence
von: Jansma, Abel, et al.
Veröffentlicht: (2025)

Covert Multi-bit LLM Watermarking: An Information Theory and Coding Approach
von: Guo, Sidong, et al.
Veröffentlicht: (2026)