Buchumschlag

On the Limits of Self-Improving in Large Language Models: The Singularity Is Not Near Without Symbolic Model Synthesis

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Zenil, Hector
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Information Theory Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Neural Networks Learn Generic Multi-Index Models Near Information-Theoretic Limit
von: Zhang, Bohan, et al.
Veröffentlicht: (2025)

PROPS: Progressively Private Self-alignment of Large Language Models
von: Teku, Noel, et al.
Veröffentlicht: (2025)

Large Language Models for Telecom: Forthcoming Impact on the Industry
von: Maatouk, Ali, et al.
Veröffentlicht: (2023)

WDMoE: Wireless Distributed Large Language Models with Mixture of Experts
von: Xue, Nan, et al.
Veröffentlicht: (2024)

Tele-LLMs: A Series of Specialized Large Language Models for Telecommunications
von: Maatouk, Ali, et al.
Veröffentlicht: (2024)

ISR: Invertible Symbolic Regression
von: Tohme, Tony, et al.
Veröffentlicht: (2024)

The Information of Large Language Model Geometry
von: Tan, Zhiquan, et al.
Veröffentlicht: (2024)

General Information Metrics for Improving AI Model Training Efficiency
von: Xu, Jianfeng, et al.
Veröffentlicht: (2025)

Curvature-Weighted Capacity Allocation: A Minimum Description Length Framework for Layer-Adaptive Large Language Model Optimization
von: Amaefuna, Theophilus, et al.
Veröffentlicht: (2026)

Diffusion Model-Based Data Synthesis Aided Federated Semi-Supervised Learning
von: Wang, Zhongwei, et al.
Veröffentlicht: (2025)

Confidence-Based Decoding is Provably Efficient for Diffusion Language Models
von: Cai, Changxiao, et al.
Veröffentlicht: (2026)

A Survey on Large Language Models from Concept to Implementation
von: Wang, Chen, et al.
Veröffentlicht: (2024)

Beyond Rebalancing: Benchmarking Binary Classifiers Under Class Imbalance Without Rebalancing Techniques
von: Nawaz, Ali, et al.
Veröffentlicht: (2025)

Thermodynamic Limits of Physical Intelligence
von: Takahashi, Koichi, et al.
Veröffentlicht: (2026)

Know Your Limits: Entropy Estimation Modeling for Compression and Generalization
von: Badger, Benjamin L., et al.
Veröffentlicht: (2025)

Semantic Text Transmission via Prediction with Small Language Models: Cost-Similarity Trade-off
von: Madhabhavi, Bhavani A, et al.
Veröffentlicht: (2024)

MESSY Estimation: Maximum-Entropy based Stochastic and Symbolic densitY Estimation
von: Tohme, Tony, et al.
Veröffentlicht: (2023)

An Optimal, Universal and Agnostic Decoding Method for Message Reconstruction, Bio and Technosignature Detection
von: Zenil, Hector, et al.
Veröffentlicht: (2023)

Polynomial Context-Truncation Sensitivity in Autoregressive Language Models: Sequential Wyner-Ziv Bounds for KV Cache Compression
von: Kim, Munsik
Veröffentlicht: (2026)

Diff-eRank: A Novel Rank-Based Metric for Evaluating Large Language Models
von: Wei, Lai, et al.
Veröffentlicht: (2024)

Language Modeling Is Compression
von: Delétang, Grégoire, et al.
Veröffentlicht: (2023)

Can Complexity and Uncomputability Explain Intelligence? SuperARC: A Test for Artificial Super Intelligence Based on Recursive Compression
von: Hernández-Espinosa, Alberto, et al.
Veröffentlicht: (2025)

Diffusion Models for Wireless Communications
von: Letafati, Mehdi, et al.
Veröffentlicht: (2023)

Beyond the Loss Curve: Scaling Laws, Active Learning, and the Limits of Learning from Exact Posteriors
von: Khorasani, Arian, et al.
Veröffentlicht: (2026)

An Information-Theoretic Criterion for Efficient Data Synthesis
von: Li, Hanyu, et al.
Veröffentlicht: (2026)

Why Self-Supervised Encoders Want to Be Normal
von: Domb, Yuval
Veröffentlicht: (2026)

A Simple Model of Inference Scaling Laws
von: Levi, Noam
Veröffentlicht: (2024)

A Wireless Foundation Model for Multi-Task Prediction
von: Sheng, Yucheng, et al.
Veröffentlicht: (2025)

MARS: Margin and Semantic-Aware Data Augmentation for Reward Modeling
von: Bhattacharjee, Payel, et al.
Veröffentlicht: (2026)

Neural Estimation of Pairwise Mutual Information in Masked Discrete Sequence Models
von: Sharma, Jai, et al.
Veröffentlicht: (2026)

In-Context Learning for MIMO Equalization Using Transformer-Based Sequence Models
von: Zecchin, Matteo, et al.
Veröffentlicht: (2023)

IBB Traffic Graph Data: Benchmarking and Road Traffic Prediction Model
von: Olug, Eren, et al.
Veröffentlicht: (2024)

LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws
von: Ouyang, Xu, et al.
Veröffentlicht: (2026)

Conditional Denoising Diffusion Probabilistic Models for Data Reconstruction Enhancement in Wireless Communications
von: Letafati, Mehdi, et al.
Veröffentlicht: (2023)

Learning Unknown Intervention Targets in Structural Causal Models from Heterogeneous Data
von: Yang, Yuqin, et al.
Veröffentlicht: (2023)

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models
von: Mirzadeh, Iman, et al.
Veröffentlicht: (2024)

Geometric Signatures of Compositionality Across a Language Model's Lifetime
von: Lee, Jin Hwa, et al.
Veröffentlicht: (2024)

WDMoE: Wireless Distributed Mixture of Experts for Large Language Models
von: Xue, Nan, et al.
Veröffentlicht: (2024)

MambaJSCC: Adaptive Deep Joint Source-Channel Coding with Generalized State Space Model
von: Wu, Tong, et al.
Veröffentlicht: (2024)

Generative Model-Aided Continual Learning for CSI Feedback in FDD mMIMO-OFDM Systems
von: Liu, Guijun, et al.
Veröffentlicht: (2025)