:: Library Catalog

Buchumschlag

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tan, Zhiquan, Li, Chenghai, Huang, Weiran
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language Information Theory
Online-Zugang:	https://arxiv.org/abs/2402.03471
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Diff-eRank: A Novel Rank-Based Metric for Evaluating Large Language Models
von: Wei, Lai, et al.
Veröffentlicht: (2024)

A Survey on Large Language Models from Concept to Implementation
von: Wang, Chen, et al.
Veröffentlicht: (2024)

Language Modeling Is Compression
von: Delétang, Grégoire, et al.
Veröffentlicht: (2023)

Geometric Signatures of Compositionality Across a Language Model's Lifetime
von: Lee, Jin Hwa, et al.
Veröffentlicht: (2024)

Graph-based Confidence Calibration for Large Language Models
von: Li, Yukun, et al.
Veröffentlicht: (2024)

An Information Theoretic Perspective on Agentic System Design
von: He, Shizhe, et al.
Veröffentlicht: (2025)

Measuring Uncertainty in Transformer Circuits with Effective Information Consistency
von: Krasnovsky, Anatoly A.
Veröffentlicht: (2025)

Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory
von: Anwar, Usman, et al.
Veröffentlicht: (2026)

The Stepwise Informativeness Assumption: Why are Entropy Dynamics and Reasoning Correlated in LLMs?
von: Català, Mar Gonzàlez I, et al.
Veröffentlicht: (2026)

Understanding Grokking Through A Robustness Viewpoint
von: Tan, Zhiquan, et al.
Veröffentlicht: (2023)

Self-Play Only Evolves When Self-Synthetic Pipeline Ensures Learnable Information Gain
von: Liu, Wei, et al.
Veröffentlicht: (2026)

How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?
von: Garg, Nikhil, et al.
Veröffentlicht: (2026)

Learning is Forgetting: LLM Training As Lossy Compression
von: Conklin, Henry C., et al.
Veröffentlicht: (2026)

Compression Represents Intelligence Linearly
von: Huang, Yuzhen, et al.
Veröffentlicht: (2024)

Know Your Limits: Entropy Estimation Modeling for Compression and Generalization
von: Badger, Benjamin L., et al.
Veröffentlicht: (2025)

The Detection-Extraction Gap: Models Know the Answer Before They Can Say It
von: Wang, Hanyang, et al.
Veröffentlicht: (2026)

On Bilingual Lexicon Induction with Large Language Models
von: Li, Yaoyiran, et al.
Veröffentlicht: (2023)

Language Models Can Reduce Asymmetry in Information Markets
von: Rahaman, Nasim, et al.
Veröffentlicht: (2024)

Visual Language Model based Cross-modal Semantic Communication Systems
von: Jiang, Feibo, et al.
Veröffentlicht: (2024)

Uncertainty-Aware Explainable Recommendation with Large Language Models
von: Peng, Yicui, et al.
Veröffentlicht: (2024)

L$^2$M: Mutual Information Scaling Law for Long-Context Language Modeling
von: Chen, Zhuo, et al.
Veröffentlicht: (2025)

Synthetic Knowledge Ingestion: Towards Knowledge Refinement and Injection for Enhancing Large Language Models
von: Zhang, Jiaxin, et al.
Veröffentlicht: (2024)

Large Language Models are Learnable Planners for Long-Term Recommendation
von: Shi, Wentao, et al.
Veröffentlicht: (2024)

Optimal Quantization for Matrix Multiplication
von: Ordentlich, Or, et al.
Veröffentlicht: (2024)

A Training-free Method for LLM Text Attribution
von: Radvand, Tara, et al.
Veröffentlicht: (2025)

Memorization-Compression Cycles Improve Generalization
von: Yu, Fangyuan
Veröffentlicht: (2025)

SPEX: Scaling Feature Interaction Explanations for LLMs
von: Kang, Justin Singh, et al.
Veröffentlicht: (2025)

A Communication-Theoretic Framework for LLM Agents: Cost-Aware Adaptive Reliability
von: Omidvar, Hamed, et al.
Veröffentlicht: (2026)

Subjective Depth and Timescale Transformers: Learning Where and When to Compute
von: Wieser, Frederico, et al.
Veröffentlicht: (2025)

SQuat: Subspace-orthogonal KV Cache Quantization
von: Wang, Hao, et al.
Veröffentlicht: (2025)

Skip-It? Theoretical Conditions for Layer Skipping in Vision-Language Models
von: Hartman, Max, et al.
Veröffentlicht: (2025)

Graph Machine Learning in the Era of Large Language Models (LLMs)
von: Wang, Shijie, et al.
Veröffentlicht: (2024)

The Factuality of Large Language Models in the Legal Domain
von: Hamdani, Rajaa El, et al.
Veröffentlicht: (2024)

Demystifying and Enhancing the Efficiency of Large Language Model Based Search Agents
von: Yang, Tiannuo, et al.
Veröffentlicht: (2025)

Large Language Model Augmented Exercise Retrieval for Personalized Language Learning
von: Xu, Austin, et al.
Veröffentlicht: (2024)

Can I understand what I create? Self-Knowledge Evaluation of Large Language Models
von: Tan, Zhiquan, et al.
Veröffentlicht: (2024)

Forgetting-MarI: LLM Unlearning via Marginal Information Regularization
von: Xu, Shizhou, et al.
Veröffentlicht: (2025)

ATLAS: Adapter-Based Multi-Modal Continual Learning with a Two-Stage Learning Strategy
von: Li, Hong, et al.
Veröffentlicht: (2024)

OD-Stega: LLM-Based Relatively Secure Steganography via Optimized Distributions
von: Huang, Yu-Shin, et al.
Veröffentlicht: (2024)

Retrieval meets Long Context Large Language Models
von: Xu, Peng, et al.
Veröffentlicht: (2023)