Buchumschlag

Memorization-Compression Cycles Improve Generalization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Yu, Fangyuan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language Information Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Know Your Limits: Entropy Estimation Modeling for Compression and Generalization
von: Badger, Benjamin L., et al.
Veröffentlicht: (2025)

Language Modeling Is Compression
von: Delétang, Grégoire, et al.
Veröffentlicht: (2023)

Compression Represents Intelligence Linearly
von: Huang, Yuzhen, et al.
Veröffentlicht: (2024)

Learning is Forgetting: LLM Training As Lossy Compression
von: Conklin, Henry C., et al.
Veröffentlicht: (2026)

Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory
von: Anwar, Usman, et al.
Veröffentlicht: (2026)

Geometric Signatures of Compositionality Across a Language Model's Lifetime
von: Lee, Jin Hwa, et al.
Veröffentlicht: (2024)

Learn to Memorize: Optimizing LLM-based Agents with Adaptive Memory Framework
von: Zhang, Zeyu, et al.
Veröffentlicht: (2025)

SPEX: Scaling Feature Interaction Explanations for LLMs
von: Kang, Justin Singh, et al.
Veröffentlicht: (2025)

Familiarity-Aware Evidence Compression for Retrieval-Augmented Generation
von: Jung, Dongwon, et al.
Veröffentlicht: (2024)

A Training-free Method for LLM Text Attribution
von: Radvand, Tara, et al.
Veröffentlicht: (2025)

Measuring Uncertainty in Transformer Circuits with Effective Information Consistency
von: Krasnovsky, Anatoly A.
Veröffentlicht: (2025)

Subjective Depth and Timescale Transformers: Learning Where and When to Compute
von: Wieser, Frederico, et al.
Veröffentlicht: (2025)

SQuat: Subspace-orthogonal KV Cache Quantization
von: Wang, Hao, et al.
Veröffentlicht: (2025)

An Information Theoretic Perspective on Agentic System Design
von: He, Shizhe, et al.
Veröffentlicht: (2025)

Self-Play Only Evolves When Self-Synthetic Pipeline Ensures Learnable Information Gain
von: Liu, Wei, et al.
Veröffentlicht: (2026)

Diff-eRank: A Novel Rank-Based Metric for Evaluating Large Language Models
von: Wei, Lai, et al.
Veröffentlicht: (2024)

Optimal Quantization for Matrix Multiplication
von: Ordentlich, Or, et al.
Veröffentlicht: (2024)

A Survey on Large Language Models from Concept to Implementation
von: Wang, Chen, et al.
Veröffentlicht: (2024)

A Communication-Theoretic Framework for LLM Agents: Cost-Aware Adaptive Reliability
von: Omidvar, Hamed, et al.
Veröffentlicht: (2026)

The Stepwise Informativeness Assumption: Why are Entropy Dynamics and Reasoning Correlated in LLMs?
von: Català, Mar Gonzàlez I, et al.
Veröffentlicht: (2026)

The Detection-Extraction Gap: Models Know the Answer Before They Can Say It
von: Wang, Hanyang, et al.
Veröffentlicht: (2026)

The Information of Large Language Model Geometry
von: Tan, Zhiquan, et al.
Veröffentlicht: (2024)

Retrieval-Augmented Generation as Noisy In-Context Learning: A Unified Theory and Risk Bounds
von: Guo, Yang, et al.
Veröffentlicht: (2025)

How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?
von: Garg, Nikhil, et al.
Veröffentlicht: (2026)

OD-Stega: LLM-Based Relatively Secure Steganography via Optimized Distributions
von: Huang, Yu-Shin, et al.
Veröffentlicht: (2024)

Semantic Faithfulness and Entropy Production Measures to Tame Your LLM Demons and Manage Hallucinations
von: Halperin, Igor
Veröffentlicht: (2025)

Deep Generative Sampling in the Dual Divergence Space: A Data-efficient & Interpretative Approach for Generative AI
von: Garg, Sahil, et al.
Veröffentlicht: (2024)

DIVE: Embedding Compression via Self-Limiting Gradient Updates
von: Zhao, Dongfang
Veröffentlicht: (2026)

SimRAG: Self-Improving Retrieval-Augmented Generation for Adapting Large Language Models to Specialized Domains
von: Xu, Ran, et al.
Veröffentlicht: (2024)

ComMer: a Framework for Compressing and Merging User Data for Personalization
von: Zeldes, Yoel, et al.
Veröffentlicht: (2025)

Memorization in In-Context Learning
von: Golchin, Shahriar, et al.
Veröffentlicht: (2024)

Contrastive Learning to Improve Retrieval for Real-world Fact Checking
von: Sriram, Aniruddh, et al.
Veröffentlicht: (2024)

Beyond RAG: Task-Aware KV Cache Compression for Comprehensive Knowledge Reasoning
von: Corallo, Giulio, et al.
Veröffentlicht: (2025)

A General Error-Theoretical Analysis Framework for Constructing Compression Strategies
von: Zhang, Boyang, et al.
Veröffentlicht: (2025)

MacRAG: Compress, Slice, and Scale-up for Multi-Scale Adaptive Context RAG
von: Lim, Woosang, et al.
Veröffentlicht: (2025)

SmartChunk Retrieval: Query-Aware Chunk Compression with Planning for Efficient Document RAG
von: Zhang, Xuechen, et al.
Veröffentlicht: (2025)

SemanticZip: A Pilot Framework for Lossy Text Compression with LLMs as Semantic Decompressors
von: Trukhina, Natalia, et al.
Veröffentlicht: (2026)

Too Big to Think: Capacity, Memorization, and Generalization in Pre-Trained Transformers
von: Barron, Joshua, et al.
Veröffentlicht: (2025)

To Each (Textual Sequence) Its Own: Improving Memorized-Data Unlearning in Large Language Models
von: Barbulescu, George-Octavian, et al.
Veröffentlicht: (2024)

Mitigating Memorization In Language Models
von: Sakarvadia, Mansi, et al.
Veröffentlicht: (2024)